选择题:网站一般在()文件中描述被爬取的规则。 题目分类:广东开放大学 题目类型:选择题 查看权限:VIP 题目内容: A、License.txtB、robots.txtC、ReadMe.txtD、hentrix.txt 参考答案: