Open
Description
第89天 说说你对robots文件的理解，它有什么作用？
Metadata
Metadata
Assignees
Labels
Type
Projects
Milestone
Relationships
Development
No branches or pull requests
Participants
{{ message }}
No one assigned
No type
No projects
No milestone
None yet
Activity
xxf1996 commentedon Jul 14, 2019
robots.txt文件对抓取工具（如爬虫）在访问路径等方面做出了规定，用于阻止或引导抓取工具对网站下特定内容的抓取；参考文档：Robots.txt 规范 | 搜索 | Google Developers