摘要：
一、检查 首先进入该网站的https://www.gamersky.com/robots.txt页面 给出提示： 弹出错误页面 注： 网络爬虫：自动或人工识别robots.txt，再进行内容爬取 约束性:robots协议建议但非约束性，不遵守可能存在法律风险 如果一个网站不设置robots协议，说明 阅读全文
摘要：
首先进入该网站的https://www.51job.com/robots.txt页面 给出提示： 1 找不到该页 File not found 2 3 您要查看的页已删除，或已改名，或暂时不可用。 4 5 请尝试以下操作: 6 如果您已经在地址栏中输入该网页的地址，请确认其拼写正确。 7 打开 ww 阅读全文