摘要： scp -r /Users/Fiz/PycharmProjects/Scrapy_demo root@114.215.93.125:/home/ #! /bin/shexport PATH=$PATH:/usr/local/bincd /home/Scrapy_demonohup scrapy cr 阅读全文

摘要： 1.限制IP地址单位时间的访问次数 ： 分析：没有哪个常人一秒钟内能访问相同网站5次，除非是程序访问，而有这种喜好的，就剩下搜索引擎爬虫和讨厌的采集器了。 弊端：一刀切，这同样会阻止搜索引擎对网站的收录 适用网站：不太依靠搜索引擎的网站 采集器会怎么做：减少单位时间的访问次数，减低采集效率 2.屏蔽 阅读全文