2014年11月4日
【头条】隐身爬虫
摘要： 开发的一个系统中其中有一个抓取第三方网站信息的功能，但是，系统运行一段时间后，被对方服务器拒绝抓取。 解决办法，只要我们伪装成浏览器。即可继续正常运行。 1 private static readonly string DefaultUserAgent = "User-Agent: Mozilla/ 阅读全文
posted @ 2014-11-04 23:33 伍卓钧--博客园 阅读(272) 评论(0) 推荐(0) 编辑