2020年11月22日
36.99.136.*和111.7.100.*两个IP段探究
摘要： 最近网站被这两个IP段频繁爬取，压力巨大。网上查询一番，这里简单谈谈。 1、首先是nslookup反查，什么也查不到，按理说这应该不是什么正规蜘蛛。 2、考虑到有不少匿名蜘蛛，像百度站长工具的robots检测，抓取xml地图的都时临时工蜘蛛，对比下测试的IP段也大概率不是匿名蜘蛛。 3、网上唯一找到 阅读全文
posted @ 2020-11-22 17:47 MRtanchen 阅读(2219) 评论(1) 推荐(0) 编辑
wget命令批量下载图片，有规律的url
摘要： 适合有规律的图片地址 1、第一步：生成图片下载地址 $: echo www.jiansouti.com/pic/{001..020}.jpg >url.txt 得到二十张图片的地址是用空格分开的,再用vim编辑url文件，把空格替换成回车(\r) ：s/ /\... 阅读全文
posted @ 2020-11-22 17:04 MRtanchen 阅读(188) 评论(0) 推荐(0) 编辑
wget命令批量下载图片
摘要： 适合有规律的图片地址 1、第一步：生成图片下载地址 $: echo www.jiansouti.com/pic/{001..020}.jpg >url.txt 得到二十张图片的地址是用空格分开的,再用vim编辑url文件，把空格替换成回车(\r) ：s/ /\r/g 结果： www.jiansout 阅读全文
posted @ 2020-11-22 17:02 MRtanchen 阅读(1234) 评论(0) 推荐(0) 编辑