摘要:
最近有点空余就一直在开发我的项目,最近做了两个项目:
IPproxy,看名字就知道啦,就是一个ip代理池,爬取了各大免费的代理网站,然后检测可用性,github地址 相关的介绍github上已经说明了
get_jobs,爬取了几十个招聘类网站的数据,github地址 同样的,相关的介绍github上已经说明了
根据以上爬取的大概也许可能接近上百个网站吧,加上我初学爬虫的时候爬的网站,现在也算是爬了有接近上千个网站了,对爬虫也算是小有心得了,下面就开始说说吧 阅读全文