摘要: 如果用SS解决国内网络环境问题之后,想要去爬取国外的网站,不能使用aiohttp,aiohttp并不支持socks代理。建议使用aiosocksy,windows的话,先cmd打开控制台,pip install aiosocksy 阅读全文
posted @ 2019-12-02 03:36 猪猪1997 阅读(702) 评论(0) 推荐(0) 编辑
摘要: 对于网络爬虫来说,Python的多线程也能比单线程提升很大的爬取速度的! 阅读全文
posted @ 2019-11-24 04:57 猪猪1997 阅读(548) 评论(0) 推荐(0) 编辑
摘要: 智能合约每天更新大约50个, 每天爬一次,即可把新产生的智能合约给爬取下来。 本爬虫将爬取到的智能合约以它的地址命名, 这样的作用在于可以避免爬取到重复的智能合约。 阅读全文
posted @ 2019-11-23 02:36 猪猪1997 阅读(1220) 评论(0) 推荐(0) 编辑
摘要: MD5加密是最常用的加密方法之一,是从一段字符串中通过相应特征生成一段32位的数字字母混合码。 MD5主要特点是不可逆,相同数据的MD5值肯定一样,不同数据的MD5值不一样(也不是绝对的,但基本是不能一样的)。 阅读全文
posted @ 2019-11-23 02:33 猪猪1997 阅读(737) 评论(0) 推荐(0) 编辑