摘要：
之前一直是用的github上别人爬取fofa的脚本，前两天用的时候只能爬取第一页的链接了，猜测是fofa修改了一部分规则（或者是我不小心删除了一部分文件导致不能正常运行了） 于是重新写了一下爬取fofa的代码，写的不好:( 因为fofa的登录界面是https://i.nosec.org/login? 阅读全文
摘要：
这个爬虫主要学习scrapy的item Pipeline 是时候搬出这张图了： 当我们要使用item Pipeline的时候，要现在settings里面取消这几行的注释 我们可以自定义Item Pipeline，只需要实现指定的方法，其中必须要实现的一个方法是： p process_item(ite 阅读全文