一个基于Scrapy框架的pixiv爬虫

 

 源码 https://github.com/vicety/Pixiv-Crawler，功能什么的都在这里介绍了

 

说几个重要的部分吧

登录部分

困扰我最久的部分，网上找的其他pixiv爬虫的登录方式大多已经不再适用或者根本就没打算登录……

 

首先，登录时显然要提交FormData，一开始我请求的是 https://accounts.pixiv.net/login?lang=zh 这个页面

这个postkey可以发现和网页代码中的这个部分(下图)中是一样的，但是用这个postKey是登录不上去的，结果见下图

 

登录可以成功（收到异常登录邮件），但无论你访问什么页面，它都会无限重定向回这个页面，一开始以为是header填得不完整，可是怎么改都不对

后来发现request请求 http://www.pixiv.net 得到的页面中也有一个postKey（不太明白上一个postKey的含义，难道是特意骗我们一下……）

 改用这个，成功登录，剩下应该不是什么问题了

 日榜部分

对于日榜的获取（虽然还没有写进去）也值得提一下，日榜的展现是下拉到底端自动获取下一页式的，分析网络请求，发现这一条的链接应该指向的就是下一页，并且去除后面的&tt=96a6bd8c731d3a46a9388f1e8cd90edf也是一样可以访问的

我们进入链接，发现是一个json文件，对于我们来说其实更加易于处理

另外说一下，这里推荐Chrome浏览器的JSONView插件，自动解析JSON成方便看的模式，火狐似乎自带这个功能

import json 

js = json.loads(response.text)

url = js["content"]["0"]["url”]

可以使用类似这样的代码方便地读取json文件

另外注意load和loads函数的区别，loads用于处理字符串而load用于处理文件，对于将文件或是字符串转为json则有dump和dumps函数，就像下面这个例子

import json
data = {
    'a': '123',
    'b': True,
    'c': None,
    'd': 456,
    }
with open("test.json", 'w') as f:
    json.dump(data, f)

# test.json 内容
# {"a": "123", "b": true, "c": null, "d": 456}

    

 

 

搜索部分

在完成按tag搜索的部分时发现，图片div的class都是这种奇怪的格式，尽管在我的电脑上搜索了其他几个tag这些class的名字都是一样的，但是看这种class的名字就有种莫名的不安啊……可能在换个环境class也是会动态变化的

 另外发现网页中的这个部分data-items的结构就是json，于是剩下的部分又变得方便很多了

 

图片获取

 在pipeline中获取图片时header中一定要记得带referer，否则会触发p站的防盗链机制，返回403

 

 

重要的部分差不多就这些，其他按scrapy的套路走就行

 

最后，本来想做个GUI的，尝试用pyqt5，发现分离GUI线程和爬虫线程好像挺难解决的，两个线程间用signal通信也很困难，毕竟临时学的qypt，解决不了也正常，于是放弃做GUI的打算……

渣代码，轻喷，欢迎交流指教