用python爬取新笔趣阁的所有小说，使用xpath提取
摘要：运行后会在运行的目录下面建立一个建立一个笔趣阁的目录，小说会一每个目录分类，每部小说的章节都会在对应的小说目录里面 import time import requests from lxml import etree import os novel_name = "笔趣阁" novel_length
阅读全文
posted @ 2021-11-19 19:23
11 2021 档案
初识 scrapy 框架
摘要：在使用 scrapy 之前，我们先要用 pip 安装这个模块 pip install scrapy 安装好之后我们就可以建立爬虫项目了，在终端建立项目爬虫 scrapy startproject myspider 其中 myspider 是爬虫项目的名称 cd 进入这个项目 cd myspider
阅读全文
posted @ 2021-11-12 22:59
初步实现 python 爬取小说，实现不规则页面的翻页爬取
摘要：在写爬虫的时候，我们会遇到有的网页链接是不规则的。今天我写爬虫练习的时候，就遇到了这个情况。后来我发现用 lxml 可以很好的去出链接，然后我灵光一闪，就去试了试，果然。把每次找到的链接传给一个成员变量保存，这样就可以直接在下次爬取的时候调用这个变量去访问下一个要爬取的页面了 # -*- codin
阅读全文
posted @ 2021-11-01 21:58
