python实现爬取小说网站文本
简单记录一次python爬取某小说网站小说的操作
#!/usr/bin/python
# -*- coding:utf-8 -*-
import urllib.request
import re
# html = urllib.request.urlopen("https://xiaoshuo.net/0/745/")
# data = html.read()
#print(data)
# def getUrl(urlData):
# print("test")
# r = r"[a-zA-Z]+://[^\s]*.html"
# pat = re.compile(r)
# urls = re.findall(pat,str(urlData))
# print(urls)
#
# getUrl(data)
from lxml.html import fromstring
from bs4 import BeautifulSoup
import urllib.request
import requests
import time
#给定网址和标题
def getContent(url,title):
# html = urllib.request.get(url)
# data = html.read().decode()
# print(url)
first = requests.get(url)
if first.status_code!=200:
time.sleep(3) #网站服务器可能不行,请求失败就隔3s请求
getContent(url,title)
return
data = first.content #网页内容
soup = BeautifulSoup(data, "html.parser") #多种解析器,这里选这个就够用了
# print(soup.prettify())
content = soup.find_all("div", attrs={"id": "content"})
# filename = title + ".txt"
filename = "文件名称.txt" #文件名称,自己改
filea = open(filename, "a", encoding='utf-8') #追加,把每一章合并成一个txt
print(title,file=filea) #输出到文件的内容
print(content, file=filea)
print("",file=filea)
print(url + " " + title + " 下载保存完毕") #提示该章下载完毕
return
def getTitles(url):
data = requests.get(url).content
soup = BeautifulSoup(data, "html.parser")
head = "https://xiaoshuo.net"
middle = "/17/17225/" #应该自动截取,但是本来就简单,根据需要写死就行了。
titles = soup.find_all("a")
# print(titles)
for title in titles:
str1 = str(title)
if str1.find(middle) != -1:
if str1.find("https")!= -1: #过滤一下网页的链接
continue
elem = fromstring(str1)
url = head + elem.attrib["href"] #这些处理都是根据网页结构弄的
text = elem.text
getContent(url, text)
time.sleep(2) #脆弱的服务器,不能接收过多过快请求
getTitles("https://xiaoshuo.net/17/17225/") #网址肯定是需要自己改的
#下载完毕,需要自行处理一些格式上的问题,还有编码问题
要实现网页访问,方法也很多,针对这个静态网站,感觉简单的request.get就可以了。
还有就是我用的pycharm运行,开着fiddler好像有什么代理错误,所以还是关闭系统代理服务器下载吧。