一个简单的Python爬虫+写入文本
import os
import requests
from bs4 import BeautifulSoup
# 获取HTML文档
def get_html(url):
response = requests.get(url)
response.encoding = 'uft-8'
return response.text
# 获取笑话
def get_joke(html):
soup = BeautifulSoup(html,'lxml')
abc = ''
num = 0
for link in soup.find_all("div", class_="content"):
# for i in range(10):
# joke_content = soup.select('div.content')[i].get_text()
num = num + 1
abc += "--------" + str(num) + link.get_text()
return abc
# 将笑话写入txt
# ls = os.linesep
def writeJoke(joke):
while True:
filename = input('文件名:')
if os.path.exists(filename):
print("错误:'%s' 该文件已存在" % filename) # 是否存在
else:
break
fobj = open(filename, 'w') #写入文本
fobj.write(joke)
# fobj.writelines(['%s%s' % (x, ls) for x in all]) #每一个字符后面都会换行
fobj.close()
print('写入成功!')
url_joke = "https://www.qiushibaike.com"
html = get_html(url_joke)
joke = get_joke(html)
writeJoke(joke)
# print(joke)
本文作者:进阶的哈姆雷特
本文链接:https://www.cnblogs.com/lbx6935/p/9508084.html
版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步