会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
爬虫爬一个
----生命在于折腾
博客园
首页
新随笔
联系
订阅
管理
2018年5月15日
爬虫批量下载全站小说并自动保存
摘要: 目的是下载一个网站所有分类的小说,并且按照分类自动创建目录、根据小说名保存为txt文件。 一、抓取思路: 我的思路是百度一个小说网站,找到一本小说的章节页,使用requests、BeautifulSoup测试是否能 正常下载。如果能正常下载,进行下一步。 二、操作顺序: 1.导入模块,指定网页请求头
阅读全文
posted @ 2018-05-15 14:21 爬虫爬一个
阅读(3125)
评论(1)
推荐(0)
编辑
公告
人生在与折腾、在于学习、在于进步