2019年6月10日
spider_爬取内涵吧的段子（二级深度爬取）
摘要： '''爬取内涵吧段子所有笑话（带标题，作者）总结：解码上，使用gbk2312编码的，我们可以采取gbk解码。 不会报错'''from fake_useragent import FakeUserAgentimport requestsimport chardetimport refrom lxml 阅读全文
posted @ 2019-06-10 19:18 猫有九命 阅读(232) 评论(0) 推荐(0) 编辑
spider_object_01使用正则爬取百度贴吧所有内容保存成html
摘要： """本案例不涉及数据提取，仅指导 网页分页爬取的两种方式 思路非第一种：利用while Ture，传参，然后在设定一个判断条件，案例中用的是如果找不到下一页，循环退出(可用于异步刷新网站)第二种：利用while Ture不断循环， 获取下一页url，获取不到，循环退出。 优化了异常处理。当输入的贴 阅读全文
posted @ 2019-06-10 11:30 猫有九命 阅读(193) 评论(0) 推荐(0) 编辑
2019年6月6日
解决xpath提取的数据列表，保存时不能一一对应的问题
摘要： """拉链函数，zip将几个列表的数据进行封装，一一对应。如果一方列表的数据，比另一方少，那么按数据少的一方对应"""# 数据个数对应相等list1=[1,2,3,4,5,]list2=[6,7,8,9,10]data = zip(list1,list2)# 输出为元组for i in data: 阅读全文
posted @ 2019-06-06 09:30 猫有九命 阅读(679) 评论(0) 推荐(0) 编辑
2019年6月5日
python中，元组，列表，字典，字符串的相互转换
摘要： #author:RXS002 #1.字典 dict = {'name':'Zara','age':7,'class':'First'} #字典转换为字符串，返回：<type 'str'> {'age':7,'name':'Zara','class':'First'} print (type(str( 阅读全文
posted @ 2019-06-05 20:11 猫有九命 阅读(4520) 评论(0) 推荐(0) 编辑
python爬虫代码中_获取状态码
摘要： '两种方式' import urllib status=urllib.urlopen("//www.jb51.net").code print status import requests code=requests.get("//www.jb51.net").status_code print c 阅读全文
posted @ 2019-06-05 17:47 猫有九命 阅读(2908) 评论(0) 推荐(0) 编辑
spider_使用request库进行post传参
摘要： # from urllib import parse,request# import jsonimport requests# 有道翻译urlurl = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"# po 阅读全文
posted @ 2019-06-05 10:45 猫有九命 阅读(526) 评论(0) 推荐(0) 编辑
spider_requests库简单ip代理
摘要： """使用requests 设置ip代理"""import requestsdef func(): url = 'http://ip.27399.com/' proxies = {"http":"101.65.24.108:8118"} # 使用proxies这个函数 html = requests 阅读全文
posted @ 2019-06-05 10:43 猫有九命 阅读(232) 评论(0) 推荐(0) 编辑
spider_使用随机User-Agent库， 爬取笔趣阁万古天帝章节目录_(fake_useragent)
摘要： """使用随机User-Agent库，爬取笔趣阁万古天帝章节目录"""import requestsfrom fake_useragent import FakeUserAgentimport randomimport chardetdef biquge(): # 定义url， url = "htt 阅读全文
posted @ 2019-06-05 10:41 猫有九命 阅读(327) 评论(0) 推荐(0) 编辑
spider_使用request库进行get传参
摘要： """使用requests库 在这里爬取百度搜索的端午节页面（使用request库进行get传参）"""import requestsimport chardeturl = "https://www.baidu.com/s?"headers = {"User-Agent":"Mozilla/5.0 阅读全文
posted @ 2019-06-05 10:38 猫有九命 阅读(301) 评论(0) 推荐(0) 编辑
spider_使用urllib库 提交post请求，有道翻译案例
摘要： """使用urllib库 提交post请求， 有道翻译"""from urllib import requestfrom urllib import parseimport jsonurl = "http://fanyi.youdao.com/translate?smartresult=dict&s 阅读全文
posted @ 2019-06-05 10:32 猫有九命 阅读(186) 评论(0) 推荐(0) 编辑