随笔分类 - Python爬虫
摘要：第一种方法 总结 ：代码比较冗余，重试try的次数越多，代码行数越多，但是打印日志比较方便 第二种方法 总结 ：遍历代码明显比第一个简化了很多，打印日志也方便 第三种方法 总结 ：迭代 显得比较高大上，中间处理代码时有其它错误照样可以进行重试； 缺点 不太好理解，容易出错，另外try包含的内容过多时
阅读全文
摘要：##Python3 replace()方法 ###实例1 def main(): text = 'python3, word!' text1 = text.replace('python3', 'Hello') print(text1) if __name__ == '__main__': main
阅读全文
摘要：开启线程池示例 一、多线程爬取京东投诉信息 20页数据爬取时间：Done, Time cost: 1.6854908466339111 二、多线程爬取阿里详情投诉信息 20页数据爬取时间：Done, Time cost: 20.348562240600586
阅读全文
摘要：爬虫最新的库requests html库总结 requests html是比较新的爬虫库,作者和requests是同一个作者 一.安装依赖 我们可以在安装的时候看到他安装了lxml,reuqests,bs4......我们常用的解析和爬取的库都分装在他里面 二. 发起请求 1.解决无头浏览器(针对反
阅读全文
摘要：``` python!/usr/bin/env python -*- coding:utf-8 -*-import reimport csvimport timeimport randomimport requestsimport jsonfrom bokeh.models import pdfrom requests import sessionclass spider_DongFangCaiF...
阅读全文
