随笔分类 - 2_爬虫
摘要：Python 爬取网页中JavaScript动态添加的内容 一、总结 一句话总结： 方法一：用Web kit，Web kit 可以实现浏览器所能处理的任何事情，Web kit是QT库的一部分，因此如果你已经安装QT和PyQT4库，那么你可以直接运行之。 方法二：使用 selenium + phant
阅读全文
摘要：python爬虫准备知识 2、为什么选择python来进行爬虫 一、总结 一句话总结： c和c++运行效率很高，但是学习和开发成本很大；java的语言代码量很大，一个爬虫程序会随着网址及内容的改变而需要重构，重构时需要花费很多的成本；php并发处理能力弱，速度和效率都达不到爬虫的要求。 1、什么是U
阅读全文
摘要：python超简单实用爬虫操作 6、模拟登录获取数据 一、总结 一句话总结： 爬虫获取登录才能获取的数据也很简单，在爬虫请求的请求头中加上cookie即可，爬所有登录才能获取数据的网站都可以这么干 import requests headers = { "user-agent":"Mozilla/5
阅读全文
摘要：python requests库 爬取视频 一、总结 一句话总结： 爬取视频操作和爬取图片操作比较类似，我们可以设置请求中的stream参数来选择以一整个块的方式来爬取视频或者以流的方式爬取 # 显示下载视频的进度 import requests headers = { "user-agent":"
阅读全文
摘要：利用Python中的requests库爬取视频的图片 一、总结 一句话总结： 可以用requests的get方法获取图片响应数据，因为是二进制，所以用response的content属性获取图片二进制数据，然后用python文件操作把图片存下来就可以了 import requests headers
阅读全文
摘要：python超简单实用爬虫操作 5、爬取视频 一、总结 一句话总结： 爬取视频操作和爬取图片操作比较类似，我们可以设置请求中的stream参数来选择以一整个块的方式来爬取视频或者以流的方式爬取 # 显示下载视频的进度 import requests headers = { "user-agent":
阅读全文
摘要：python超简单实用爬虫操作 4、爬取图片 一、总结 一句话总结： 爬取图片的操作比较简单，和爬取网页一样，只不过图片是二进制，所以用的时候用response的content属性，然后可以用python文件操作把图片存起来 import requests headers = { "user-age
阅读全文
摘要：python超简单实用爬虫操作 3、获取各种请求数据 一、总结 一句话总结： requests库可以非常方便的获取各种请求的数据，比如get请求、post请求、delete请求等等，使用方法直接requests对象调对应方法即可 import requests response = requests
阅读全文
摘要：python爬虫requests使用代理ip 一、总结 一句话总结： a、请求时，先将请求发给代理服务器，代理服务器请求目标服务器，然后目标服务器将数据传给代理服务器，代理服务器再将数据给爬虫。 b、代理服务器是经常变化的，使用代理服务器时传一个参数：proxy，是一个字典的形式。 import r
阅读全文
摘要：python爬虫requests库post请求实例 一、总结 一句话总结： 在post请求拉勾网数据的时候，因为拉勾服务器请求后端数据需要cookie，所以可以用session对象来维持会话，保存cookie等参数信息 import requests url1 = "https://www.lago
阅读全文
摘要：爬虫爬拉钩网出现 您操作太频繁,请稍后再访问 解决 一、总结 一句话总结： 爬拉勾网数据的时候，ajax的post请求是需要cookie的，还需要在header里面需要添加Accept、Referer、User-Agent 二、爬虫爬拉钩网出现 您操作太频繁,请稍后再访问 解决 转自或参考：{"st
阅读全文
摘要：python爬虫request库中的session 一、总结 一句话总结： The Session object allows you to persist certain parameters across requests. It also persists cookies across all
阅读全文
摘要：requests.session()会话保持 一、总结 一句话总结： requests库的session会话对象可以跨请求保持某些参数，说白了，就是比如你使用session成功的登录了某个网站，则再次使用该session对象，该网站的其他网页都会默认使用该session之前使用的cookie等参数
阅读全文
摘要：python超简单实用爬虫操作 2、爬虫基本操作 一、总结 一句话总结： requests库爬取网页非常简单，例如 response = requests.get("https://www.cnblogs.com/Renyi-Fan/p/13264726.html") 可以直接获取请求对应的响应对象
阅读全文
摘要：python超简单实用爬虫操作 1、爬虫介绍 一、总结 一句话总结： 爬虫就是自动获取网页内容的程序，比如google、百度等搜索引擎本质就是爬虫，爬虫的在互联网中应用的特别多，用爬虫可以非常方便的爬取数据，从而节约大量人力 二、爬虫介绍 博客对应课程的视频位置：1、爬虫介绍-范仁义-读书编程笔记h
阅读全文
摘要：python中requests库的post请求 一、总结 一句话总结： requests直接有post方法，可以用来发post请求 datas = {'parameter1':'12345','parameter2':'23456'} r = requests.post('http://exampl
阅读全文
摘要：requests库和urllib包对比 一、总结 一句话总结： python3.0以上把urllib和urllib2合并成一个库了，requests库使用了urllib3，requests库使用比urllib简洁方便不少 二、requests库和urllib包对比 转自或参考：requests库和u
阅读全文
摘要：python做爬虫常用库 一、总结 一句话总结： urllib：一系列用于操作URL的功能。 requests：基于 urllib 编写的，阻塞式 HTTP 请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。 selenium：自动化测试工具。一个调用浏览器的 driver，通过这
阅读全文
摘要：python爬虫准备知识 1、启迪 一、总结 一句话总结： 知识之间是触类旁通的，比如你更加深刻的学了爬虫之后，你可能会对网站开发更加了解 1、前后端交互过程中，请求头（Request Headers）和响应头（Response Headers）以及响应（Response）的作用是什么？ 请求头（R
阅读全文
摘要：js逆向技巧 一、总结 一句话总结： 1、搜索；2、debug；3、查看请求调用的堆栈；4、执行堆内存中的函数；5、修改堆栈中的参数值；6、写js代码；7、打印windows对象的值；8、勾子 1. 搜索：全局搜索、代码内搜索2. debug：常规debug、XHR debug、行为debug3.
阅读全文
