爬虫来啦!Day91
# 一.爬虫
# 1.基本操作
# 排名爬虫刷票
# 抽屉网的所有发布新闻点赞
# 自动化程序模拟用于的日常操作
# 投票的机制是利用cookies,禁用cookies模式
# 自定义的异步IO模块就是Socket的客户端
# 基本操作:使用python登陆任何的网站,图片识别验证码比较困难,需要额外的图片识别或特殊api(伪造浏览器的任何行为)
# 2.性能相关的操作
# 用最短的时间:多线程多进程解决大并发操作
# 5个线程并发,共同等待有损耗,把5个线程等待时进行其他程序
# 并发方案:用异步IO,之前的并发采用5个线程,现采用一个线程 gevent/Twisted/asyncio/aiohttp傻瓜式封装调用方法
# 会用方法表现异步IO
# IO多路复用 Select
# 3.做一个属于自己的爬虫框架,以高性能的方式爬取网站
# 打包开源放在github上,知名的爬虫框架:Scrapy:封装了所有的爬虫常用的方法,具有异步IO的并发功能(Twisted)
# 给予Scrapy源码定义自定义框架
# 使用Scrapy框架
# 二.Tornado 异步非阻塞特性框架
# 1.Tornado的基本使用,分析源码功能,可以快速基于Tornado的单表的增删改查。小示例感受
# 2.Toanado的源码剖析
# 3.异步非阻塞的就是Soctek的服务端
###################################################################################################################
#爬虫的基本知识
# 什么是爬虫?
# 互联网最开始根本没有百度、Google、Bing等,如果想要访问网站只能记住域名,很久之前是大黄页,一本书包含了各自域名的地址
# 想要访问网站就必须用文档记录找到文档检查,这样是十分麻烦的,文档内容多会很麻烦,于是诞生了搜索引擎,
# 通过自动程序抓取网站。做搜索引擎的来做大黄页,通过客户需求找到,客户提交信息至搜索引擎,收集信息给提供客户
# 百度通过机器人抓取关键字,提取信息。
# 网络信息都是息息相关的,友情链接到别的网站,机器人爬取网站所有的<a>标签,肯定有超链接,实际就是一个关系网的互相联系
# 把爬虫放在一个网站,自动化程序任意查找,具有定向和非定向
# 定向:只爬取某一个或某几个指定网站
# 非定向:爬取很多内容
# 公众号通过找网络上的合适资源爬取信息
# 租房信息的爬取
# 请求:http请求本质是一个字符串,包裹在整个的HTML的页面里的所有的标签内的信息,找到想要的标签信息(写组合正则表达式),
# python不用重复的写正则表达式,有开源的模块(类库)帮助实现
# 1.request模块访问网站
# pip3 install requests
# request.get('http:www.baidu.com')
# response.text
# 2.beautisoup模块
# pip3 install Beautisoup4
# from bs4 import Beautisoup
# soup = Beautisoup(response.text)这个HTML被转换为对象,对象可以嵌套对象,HTML的父子关系(对象嵌套)
# target = soup.find(id = 'auto-channel-lazyload-article')标签嵌套对象,找对象
# print (target)
###########################################################################################################
# 小结:
# 需求一:
# response = request.get('url')
# response.text
# response.content
# response.encoding
# response.aparent_encoding
# response.status_code
# soup = beautifulsoup('HTML')
# soup.find('div)
# soup = find(id='i1')
# v1 = soup = find('div, id = 'i1')两个参数可以作为组合条件
# v2 = soup = find_all('div, id = 'i1')参数与find相同,返回的内容是列表了
# v1是对象,v2是列表
# v1.text直接拿到文本 v2[0].text
# 需求二:
# 通过脚本程序自动登陆GitHup[其他网站]
# requests,访问网站需要输入用户名和密码,页面刷新使用form表单,没刷新使用AJAX提交
# post_dict = {
# "phone":'111111',
# "password": 'xxx',
# 'oneMonth':1
# }
# response = request.post(
# url = 'https://dig.chouti.com/login',
# data = post_dict
# )
#print(response.text)
# cookie_dict = response.cookies.get_dict()
###########################################################################################################
# 1.基本的模块的使用
# 2.模拟登陆
# 3.各个网站的套路不同
###########################################################################################################
# 三、模块的详细使用
# requests
# -方法关系:
# rquests.get(..)
# rquests.post(..)
# rquests.put(..)
# rquests.delete(..)
######以上都是request方法
# ——参数
# rquests.rquest:
# -method:提交方式
# -url:提交地址
# -params:在url上传递的参数放入GET,如果访问的是www.baidu.com,如果params = {'k1':'v1'}
# requests.request(
# method = 'GET',
# url = 'www.baidu.com',
# params = {'k1':'v1','k2':'v2'}
# )
# 提交后运行的结果为:http://www.baidu.com?k1=v1&k2=v2
# -data:在请求体里传递的数据,可以是字典、字节或文件对象
# requests.request(
# method = 'POST',
# url = 'www.baidu.com',
# params = {'k1':'v1','k2':'v2'},
# data = {'use':'xxx','pwd':'123'},或者data = 'user=xxx&pwd=123123'
# )
# -json:在请求体里传递数据,会把参数json.dump变成整体的字符串传递(字典中嵌套字典时使用)
# requests.request(
# method = 'GET',
# url = 'www.baidu.com',
# json = {'use':'xxx','pwd':'123'},>>>>请求头:content-typ:application/json;请求体:"{'use':'xxx','pwd':'123'}"
# )
# ######Django会根据发送的请求头的内容判断是否需要将请求体的内容进行POST的json转换
# - headers:请求头,爬取各种网站需要附加请求头
# 手写一个上一次访问的网站 headers = {
# Referer:'http;//www.baidu.com'
# 'User-Agent'>>可以伪造任何浏览器形式,来自什么设备
# }
# 网址参考:http://www.cnblogs.com/wupeiqi/articles/6283017.html
# -cookies:Cookies
# cookies是放在请求头里的
###########################################################################################################
# -files:上传文件'name':文件名(文件对象)
# requests.post(
# url='xxx',
# files = {
# 'f1':open('s1.py','rb'),
# 'f1':('上传至服务器端的文件名',open('s1.py','rb))
# }
# )
######
# -auth:认证,加密放在请求头里
# -timeout:超时,两个时间>>1.发送的时间;2.等待的时间
# -allow_redirects 是否允许重定向
# -proxies:代理,开发投票的网站只能使用同一个ip,不介入代理的话是不能修改的
# ret = requests.post(
# url='https://dig.chouti.com/link/vote?linksId=20162281',#某一个新闻的点赞url
# cookies = {'gpsd':'601f5ba78f2a5fdb1d374817117eca80'},#得到的gpsd
# #HTTPS记得加请求头呦
# headers = {'User-Agent':
# 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
# ' Chrome/66.0.3359.181 Safari/537.36'},
# proxys = {
# 'http':'http://4.19.128.5:8099'代理服务器,代理方发送
# }
# )
######
# -stream:流式传输(一点一点下载文件)循环式下载 for i in r.iter_content()
# -verify:
# -cert:
import requests from bs4 import BeautifulSoup response = requests.get(url='https://www.autohome.com.cn/news/') # response.encoding = 'gbk' # 下载的过程中是字节,必须用它的方式发来后再反解 # 用原网页的编码方式反解:response.encoding = response.apparent_enconding response.encoding = response.apparent_encoding #等于response.encoding = 'gbk' # print(response.text) soup = BeautifulSoup(response.text, features='html.parser') #将文本转换为对象,features表示以什么内置的处理方式转换:1.lxml;2.html.parser # lxml性能更好 target = soup.find(id = 'auto-channel-lazyload-article') # print(target) # 继续缩小范围去找 li_list = target.find_all('li') # find_all找到的是一个列表的汇总,本身已经没有soup对象的方法了,需要再用方法需要用list_all[0]拿到列表的某一个值 # print(li_list) for i in li_list: a = i.find('a') if a: print('http:'+a.attrs.get('href'))#attrs表示找到对象的所有的属性,href就是标签的属性 txt = a.find('h3') #拿到的h3是什么类型?print显示的是字符串,实际是对象,打印显示的是对象,需要加文本信息 print(txt.text) img_url = 'http:'+a.find('img').attrs.get('src')#小练习:拿到a标签下的img标签的src属性 print(img_url) img_response = requests.get(url=img_url) import uuid file_name = str(uuid.uuid4()) + '.jpg' with open(file_name,'wb') as f: f.write(img_response.content)#content意思是以字节的形式保存文件
import requests # from bs4 import BeautifulSoup # url = "https://huan.moe/" # response = requests.get(url) # response.encoding = response.apparent_encoding # # print(response.text) # soup = BeautifulSoup(response.text, features='html.parser') # target = soup.find(attrs={'class','g-desktop-1-4 g-tablet-1-2 g-phone-1-2 archive-general card general type-post status-publish format-standard hentry'}) # print(target) post_dict = { "phone":'*******', "password": '******', 'oneMonth':1 } response = requests.post( url = 'https://dig.chouti.com/login', data = post_dict, ) print(response.text) cookie_dict = response.cookies.get_dict() print(cookie_dict) res = requests.get( url='https://dig.chouti.com/profile',
) print(res.text)
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
import requests #抽屉网gpsd验证点赞法 ret = requests.post( url='https://dig.chouti.com/link/vote?linksId=20162281',#某一个新闻的点赞url cookies = {'gpsd':'601f5ba78f2a5fdb1d374817117eca80'},#得到的gpsd #HTTPS记得加请求头呦 ) print(ret.text)
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
import requests r1 = requests.get('https://dig.chouti.com/', ) r1_cookies = r1.cookies.get_dict() print(r1_cookies) post_dict = { "phone":'llllllll', "password": 'llllllll', 'oneMonth':1 } r2 = requests.post( url = 'https://dig.chouti.com/login', data = post_dict, cookies = r1_cookies, ) print(r2.text) # r2_cookies = r2.cookies.get_dict() # print(r2_cookies) # r2_cookies = r2.cookies.get_dict() # print(r2.text) # cookie_dict = r2.cookies.get_dict() # print(cookie_dict) # res = requests.get( # url='https://dig.chouti.com/profile', # # # ) # print(res.text) r3 = requests.post( # url='https://dig.chouti.com/profile', url='https://dig.chouti.com/link/vote?linksId=20160191', cookies = {'gpsd':r1_cookies.get('gpsd')} ) print(r1_cookies.get('gpsd')) print(r3.text)
Win a contest, win a challenge
posted on 2018-06-10 22:30 pandaboy1123 阅读(748) 评论(0) 编辑 收藏 举报