python爬虫
2017-11-09 13:35 fkk 阅读(291) 评论(0) 编辑 收藏 举报简单的介绍
1、get post请求
import request
form bs4 import Beautifulsoup
response=request.get(url="******")
print(response.text)
soup=beautifusoup(respon.text,'html.parser')
news_list=soup.find_all(name='div',class='****')
print(new_list)
2、post请求
form_data={
'phone':'asdsa',
'password':'adsad',
'onemonth':1
}
#这一部分需要看浏览器的网络请求
response=request.post(
url='*********',
data=form_data
)
print(response.text)
3、request.request(
method='post'
method='get'
url='https://www.sogo.com/web',
params={'query':'fkkk','q':'b'}, #"query=fkkk&q=b"
data={'user':'alex','pwd':'asdsa'} #"user=alex;pwd=asdsa"
4、headers{
'Referer':'https://www.zhihu.com',
'User-Agent':'*******'
}
#Referer 是浏览器上一次访问的地址。其实就是你要访问页面的首页
#User-Agent 是你上面设备访问的浏览器地址
这个主要是,在用request请求时,访问网站时,没有返回任何的内容,可能就是这两个地方需要配置
)
5、import requests
response=requests.get(
url='https://i.cnblogs.com/EditPosts.aspx',
cookies={'.CNBlogsCookie':'************'}
)
print(response.text)
request模块
1、基本参数: method,url,params,json,headers,cookies
2、其他参数:files,auth,proxies。。。。。。
实现一个自动登录抽屉,对莫文章点赞
r1=requesrs.get('http://dig.chouti.com/',headers={},cookies{}) 这个带的就是请求头,和请求cookies
r1.content
r1.encoding=utf-8
r1.headers 获取返回头
r1.cookies.get_dict()
获取到所有cookies但是未生效
c1=r1.cookies.get_dict()
2、用户登录 post
form_data{
}
r2=requests.post("http://dig.chouti.com/",data=form_data,cookies=c1)
c2=updta(c2)
3、点赞
c1.updata(c2)
requests.post{
url="http://dig.chouti.com/link/vote?linksid=8589523"
data={'linksid':'8589523'}
cookies=c1
}
注意;有些网站在没有登录时是不返回cookiesi。有些网站时访问时就给你cookies 但是未生效。跟现在的情况一样;
方法二使用session方式
import session
session=request.session()
li=session.get(url="http://dig.chouti.com/help/servvice")
li2=session.post{
url="http://dig.chouti.com/login"
data={
'phone':"12312323123"
'password':"asdasdas"
'oneMonth':" "
}
}
l3=session.post{
'url':"http://dig.chouti.com/link/vote?linksid=123232"
}
print(i3.text)