爬虫日记之关键字搜索引擎爬取
百度、360搜索引擎的关键字查找爬取
怎么用python代码实现爬取直接输入关键字的百度搜索引擎的内容?
params这个参数,他是可以添加内容的。
import requests
keyword='斗破苍穹'
try:
kv={'wd':keyword}
r=requests.get('http://www.baidu.com/s',params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
print(r.text)
except:
print('爬取失败')
定义一个关键字,比如是斗破苍穹,喜欢看毛片的朋友也可以改成毛片。然后创建一个键值对,百度的关键字是wd:后面加内容,360的是q,所以写好了以后,在url后面通过参数params来传进去,这个时候爬取过来的页面就是在百度里搜索斗破苍穹的内容了,内容量巨大,小霸王就别去爬了。