爬虫日记之关键字搜索引擎爬取

百度、360搜索引擎的关键字查找爬取

怎么用python代码实现爬取直接输入关键字的百度搜索引擎的内容?

params这个参数,他是可以添加内容的。

import requests
keyword='斗破苍穹'
try:
    kv={'wd':keyword}
    r=requests.get('http://www.baidu.com/s',params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
    print(r.text)
except:
    print('爬取失败')

定义一个关键字,比如是斗破苍穹,喜欢看毛片的朋友也可以改成毛片。然后创建一个键值对,百度的关键字是wd:后面加内容,360的是q,所以写好了以后,在url后面通过参数params来传进去,这个时候爬取过来的页面就是在百度里搜索斗破苍穹的内容了,内容量巨大,小霸王就别去爬了。

posted @ 2019-08-22 11:52  chanyuli  阅读(2547)  评论(0编辑  收藏  举报