爬虫与Python:(三)基本库的使用——扩展:百度搜索关键字提交

要求

通过requests库携带参数去请求百度搜索,然后获取返回的HTML源码。百度搜索地址为:https://www.baidu.com/s?wd=keyword

思路

  • 打开百度搜索,在输入框输入“鱿鱼游戏”,输入之后会自动跳转到搜索结果页面,如下图所示。

  •  观察URL地址栏,发现有一个wd参数,这个标识就是输入的搜索的内容。
  • 知道了wd参数,就可以用Python模拟这个过程了。

编码

示例代码如下:

 1 import requests
 2 
 3 keyword = '鱿鱼游戏'
 4 try:
 5     kv = {'wd':keyword}
 6     r = requests.get('https://www.baidu.com/s',params=kv)
 7     r.raise_for_status()
 8     r.encoding = r.apparent_encoding
 9     print(len(r.text))
10 except:
11     print('失败')
posted @ 2021-10-19 17:52  陆陆无为而治者  阅读(203)  评论(0编辑  收藏  举报