python3爬取百度知道的问答并存入数据库(MySQL)
一、链接分析：
以"Linux"为搜索的关键字为例：
首页的链接为：https://zhidao.baidu.com/search?lm=0&rn=10&pn=0&fr=search&ie=gbk&word=linux
第二页的链接为：https://zhidao.baidu.com/search?word=linux&ie=gbk&site=-1&sites=0&date=0&pn=10
第三页的链接为：https://zhidao.baidu.com/search?word=linux&ie=gbk&site=-1&sites=0&date=0&pn=20
链接可以统一为：https://zhidao.baidu.com/search?word= + 关键字 + &ie=gbk&site=-1&sites=0&date=0&pn= + (页面数-1)*10
即使首页也可以这样写，只需要将最后的pn的值定为0,。
这样，我们只需要获取页面的最大页面数，然后遍历处理就可以。
二、分析首页页面：
我们可以看到，在索引界面中有问题和问题的答案，此外还有提问时间和答案贡献者，但这些我在这里暂时不爬取，有兴趣的可以去试试。问题的描述一般是完整的但答案的描述就不一定了。
而在详情页两者的描述都很完整，因此为方便起见，我们统一在详情页获取问题和答案，这就需要在索引页获取详情页的URL。
通过分析很容易知道，详情页的URL在 <div class="list-inner"> 这个块中，并且在其中每个的 class="ti" 的a标签的href属性的值就是我们要的URL。
很容易获取，这里我们使用BeautifulSoup来提取。主要的代码如下：
def Get_URL(html): #从html源码中解析出url并返回，传入参数为html源码，返回URL列表 Soup = BeautifulSoup(html,'lxml') info = Soup.select('.list-inner') info = info[0].select('.ti') return [i['href'] for i in info]
三、从详情页获取问题和答案：
详情页的问题的描述一般有两种形式：一种是普通问题，放在 <span class="ask-title "> 这个块中，提取里面的文本就是问题的描述了；一种是作业帮的问题，放在 <span class="qb-content" data-gradeid="0" data-courseid="0"> 这个块中，提取里面的文本就是问题的描述了。
问题的答案也分上述两种，放在 <pre id="best-content-2257025851" accuse="aContent" class="best-text mb-10" style="min-height: 55px;"> 块中的一般问题的答案和放在 <dt class="title"> 块中的作业帮的问题的答案。
当然，你也可以有不同的获取方式，只要最终能得到信息的存放的位置就可以。知道信息的位置，很容易写代码获取。
def Get_info(url): #进入详情页获取问题和答案，传入URL，返回问题和答案 res = requests.get(url, headers = header) res.encoding = 'gbk' Soup = BeautifulSoup(res.text,'lxml') try: info = Soup.select('pre[accuse="aContent"]') if len(info) < 1: #print(url) info = Soup.select('div[accuse="aContent"]') if len(info) < 1: info = Soup.select('dt[class="title"]') info = info[0].text except: info = '' print('获取回答失败,对应的URL为:',url) try: ask = Soup.select('.ask-title ') if len(ask) < 1: ask = Soup.select('.qb-content') ask = ask[0].text except: ask = '' print('获取标题失败，对应的URL为:',url) return ask,info
四、存入数据库：
说实话，爬取数据我一个早上就写完了，但是存入数据库中花了三天时间。主要是数据库的知识忘得差不多了，毕竟自从学完后基本没什么机会用。
这里我们使用了Python操纵数据库的一个模块PyMySQL，不清楚的小伙伴可以参考这里：Python+MySQL数据库操作（PyMySQL）。
当然前提是你懂得MySQL，如果这个你也不是很了解，可以先看看这个：MySQL教程
首先，我们创建一个数据库的表test.Data来存储数据，执行下面代码之前请确认：
- 已经创建了一个数据库：test
- MySQL用户"guest"和密码"12345"可以访问test数据库
具体代码如下：
def Create_table(name = 'Data'): #传入数据库的名称，创建数据库，数据库一共有三列：问题id、问题和答案 db = pymysql.connect("localhost","guest","12345","test", use_unicode=True, charset="utf8") #db.set_character_set('utf8') cursor = db.cursor() sql_1 = "drop table if exists " + name sql_2 = """create table %s( id int(100) not null auto_increment, question text(10000) not null, answer text(10000) default NULL, PRIMARY KEY (`id`) )engine=InnoDB default charset=utf8;""" %name cursor.execute(sql_1) #print(sql_2) cursor.execute(sql_2) return db def Load_date(db,date): #将date数据插入数据库 cursor = db.cursor() sql = """insert into Date(question,answer) values(%s,%s);""" %(date[0],date[1]) #print(sql) cursor.execute(sql) db.commit()
完整的代码如下：
import requests import re from bs4 import BeautifulSoup import time import pymysql import sys url_1 = "https://zhidao.baidu.com/search?word=" url_2 = "&ie=gbk&site=-1&sites=0&date=0&pn=" header = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36'} def Get_html(keyword, number = 0): #输入关键字，获取得到结果的数量和源码 #如果是首页，返回首页的HTML源码和最大页数；如果不是，则只返回HTML源码 url = url_1 + keyword + url_2 + str(number) #print(url) res = requests.get(url = url, headers = header) res.encoding = 'gbk' html = res.text if number == 0: reg = r'<a class="pager-last".+?pn=(.+?)">尾页</a>' reg = re.compile(reg) number = re.findall(reg,html)[0] return html,number else: return html def Get_URL(html): #从html源码中解析出url并返回 Soup = BeautifulSoup(html,'lxml') info = Soup.select('.list-inner') info = info[0].select('.ti') return [i['href'] for i in info] def Get_info(url): #传入详情页的URL，进入详情页获取问题和答案并返回 res = requests.get(url, headers = header) res.encoding = 'gbk' Soup = BeautifulSoup(res.text,'lxml') #详情页的问题和答案一共有三种情况，一是普通问题，二是作业帮的问答问题，三是丢失的问答 try: info = Soup.select('pre[accuse="aContent"]') if len(info) < 1: #print('不在pre[accuse="aContent"]') info = Soup.select('div[accuse="aContent"]') if len(info) < 1: info = Soup.select('dt[class="title"]') info = info[0].text except: info = '' print('获取回答失败,对应的URL为:',url) try: ask = Soup.select('.ask-title ') if len(ask) < 1: ask = Soup.select('.qb-content') ask = ask[0].text except: ask = '' print('获取标题失败，对应的URL为:',url) return ask,info def Create_table(name = 'Data'): #传入数据库的名称，创建数据库，数据库一共有三列：问题id、问题和答案 db = pymysql.connect("localhost","guest","12345","test", use_unicode=True, charset="utf8") #db.set_character_set('utf8') cursor = db.cursor() sql_1 = "drop table if exists " + name sql_2 = """create table %s( id int(100) not null auto_increment, question text(10000) not null, answer text(10000) default NULL, PRIMARY KEY (`id`) )engine=InnoDB default charset=utf8;""" %name cursor.execute(sql_1) #print(sql_2) cursor.execute(sql_2) return db def Load_date(db,date): #将date数据插入数据库 #db = pymysql.connect("localhost","guest","12345","test", use_unicode=True, charset="utf8") cursor = db.cursor() sql = """insert into Date(question,answer) values(%s,%s);""" %(date[0],date[1]) #print(sql) cursor.execute(sql) db.commit() def main(): #主调函数，负责调度其他辅助函数 #主要流程如下： #根据获取的关键字，得到首页的HTML源码和最大页数 #从源码中获取详情页的URL #然后创建数据库用来保存爬取的数据 #遍历详情页的URL，获取问题和答案，并将获得的数据插入数据库 keyword = '标书' [html,number] = Get_html(keyword) print("总共有%s页的结果！" %str(number)) URL = Get_URL(html) db = Create_table() for u in URL: #print(u) [ask,answer] = Get_info(u) if len(ask) > 1: ask = """'%s'""" %ask answer = """'%s'""" %answer date = [ask,answer] Load_date(db,date) time.sleep(1) print("首页获取完毕！") time.sleep(3) for i in range(1,int(int(number)/10+1)): html = Get_html(keyword,i*10) URL = Get_URL(html) for u in URL: #print(u) [ask,answer] = Get_info(u) if len(ask) > 1: ask = """'%s'""" %ask answer = """'%s'""" %answer date = [ask,answer] Load_date(db,date) time.sleep(1) print("第" + str(i+1) + "页获取完毕！") time.sleep(3) db.close() if __name__ == '__main__': main()
