把爬取到的链接放到数据库
把爬取到的链接放到数据库
import requests # 用来请求网页 from bs4 import BeautifulSoup # 解析网页 import time # 设置延时时间,防止爬取过于频繁被封IP号 import re # 正则表达式库 import mysql # 由于爬取的数据太多,我们要把他存入MySQL数据库中,这个库用于连接数据库 import mysql.connector import logging con = mysql.connector.connect( user="root", password='123456', host='localhost', port='3306', database='test_url' ) # insertSql = "INSERT INTO ww (`url`) VALUES (%s)" cursor = con.cursor() url = "https://book.douban.com/tag/?icn=index-nav" wb_data = requests.get(url) # 请求网址 soup = BeautifulSoup(wb_data.text, "lxml") # 解析网页信息 tags = soup.select("#content > div > div.article > div > div > table > tbody > tr > td > a") # 根据CSS路径查找标签信息,CSS路径获取方法,右键-检查-copy selector,tags返回的是一个列表 #f = open("channel/channel.html", 'w') insertSql = "INSERT INTO wangzhi (dizhi) VALUES (%s)" for tag in tags: tag = tag.get_text() # 将列表中的每一个标签信息提取出来 helf = "https://book.douban.com/tag/" # 观察一下豆瓣的网址,基本都是这部分加上标签信息,所以我们要组装网址,用于爬取标签详情页 urlVal = helf + str(tag) # f.write("%s<br>" % url) try: # cursor.execute("INSERT INTO wangzhi VALUES urlVal") cursor.execute("INSERT into `ww` (`dizhi`) values('%s')" % urlVal) con.commit() except Exception as err: print(err) con.close() cursor.close()
把注释的代码打开,就是把爬去到的链接写到文件夹中,不用创建文件夹,自动生成文件夹和html文档