Scrapy基础(十)———同步机制将Item中的数据写在Mysql


  前面讲解到将Item中的所有字段都已经填写完成,那么接下来就是将他们存储到mysql数据库中,
那就用到了pipeline项目管道了;
  对项目管道的理解:做一个比喻,爬取好比是开采石油,Item装的都是原油,需要通过一系列的管道
和工艺进行提炼,而这些原油都是通过pipeline进行加工的,才能真正的到我们所能使用的油(数据)
  大致思路:
      1, 安装MySQLdb和连接数据库的驱动mysqlclient,并创建数据库和相应的表,创建和Item的字段
        一样的字段(注意各个字段的类型,长度和默认值);这些操作可通过navicat进行操作
      2,自定义pipeline,引入mysqldb库,将Item中的数据写入数据库
      3,在settings文件中注册这个管道,并给这个管道一个编号(这个管道在哪条工艺之后进行)

具体代码

 1 #引入操作数据库模块
 2 import MySQLdb
 3 
 4 class MysqlPipeline(object):
 5     '''
 6     同步机制实现mysql写入操作
 7     '''
 8 
 9     #定义初始化函数,当类被使用时自动调用这个函数,我们让他初始化时就连接上数据库
10     def __init__(self):
11         #取个变量名,连接数据库,依次是: host,user,password,dbname
12         self.conn = MySQLdb.connect("127.0.0.1","root","root","artical_spider")
13         #通过cursor()的方法获取游标
14         self.cursor = self.conn.cursor()
15 
16     #自定义的管道必须有此方法
17     def process_item(self,item,spider):
18         #要执行的插入sql语句
19         insert_sql = """
20             insert into jobbole_artical(title,creat_date,url,url_object_id,
21                 front_image_url2,front_image_path,tags,comment_num,
22                 fav_num,like_num,content
23                 )
24             VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)
25         """
26         
27         #执行sql语句,注意后面是元组,将Item中的数据格式化填充到插入语句中
28         self.cursor.execute(insert_sql,(item["title"],item["creat_date"],item["url"],
29             item["url_object_id"],item["front_image_url2"],item["front_image_path"],
30             item["tags"],item["comment_num"],item["fav_num"],item["like_num"],item["content"]))
31 
32         #将sql语句提交到数据库执行
33         self.conn.commint()

注意:

一:

我们从前设置过

artical_item["front_image_url"] = [front_image_url]

这个Item是一个列表类型,当你写入数据库时候报错, 

File "C:\Users\Administrator\Envs\artical_spider\lib\site-packages\MySQLdb\converters.py", line 90, in quote_tuple
    return "(%s)" % (','.join(escape_sequence(t, d)))
TypeError: sequence item 0: expected str instance, bytes found

当我们改为str时图片的下载路径又不能正常工作,

所以只能添加一个新的一样的Item,一个设置为列表,供图片下载,一个为写入数据库中做准备

二:

对于数据库各个字段的设置,这里可将一些字段设置为不为空,并且设置一些字段的默认值;

这里讲url_object_id设置成主键,主键不能为空且唯一;在

在写入数据库时,各个字段要和Item字段的顺序相对应

三:

关于python对数据库的操作,本篇参考了这篇博文

以下是运行结果

 






































'''

posted @ 2017-05-24 19:24  若鸟  阅读(1764)  评论(0编辑  收藏  举报