python学习-scrapy学习笔记
python-scrapy学习笔记
一、你可以为你的spider指定处理数据的pipeline，不过这需要一些代码
首先我们需要一个装饰器（decorator），这个装饰器放到pipeline文件中，类的外部，因为多个pipeline需要用到这个装饰器
def check_spider_pipeline(process_item_method):
"""该注解用在pipeline上
:param process_item_method:
:return:
"""
@functools.wraps(process_item_method)
def wrapper(self, item, spider):
# message template for debugging
msg = "{0} pipeline step".format(self.__class__.__name__)
# if class is in the spider"s pipeline, then use the
# process_item method normally.
if self.__class__ in spider.pipeline:
logging.info(msg.format("executing"))
return process_item_method(self, item, spider)
# otherwise, just return the untouched item (skip this step in
# the pipeline)
else:
logging.info(msg.format("skipping"))
return item
return wrapper装饰器的作用是判断spider中有没有设置这个pipeline方法，代码的关键在于
if self.__class__ in spider.pipeline:基于这个判断，我们需要在spider中设置我们的pipeline：
pipeline = set([
pipelines.RentMySQLPipeline,
])在spider类中添加这段代码，建立这两段代码的联系。在pipeline中使用装饰器之后，我们就会判断spider中是否授权了该方法去操作item。
当然，我们在使用之前也必须将pipelines导入到文件中。
两者建立联系之后，使用如下代码：
@check_spider_pipeline
def process_item(self, item, spider):此时，就大功告成了。每个pipeline方法前都使用这个装饰器，然后在spider中授权方法的使用。
二、利用ORM，我们可以实现快速的入门操作数据库
ORM指object relational mapping，即对象关系映射。
首先我们的有一些基础知识，我自己用的是mysql和SQLAlchemy。如有不熟悉请移步mysql菜鸟教程，SQLAlchemy教程。
在我们通过spider爬取到数据之后，所有的数据都是提交给pipeline处理，pipeline需要在settings中注册
ITEM_PIPELINES = {
'spider.pipelines.SpiderPipeline': 300,
'spider.pipelines.SpiderDetailPipeline': 300,
}然后我们需要在mysql中添加自己的数据库和表
mysql -u root -p
create database xxx;
use xxx;
create table spider(id integer not null, primary key (id));添加好自己需要的数据之后，我们在程序中创建一个表的映射类
from sqlalchemy import Column, String, DateTime,create_engine, Integer, Text, INT
from sqlalchemy.orm import sessionmaker
from sqlalchemy.ext.declarative import declarative_base
import settings
Base = declarative_base()
class topic(Base):
__tablename__ = 'topic'
id = Column(Integer, primary_key=True, unique=True, autoincrement=True)
topic_title = Column(String(256))
topic_author = Column(String(256))
topic_author_img = Column(String(256))
topic_class = Column(String(256))
topic_reply_num = Column(Integer)
spider_time = Column(String(256))
def __init__(self, topic_title, topic_author, topic_class, topic_reply_num, spider_time, topic_author_img):
# self.topic_id = topic_id
self.topic_title = topic_title
self.topic_author = topic_author
self.topic_author_img = topic_author_img
self.topic_class = topic_class
self.topic_reply_num = topic_reply_num
self.spider_time = spider_time
DBSession = sessionmaker(bind=settings.engine)Base作为基类，供所有的对象类继承 DBSession作为操作数据库的一个对话，通过sessionmaker创建后，可以对方便的对数据库进行操作。 接下来就是进行数据的插入了，因为我们是爬虫操作，也不需要关心删除修改这些。直接上代码
class TesterhomeSpiderPipeline(object):
def __init__(self):
self.session = DBSession()
@check_spider_pipeline
def process_item(self, item, spider):
my_topic = Topic(topic_title=item['topic_title'][0].encode('unicode-escape'),
topic_author=item['topic_author'][0].encode('unicode-escape'),
topic_author_img=item['topic_author_img'][0].encode('unicode-escape'),
topic_class=item['topic_class'][0].encode('unicode-escape'),
topic_reply_num=item['topic_reply_num'][0].encode('unicode-escape'),
spider_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
try:
self.session.add(my_topic)
self.session.commit()
except:
self.session.rollback()
raise
finally:
self.session.close()
return item通过对Topic类进行实例化，然后调用session的方法将数据插入数据库就完成了一次对数据库的操作。
本身是打算每周更新两篇博客的，也不管有没有营养，哈哈！不过周末又犯懒了，所以周一赶紧补上！
第一篇笔记是自己实际使用爬虫中遇到的问题，第二篇。。嗯。。是拿来凑数的！因为以前利用flask
开发过网站，所以SQLAlchemy用起来还是很轻松的！
本文为本人原创，创作不易，转载请注明出处！谢谢
