django + scrapy 部署

 

 

 

 

django+scrapy部署

 

1.创建django项目，并编写models.py,启动django项目

2.Django项目根目录下创建Scrapy项目 （这是scrapy-djangoitem所需要的配置） 配置Django嵌入，在Scrapy的settings.py中加入以下代码： import os import sys sys.path.append(os.path.dirname(os.path.abspath('.'))) os.environ['DJANGO_SETTINGS_MODULE'] = 'django项目名.settings' import django django.setup()

3.编写爬虫 4.item.py中引入Django模型类（pip install scrapy-djangoitem） from scrapy_djangoitem import DjangoItem from 子应用 import models class ScrapyabckgItem(DjangoItem): # 此处必须起名为django_model,主爬虫中使用item['title']=xxx django_model = models.AbckgModel

5.pipelines.py中调用save()

class ScrapyabckgPipeline(object):

　　 def process_item(self, item, spider): # 插入到数据库

　　　　 item.save()

　　 return item #将item传给下一个管道继续处理

6.启动爬虫(用命令，并非scrapyd启动)：scrapy crawl 爬虫名

7.刷新django-admin后台