后台数据scrapy爬取 和 Django 的orm 结合

下载 scrapy 

创建爬虫

scrapy startproject 项目名

cd 

scrapy genspider 爬虫名 初始网址

 

下载Django

django-admin startapp 名字

 

结合的地方

scrapy  item中

下载 scrapy_djangoitem

 

import scrapy
from scrapy_djangoitem import DjangoItem
from ""Django的项目名"".models import ""创建的模型名""


class KuwoItem(DjangoItem):
    django_model = ""创建的模型名""

scrapy  蜘蛛.py 中

item.save()

 

scrapy 启动.py 中

import os,django
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "kw.settings")# project_name 项目名称  kw为 蜘蛛名
django.setup()


from scrapy import cmdline
cmdline.execute('scrapy crawl kw'.split(' '))

 

Django 中

创建模型

Django   settings中

注册应用