gerapy使用方法
-
在桌面用win+r进入命令窗口,第二次打开只需要win+r启动scrapyd服务,进入gerapy文件夹,启动gerapy服务:gerapy runserver
-
进入桌面: cd desktop
-
打开scrapyd服务:scrapyd
-
重开一个窗口重复1到2
-
初始化gerapy:gerapy init
-
进入gerapy: cd gerapy
-
初始化数据库:gerapy migrate
-
创建超级用户:gerapy createsuperuser,邮箱可以直接跳过
-
打开服务:gerapy runserver
-
在网页上输入第九步的结果:127.0.0.1:8000
-
输入第八步的账号密码
-
在主机管理里添加主机:名称:本机,IP:127.0.0.1,端口:6800
-
把需要运行的项目拉到gerapy文件夹下的projects文件夹里
-
刷新页面,点击项目管理,打包项目:注释写爬虫作用
-
部署,如果写注释失败,查看是否是代码写错了,一般是管道item引入错误,改成..item就行
-
在主机管理里点击调度,就可以运行爬虫文件了
- 定时爬虫:点击任务管理,调度方式选Interval,定时可选择周,天,时分秒,时区选Asia/Hong_Kong,开始结束时间按要求,创建成功后,点击‘状态’显示失败,设置完重启gerapy和scrapyd服务即可,后面挂载
- 在线更新,在项目管理点击编辑,可以修改爬取对象和储存对象