gerapy使用方法

  1. 在桌面用win+r进入命令窗口,第二次打开只需要win+r启动scrapyd服务,进入gerapy文件夹,启动gerapy服务:gerapy runserver

  2. 进入桌面: cd desktop

  3. 打开scrapyd服务:scrapyd

  4. 重开一个窗口重复1到2

  5. 初始化gerapy:gerapy init

  6. 进入gerapy: cd  gerapy

  7. 初始化数据库:gerapy migrate

  8. 创建超级用户:gerapy createsuperuser,邮箱可以直接跳过

  9. 打开服务:gerapy runserver

  10. 在网页上输入第九步的结果:127.0.0.1:8000

  11. 输入第八步的账号密码

  12. 在主机管理里添加主机:名称:本机,IP:127.0.0.1,端口:6800

  13. 把需要运行的项目拉到gerapy文件夹下的projects文件夹里

  14. 刷新页面,点击项目管理,打包项目:注释写爬虫作用

  15. 部署,如果写注释失败,查看是否是代码写错了,一般是管道item引入错误,改成..item就行

  16. 在主机管理里点击调度,就可以运行爬虫文件了

  17. 定时爬虫:点击任务管理,调度方式选Interval,定时可选择周,天,时分秒,时区选Asia/Hong_Kong,开始结束时间按要求,创建成功后,点击‘状态’显示失败,设置完重启gerapy和scrapyd服务即可,后面挂载
  18. 在线更新,在项目管理点击编辑,可以修改爬取对象和储存对象
posted @ 2023-03-23 17:41  布都御魂  阅读(213)  评论(0编辑  收藏  举报