熟悉pyspider的装饰器
熟悉pyspider的装饰器取经地点:https://segmentfault.com/a/1190000002477863
@config(age=10 * 24 * 60 * 60)
在这表示我们认为 10 天内页面有效,不会再次进行更新抓取@every
修饰器,@every(minutes=24 * 60表示on_start
每天会执行一次,知道这个规则之后就可以根据自己需要改参数了-
开始抓取
- 使用
run
单步调试你的代码,对于用一个callback
最好使用多个页面类型进行测试。然后保存。 - 回到 Dashboard,找到你的项目
- 将
status
修改为DEBUG
或RUNNING
- 按
run
按钮 - 打开一个新窗口
- 按
Ctrl
+Shift
+I
(在 Mac 上请按Cmd
+Opt
+I
) 打开开发者工具。 - 切换到网络( Netwotk 面板)
- 使用
逆风的方向更适合飞翔,不怕千万人阻挡,只怕自己投降!