摘要：
scrapyd-实际的管理爬虫程序 scrapyd 是由scrapy 官方提供的爬虫管理工具，使用它我们可以非常方便地上传、控制爬虫并且查看运行日志。 scrapyd是c/s架构 所有的爬虫调度工作全部依靠接口实现，（https://scrapyd.readthedocs.io/en/latest/ 阅读全文
摘要：
其实，本质上和爬虫没区别，只不过这是人家主动给你数据，而且是编排好格式后的数据 按个人主页url更新内容 去重，按照redis去重的方式 按时间保存内容 mysql 保存为时间格式（可以根据时间比较大小，需要把post时间转换为datetime类型存储） 定时更新，可以设置更新时间 从数据库中取前1 阅读全文