摘要: 与上一篇原因相同,服务快要停止了,所以开源下代码, 这个是监控的微博热搜榜,从早上8点到晚上10点,每两个小时抓取微博热搜经过去关键词和去重之后推送到微信, 没错,这里是直接推送到微信端的, 结构图是这样的: 运作过程是这样的: 1、由定时器触发数据抓取, 2、过滤关键词 3、打散,去除已经推送过的 阅读全文
posted @ 2019-08-01 14:52 十点 阅读(704) 评论(0) 推荐(0) 编辑
摘要: 挂在云端的爬虫突然就被封IP了,数据库也马上就要到期了,可能运作不下去了,但还是把代码分享下吧, 如果B站的同学看到了,我就想问一句,我每天就访问一次也能封IP? 直接上结构图: 步骤: 1、每天定时去拉取B站总榜单数据:标题和链接 2、进行关键词过滤 3、除去已经展现过的标题, 4、生成RSS源 阅读全文
posted @ 2019-08-01 14:33 十点 阅读(510) 评论(0) 推荐(0) 编辑