摘要: 一.增量式爬虫 概念:通过爬虫程序监测某网站数据更新的情况,以便可以爬取到该网站更新出的新数据。 如何进行增量式的爬取工作: 在发送请求之前判断这个URL是不是之前爬取过 在解析内容后判断这部分内容是不是之前爬取过 写入存储介质时判断内容是不是已经在介质中存在 分析: 不难发现,其实增量爬取的核心是 阅读全文
posted @ 2019-05-28 14:12 姜浩 阅读(1041) 评论(0) 推荐(0) 编辑
摘要: 一。介绍 二。安装与启动命令: 三。配置vsftp服务器: # 是否允许匿名登录FTP服务器,默认设置为YES允许 # 用户可使用用户名ftp或anonymous进行ftp登录,口令为用户的E-mail地址。 # 如不允许匿名访问则设置为NO anonymous_enable=NO # 是否允许本地 阅读全文
posted @ 2019-05-28 14:10 姜浩 阅读(261) 评论(0) 推荐(0) 编辑