摘要:
scrapy部署神器-scrapyd --》GitHub地址 --》官方文档 一:安装scrapyd 安装:pip3 install scrapyd 这里我在另外一台ubuntu linux虚拟机中同样安装scrapy以及scrapyd等包,保证所要运行的爬虫需要的包都完成安装. 在这里有个小问题需 阅读全文
摘要:
一:scrapy工作流程 scrapy单机架构: 单主机爬虫架构: 分布式爬虫架构: 这里重要的就是我的队列通过什么维护?这里一般我们通过Redis为维护,Redis,非关系型数据库,Key-Value形式存储,结构灵活。并且redis是内存中的数据结构存储系统,处理速度快,提供队列集合等多种存储结 阅读全文
摘要:
一:安装 --》官方教程 二:启动服务: 第三步:连接 客户端连接成功 第四步: 阅读全文
摘要:
打开软件和更新:如下图 选择一个自己喜欢的镜像。 然后执行 sudo apt-get update 更新源。 结束 1、原文件备份 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak 2、编辑源列表文件 sudo vim /etc/apt/ 阅读全文
摘要:
1、前言 Redis是常用基于内存的Key-Value数据库,比Memcache更先进,支持多种数据结构,高效,快速。用Redis可以很轻松解决高并发的数据访问问题;做为时时监控信号处理也非常不错。 2、安装 安装完成后,Redis服务器会自动启动,我们检查Redis服务器程序 可以看到: 显示: 阅读全文
摘要:
一:爬取思路 首先我们应该找到一个账号,这个账号被关注的人和关注的人都相对比较多的,就是下图中金字塔顶端的人,然后通过爬取这个账号的信息后,再爬取他关注的人和被关注的人的账号信息,然后爬取被关注人的账号信息和被关注信息的关注列表,爬取这些用户的信息,通过这种递归的方式从而爬取整个知乎的所有的账户信息 阅读全文