摘要：
scrapy部署神器-scrapyd --》GitHub地址 --》官方文档 一：安装scrapyd 安装：pip3 install scrapyd 这里我在另外一台ubuntu linux虚拟机中同样安装scrapy以及scrapyd等包，保证所要运行的爬虫需要的包都完成安装. 在这里有个小问题需 阅读全文
摘要：
一：scrapy工作流程 scrapy单机架构： 单主机爬虫架构： 分布式爬虫架构： 这里重要的就是我的队列通过什么维护？这里一般我们通过Redis为维护，Redis，非关系型数据库，Key-Value形式存储，结构灵活。并且redis是内存中的数据结构存储系统，处理速度快，提供队列集合等多种存储结 阅读全文
摘要：
一：安装 --》官方教程 二：启动服务： 第三步：连接 客户端连接成功 第四步： 阅读全文
摘要：
打开软件和更新：如下图 选择一个自己喜欢的镜像。 然后执行 sudo apt-get update 更新源。 结束 1、原文件备份 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak 2、编辑源列表文件 sudo vim /etc/apt/ 阅读全文
摘要：
1、前言 Redis是常用基于内存的Key-Value数据库，比Memcache更先进，支持多种数据结构，高效，快速。用Redis可以很轻松解决高并发的数据访问问题；做为时时监控信号处理也非常不错。 2、安装 安装完成后，Redis服务器会自动启动，我们检查Redis服务器程序 可以看到: 显示: 阅读全文
摘要：
一：爬取思路 首先我们应该找到一个账号，这个账号被关注的人和关注的人都相对比较多的，就是下图中金字塔顶端的人，然后通过爬取这个账号的信息后，再爬取他关注的人和被关注的人的账号信息，然后爬取被关注人的账号信息和被关注信息的关注列表，爬取这些用户的信息，通过这种递归的方式从而爬取整个知乎的所有的账户信息 阅读全文