摘要：
一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo 阅读全文
摘要：
一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo 阅读全文
摘要：
1.基本配置 下载相关工具(3台) # yum install -y vim 下载vi编译器升级版vim 1.1 修改主机名(3台) # hostnamectl set-hostname 结点名 修改主机名永久修改 # vim /etc/sysconfig/network 内添加 NETWORKIN 阅读全文
摘要：
一.集群规划 Myid 1 2 3 Name Master slave1 slave2 Ip 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3 阅读全文
摘要：
1.Scrapy框架简介 Scrapy是一个为爬取网站数据、提取结构性数据而设计的应用程序框架，它可以应用在广泛领域：Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。 前面数据采集流程： 阅读全文
摘要：
1.反爬机制函数 下面是已定义好的反爬函数一个函数对应一个或N个知识点，相互调用构造调试反爬。 # 1.随机头部 def 随机头部(): from fake_useragent import UserAgent my_headers = { 'User-Agent': UserAgent().ran 阅读全文