摘要：
## 一、任务目标 针对一个文本的内容，提取其中的所有单词并去重 文本去重前  去重后  ## 二、问题分析 之前都是写完程序后直接打包到集群上运行的，这样确实有点 阅读全文
摘要：
## 一、问题描述 本地运行MapReduce程序并不能像在集群上那样输出日志信息，而且还回报log4j的警告  ## 一、问题描述 我一开始写爬虫的时候，数据用的是Linux虚拟机的`mysql5 阅读全文
摘要：
今天在DEBUG的时候又出现了一个问题，用Scrapy下载图片，需要重写ImagesPipeline类的item_completed方法。 书上代码如下： ```python def item_completed(self, results, item, info): image_paths = [ 阅读全文
摘要：
## 一、前言 大概是一个月前就开始做淘宝的爬虫了，从最开始的用selenium用户配置到selenium模拟登录，再到这次的post请求模拟登录。一共是三篇博客，记录了我爬取淘宝网的经历。期间也有朋友向我提出了不少问题，比如滑块失败，微博登录失败等，可以说用selenium模拟登录这方面，坑特别多 阅读全文
摘要：
## 一、前言 Github源码链接：[https://github.com/Python3WebSpider/GithubLogin](https://github.com/Python3WebSpider/GithubLogin) 崔庆才：[https://cuiqingcai.com/8229 阅读全文
摘要：
 [承接上一篇博客，直接上代码，解析请看上篇。](https://blog.csdn.net/p 阅读全文