摘要：
配置好HDFS之后，接下来配置单节点的yarn环境 1，修改配置文件 文件 ： /root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/yarn-site-xml 插入 <property> <name>yarn.nodemanager.aux-services</na 阅读全文
摘要：
配置好HDFS，也学习了点HDFS的简单操作，跟Linux命令相似 1) 配置Hadoop的环境变量，类似Java的配置 在 ~/.bash_profile 中加入 export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0 export PATH=$HAD 阅读全文
摘要：
主要解决验证启动HDFS时： 1） jps：bash: jps: command not found... 原因：主要是java/bin 环境变量没配置好。 解决办法： 在 ~/.bash_profile 中 export JAVA_HOME=/root/app/jdk1.7.0_51 export 阅读全文
摘要：
下载的压缩文件放在~/software/ 解压安装在~/app/ 一：分布式文件系统搭建HDFS 1，下载Hadoop HDFS环境搭建 使用版本：hadoop-2.6.0-cdh5.7.0 下载：wget http://archive.cloudera.com/cdh5/cdh/5/hadoop- 阅读全文
摘要：
需求： 两台笔记本用两套键盘鼠标，那体验，糟透了。 怎样才能使得两个主机公用一套鼠标和键盘呢？上网搜索到Synergy这款软件 参考： 具体使用方法参考了这篇博文 基本使用： 这款软件分为服务端和客户端，具体设置将主机设置为服务端，从机设置为客户端。在同一局域网内。 设置客户端 客户端有交互配置服务 阅读全文
摘要：
插入排序; 假设数组长度为n,先从第二个元素开始，与前一个元素比较，之后将较小的元素 放在前面,现在前两个元素是有顺序的，这时取第三个元素，与前一个元素(也就是第二个)比较，较小的放在前面 因为前面两个元素顺序已经排好，再将这个新进入到前面的较小元素与前面排好顺序的元素依次比较，直到找到合适位置插入 阅读全文
摘要：
模拟登陆大体思路见此博文，本篇文章只是将登陆在scrapy中实现而已 之前介绍过通过requests的session 会话模拟登陆；必须是session,涉及到验证码和xsrf的写入cookie验证的问题；在scrapy中不需担心此问题，因为Request会保证这是一个会话，并且自动传递cookie 阅读全文
摘要：
#-*-coding:utf-8 -*-__author__ = "ruoniao"__date__ = "2017/5/31 20:59" 之前我们通过爬取伯乐在线的文章,伯乐在线对爬取没有什么限制，这次爬取知乎，就有了爬取限制，首先就是登录限制；为破解限制，首先就是模拟登录 模拟登陆首先要明白的 阅读全文
摘要：
ItemLoader的简单使用：目的是解决在爬虫文件中代码结构杂乱，无序，可读性差的缺点 经过之前的基础，我们可以爬取一些不用登录，没有Ajax的，等等其他的简单的爬虫回顾我们的代码，是不是有点冗长，将所需字段通过xpath或者css解析出来，再自定义语句(还不是函数中)进行清洗;然后再装入Item 阅读全文
摘要：
异步导出数据到Mysql中 上次说过从Item中同步写入数据库，因为网络的下载速度和数据库的I/O速度是不一样的所以有可能会发生下载快，但是写入数据库速度慢，造成线程的堵塞；关于堵塞和非堵塞，同步和异步的关系，因为没接触过，所以也不是很好的理解，这里查看了些资料，已做记录 链接1：https://w 阅读全文