Yao.

摘要： 1. hdfs基本工作流程 1. hdfs初始化目录结构 hdfs namenode format 只是初始化了namenode的工作目录 而datanode的工作目录是在datanode启动后自己初始化的 namenode在format初始化的时候会形成两个标识： blockPoolId： clu 阅读全文

摘要： ## 1.hdfs 怎么存储切割存储## 2. 为何每块是128m与io读写速度有关，一般人的接受速度1s中，而磁盘的读写速度为100m／s，在读取文件时候需要硬盘寻找地址，一般读懂速度和寻找之间的比例是1/100，比如我们设置寻址时间为10ms，那么整体读的时间为10ms * 100 = 1000ms = 1s， 100m／s * 1／s～=128M## 3. 验证存储![](http://im... 阅读全文

摘要： ## 1. 单独启动和关闭hadoop服务1. 启动名称节点 ``` #hadoop-daemon.sh start namenode ```2. 启动数据节点 ``` #hadoop-daemons.sh start datanode slave ``` 3. 启动secondarynamenode ``` #hadoop-daemon.sh... 阅读全文

摘要： 4. hadoop启动脚本分析 1. hadoop的端口 50070 //namenode http port 50075 //datanode http port 50090 //2namenode http port 8020 //namenode rpc port 50010 //datano 阅读全文

摘要： 3.Hadoop完全分布式搭建 1.完全分布式搭建 1. 配置 2. 修改core site.xml配置文件 3. 修改hdfs site.xml配置文件 4. 修改mapred site.xml配置文件 5. 修改yarn site.xml配置文件 6. 修改slaves配置文件 7. 同步到其他 阅读全文

摘要： 2. Hadoop三种集群方式 1. 三种集群方式 1. 本地模式 hdfs dfs ls / 不需要启动任何进程 2. 伪分布式 所有进程跑在一个机器上 3. 完全分布式 每个机器运行不同的进程 2. 服务器基本配置 2.1 服务器配置及系统版本 1. CPU: 2核 2. 内存: 4G 3. 系 阅读全文

摘要： 1. Hadoop介绍 1.1 什么是Hadoop 1. 开源的，可靠的，分布式的，可伸缩的 2. 提供的功能: 利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 1.2 处理方式 1. 大众角度 1. 数据量大，海量 2. 技术人员角度 1. 如何存储 2. 如何计算 3. 公司 阅读全文

摘要： 意义： 定义一个用于创建对象的接口，让子类决定实例化哪一个类。Factory Method 使一个类的实例化延迟到其子类。 适用性： 当一个类不知道他所必须创建的对象的类的时候。 当一个类希望有他的子类来指定他所创建的对象的时候 当类将创建对象的职责委托给多个子类中的某一个。 代码： class S 阅读全文

摘要： 新建hello.go 内容： package main import ( "fmt" ) func main() { fmt.Println("Hello liuyao") } 运行： go run hello.go 如果要编译 go build hello.go 演示： 阅读全文

摘要： Scrapy003 项目流程 @(Spider)[POSTS] 前两篇文章我们了解到 的原理和安装的相关知识，这节就需要知道创建项目流程的小知识。 根据官方文档：http://scrapy chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html中的入门教程 阅读全文