摘要：
HDFS设计目标 硬件错误：数量众多的廉价机器使得硬件错误成为常态 数据流访问：应用以流的方式访问数据;设计用于数据的批量处理，而不是低延时的实时交互处理。 放弃全面支持POSIX 大数据集：典型的HDFS上的一个文件大小是G或T数量级的，支持一个云中文件数量达到千万数量级 简单的相关模型：假定文件 阅读全文
摘要：
Hadoop完全分布式集群搭建 使用四台Linux机器搭建集群规划： 192.168.230.10 192.168.230.11 192.168.230.12 192.168.230.14 NameNode DataNode DataNode DataNode SecondaryNameNode 1 阅读全文
摘要：
Hadoop单机模式集群搭建 0、准备192.168.230.13主机，作为搭建hadoop单机模式的主机 1、将压缩/安装文件上传到指定目录 [root@node4 ~] cd /opt/software [root@node4 software] ll total 723384 rw r r 1 阅读全文
摘要：
搭建并调试Solr 1、准备jdk7和tomcat7 2、拷贝solr目录下example/webapps/solr.war，到tomcat下的webapps目录中。 3、启动tomcat7 [root@node1 ~] ./bin/startup.sh 4、编辑tomcat7中的webapps/s 阅读全文
摘要：
MaReduce MapReduce设计理念 何为分布式计算 移动计算，而不是移动数据 MapReduce四个阶段 1、Split(切数据) 2、Map(有多少个线程段，就有多少个map) 3、Shuffle(洗牌过程中【分组、排序、分区】，数据结构不改变，类似于打麻将，整理数据) 4、Reduce 阅读全文
摘要：
HDFS HA(高可用) NameNode HA 免密码：登录到别的机器上去执行脚本 将原来hdfs site.xml文件中的配置删除，配置hdfs HA的配置 1、配置/opt/modules/hadoop 2.5.1/etc/hadoop目录下的hdfs site.xml文件 dfs.names 阅读全文
摘要：
YARN的HA搭建 选择192.168.230.10(node1),192.168.230.14(node5)两台主机作为ResourceManager datanode与nodemanager一定要放在一个机器上 YARN的体系架构 1、配置/opt/modules/hadoop 2.5.1/et 阅读全文