摘要：
RabbitMQ消息队列 一、Hello World 1．amqp-client客户端依赖 2．Rabbitmq类与方法 二、交换机类型 Exchange Type 1．消息轮询分发(Round Robin) 2．消息公平分发(Fair Dispatch) 3．发布与订阅模式(Publish/Sub 阅读全文
摘要：
hadoopMapReduce 1. MapReduce流程 2. Shuffle流程 1. MapReduce流程 MapReduce流程 切片: 对数据进行逻辑划分,默认大小是一个block块大小. 以文件为单位,所以注意小文件问题 计算规则:Math.max(minSize, Math.min 阅读全文
摘要：
hadoophdfs 1. HDFS写流程 2. HDFS写流程 1. HDFS写流程 HDFS写流程 副本存放策略: 上传的数据块后,触发一个新的线程,进行存放。 第一个副本:与client最近的机器(基于性能考虑) 第二个副本:跨机器存放该副本(考虑数据安全性) 第三个副本:与第一个，第二个副本 阅读全文
摘要：
GitHub预览网页 1. 创建仓库 2. 设置页面预览 3. 上传html 4. 访问网页 1. 创建仓库 登陆GitHub创建仓库 datamoko 添加基本信息: 仓库名、仓库描述,然后点击创建 2. 设置页面预览 点击仓库设置 往下滑动页面,找到 GitHub Pages 设置,选择预览分支 阅读全文
摘要：
mavenhdfsMapReduce 1. 配置maven环境 2. 创建maven项目 2.1 pom.xml 依赖 2.2 单元测试 3. hdfs文件操作 3.1 文件上传和下载 3.2 RPC远程方法调用 4. MapReduce操作 4.1 WordCount 4.2 本地模式运行 4.3 阅读全文
摘要：
hadoopsshrsyncntpMapReduce 1. 分布式集群规划 2. 网络IP规划 3. 修改hadoop配置 3.1 core-site.xml 3.2 hdfs-site.xml 3.3 mapred-site.xml 3.4 yarn-site.xml 3.5 slaves 3.6 阅读全文
摘要：
1. 下载压缩包 2. 配置环境变量 3. 配置Hadoop的JAVA_HOME路径 4. WordCount 1. 下载压缩包 下载Hadoop binary二进制压缩包 https://hadoop.apache.org/releases.html 上传到Linux并解压 2. 配置环境变量 提 阅读全文
摘要：
HadoopHDFSMapReduce Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储 MapReduce则为海量的数据提供了计算 HDFS 分布式文件系统（Hadoop Distributed File 阅读全文
摘要：
使用vmware安装centos6虚拟机时, 克隆虚拟机后无法访问网络. 原因是:产生了重复的网卡信息 克隆后在 文件中会多一行网卡信息,把第一行网卡信息删除(不要删错了),修改第二行的 为`eth0` 第一行是被克隆的虚拟机的网卡信息,第二行才是当前虚拟机的网卡信息 删除etho，将eth1改为e 阅读全文
摘要：
1. 修改hosts和hostname 2. 用户管理 3. 免秘登陆 4. 文件末尾添加 >> 5. 设置可执行文件 6. 任何地方调用 7. Centos6 永久关闭防火墙 8. Centos 7 防火墙控制 9. 查找包含指定字符串的文件 1. 修改hosts和hostname 修改hosts 阅读全文