沙漏哟   计算机的未来在于联结

摘要： 一、Oozie环境搭建 1. 下载oozie-4.0.0-cdh5.3.6.tar.gz 下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 2. 解压 tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/modules/ 阅读全文

摘要： 官网： 参考文档： Kafka入门经典教程 Kafka工作原理详解 一、安装zookeeper 1. 下载zookeeper-3.4.5-cdh5.3.6.tar.gz 下载地址为： http://archive.cloudera.com/cdh5/cdh/5/ 2. 解压到/opt/modules 阅读全文

摘要： 一、netcat source + memory channel + logger sink 1. 修改配置 1）修改$FLUME_HOME/conf下的flume-env.sh文件，修改内容如下 2）在$FLUME_HOME/conf目录下，创建agent子目录，新建netcat-memory-l 阅读全文

摘要： 一、引入 MapReduce Job Hive 脚本任务 同一个业务：先后、定时调度 工作流： 定义工作流程 activity jbpm oozie： 大数据工作流定义与调度框架 专门定义与调度MapReduce Job工作流程 拓展：shell、hive、sqoop、hdfs oozie演变过程： 阅读全文

摘要： 一、Flume http://flume.apache.org/FlumeUserGuide.html Flume是一个分布式的，可靠的，可用的，非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。 1. 架构方式 1）所有应用使用一台flume服务器； 2）所有应用共享flume集群； 阅读全文

摘要： 官方参考文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual 一、命令行和客户端 1. 命令窗口 1）进入命令窗口 2）在hive cli命令窗口查看hdfs文件系统： 3）在hive cli命令窗口如何查看本地文件系统 阅读全文

摘要： 一、CentOS 6.4安装Nginx http://shiyanjun.cn/archives/72.html 二、安装Flume 1. 下载flume-ng-1.5.0-cdh5.3.6.tar.gz 下载地址http://archive.cloudera.com/cdh5/cdh/5/ 2. 阅读全文

摘要： 一、github使用手册 1. 我也用github（2）——关联本地工程到github 2. Git错误non-fast-forward后的冲突解决 3. Git中从远程的分支获取最新的版本到本地 4. Git教程 二、案例：倒排索引 1. 完成功能： 统计一系列文本文件中的每个单词构成的倒排索引。 阅读全文

摘要： 一、搭建hadoop环境 《OD大数据实战》hadoop伪分布式环境搭建 二、Hive环境搭建 1. 准备安装文件 下载地址： http://archive.cloudera.com/cdh5/cdh/5/ hive-0.13.1-cdh5.3.6.tar.gz 2. 解压 3. 修改配置 1）修改 阅读全文

摘要： 一、安装并配置Linux 8. 使用当前root用户创建文件夹，并给/opt/下的所有文件夹及文件赋予775权限，修改用户组为当前用户 最终效果如下： 二、安装并配置JDK 1. 安装文件 jdk-7u67-linux-x64.tar.gz 2. 解压 3. 配置jdk 1）使用sudo配置/etc 阅读全文