随笔分类 - 大数据实战
大数据相关实战案例
摘要：1. hadoop环境搭建 1.1 伪分布式环境搭建 1.1.1 伪分布式环境搭建 1.1.2 伪分布式搭建结果 hdfs可视化界面： http://od001:50070/dfshealth.html#tab-overview yarn可视化界面： http://od001:8088/cluste
阅读全文
摘要：1.4.1 数据转换工具Sqoop 1.4.2 文件收集框架Flume 1. Flume设计架构 2. Flume初步使用 3. Source/Channel/Sink 4. Flume项目架构 5. Flume实战案例 1.4.3 任务调度框架Oozie 1.4.4 大数据WEB工具Hue
阅读全文
摘要：1. MySQL的基本操作 2. SQL语句 3. 高级查询 1）聚合函数、分组查询 2）联合查询、连接查询 3）子查询 4. 高级应用 1）视图与索引 2）数据可视化管理 5. 使用JDBC操作数据库 6. Linux下的MySQL环境配置
阅读全文
摘要：1. 初识Java 2. Java语法 快速入门点我 2.1 数据类型和运算符 2.2 流程控制语句 2.3 数组 2.4 类和对象 2.5 OOP三大特性 2.6 集合框架与泛型 2.7 反射机制 2.8 多线程处理 2.9 Socket网络编程2.10 Linux下的Java环境配置
阅读全文
摘要：1. Linux基本环境 1.1 大数据Hadoop前置大纲讲解 1）Linux系统，基本命令 2）Java语言，JavaSE相关知识 3）MySQL基本的DML和DDL 1.2 常见Linux系统、安装VMWare及虚拟机 1）重要的网站，大数据领域，hadoop发行版本，有公司Cloudera
阅读全文
摘要：0. 大数据相关预备课程 0.1 Java编程基础 0.2 Linux基础 0.3 MySQL基础 1. Hadoop开发技术基础 1.1. Linux基础 1.2 大数据基础Hadoop 2.X 1.3 大数据仓库Hive 1.4 大数据协作框架 1.5 分布式数据库HBase 2. Hadoop
阅读全文
摘要：一、安装mysql 1. 解决乱码问题 http://www.ha97.com/5359.html http://blog.csdn.net/qiyuexuelang/article/details/9049985 2. 授权 http://www.cnblogs.com/aidd2008/arch
阅读全文
摘要：一、环境搭建 1. 下载 mahout-0.9-cdh5.3.6.tar.gz 2. 解压 3. mahout org.apache.mahout.clustering.syntheticcontrol.kmeans.Job hdfs dfs -ls /output 转换成普通文本 hdfs dfs
阅读全文
摘要：一、环境搭建 1. 编译spark 1.3.0 1）安装apache-maven-3.0.5 2）下载并解压 spark-1.3.0.tgz 3）修改make-distribution.sh 4）替换maven仓库jar包 5）打包编译 （1）MAVEN编译 （2）使用CDH5.3.6版本的hado
阅读全文
摘要：一、环境搭建 1. 下载 http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz 2. 解压 3. 修改配置 1）创建目录 2）修改storm_env.ini 3）修改storm.
阅读全文
摘要：一、HBase整合MapReduce环境搭建 1. 搭建步骤1）在etc/hadoop目录中创建hbase-site.xml的软连接。在真正的集群环境中的时候，hadoop运行mapreduce会通过该文件查找具体的hbase环境信息。 2）将hbase需要的jar包添加到hadoop运行环境中，其
阅读全文
摘要：一、MongonDB环境搭建 1. 下载 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz 2. 解压 tar -zxvf mongodb-linux-x86_64-3.0.6.tgz -C /opt/modules 3.
阅读全文
摘要：一、环境搭建 1. 下载安装配置 《OD大数据实战》Hadoop伪分布式环境搭建 2. Hadoop配置信息 1）${HADOOP_HOME}/libexec：存储hadoop的默认环境变量信息 （1）hadoop-config.sh （2）hdfs-config.sh （3）mapred-conf
阅读全文
摘要：官网地址： http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.5-cdh5.3.6/SqoopUserGuide.html 一、环境搭建 1. 下载 sqoop-1.4.5-cdh5.3.6.tar.gz 2. 解压 tar -zxvf sqoop-1
阅读全文
摘要：一、环境搭建 1. 《OD大数据实战》Hadoop伪分布式环境搭建 2. 《OD大数据实战》Hive环境搭建 3. 《OD大数据实战》Sqoop入门实例 4. 《OD大数据实战》Flume入门实例 5. 《OD大数据实战》Kafka入门实例 6. 《OD大数据实战》Oozie环境搭建 7. 《OD大
阅读全文
摘要：官方参考文档：http://abloz.com/hbase/book.html#shell_tricks 1.2.3. Shell 练习 1.2.3. Shell 练习 1.2.3. Shell 练习 1.2.3. Shell 练习 用shell连接你的HBase 输入 help 然后 <RETUR
阅读全文
摘要：官网： http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ 一、Hue环境搭建 1. 下载 http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6.tar.gz 2. 解压
阅读全文
摘要：一、mac安装nginx + php + php-fpm 或apache + php 1. Mac 下 Nginx、MySQL、PHP-FPM 的安装配置 2. Mac下安装LNMP(Nginx+PHP5.6)环境 3. 在Mac OS X中配置Apache ＋ PHP ＋ MySQL 二、Cent
阅读全文
摘要：一、关机后服务重新启动 1. 启动hadoop服务 sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yar
阅读全文
摘要：一、环境搭建 1. 下载 hbase-0.98.6-cdh5.3.6.tar.gz 2. 解压 tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/modules/cdh/ 3. 修改配置 1）修改hbase-env.sh 2）修改regionservers
阅读全文