摘要:
1.Zookeeper:分布式协调服务(资源协调器) 产生动机:同一台主机有进程间通信、线程间通信,集群多主机间内存区域是不共享的,Zookeeper用来协调(如何对一件事情做决定:仲裁作用,选举leader/master)、同步信息(公共变量共享的数据、配置文件)。Cloudera manager 阅读全文
摘要:
1.操作系统版本:CentOS 6 CM版本:CM5.x CDH版本:CDH5.x 2.安装操作系统,对系统盘做 RAID1; 配置静态IP、hostname信息:vim /etc/sysconfig/network-scripts/ifcfg-eth0 并配置所有节点的静态DNS解析: vim / 阅读全文
摘要:
1.交通--智能交通:对车流量等海量数据收集、估算,预测该路段一定时间内车流量情况,给用户提供便利<Hadoop 开发、数据质量稽查、数据可视化、数据分析> 2.教育--在线私教:通过对学员每个阶段的学习,评测反馈,综合大数据的知识节点分析,实现真正一对一因材施教 <数据仓库、数据挖掘、ETL、机器 阅读全文
摘要:
1.硬件架构实例 2.软件架构实例 3.数据流通用概念模型 a.数据源(互联网、物联网、企业数据):App、Device、Site b.数据收集(ETL、提取、转换、加载):Flume、Kafka、Sqoop c.数据存储:HDFS、Hive/HBase d.资源管理:Yarn、Mesos e.批处 阅读全文