摘要：删除目录及文件 (删除tem目录和所有.xml文件) rm rf tem/ .xml 复制文件 cp zoo_sample.cfg zoo.cfg 两台机的目录相互拷贝 scp r apps/ st002:root/apps 关闭防火墙 service iptables stop 查看进程ID，并关 阅读全文

摘要：Zookeeper安装 解压：tar zxvf zookeeper 3.4.5 cdh5.7.0.tar.gz C ~/app/ 配置到环境变量： vi ~/.bash_profile export ZK_HOME=/usr/local/zookeeper 3.4.13 export PATH=$Z 阅读全文

摘要：解决问题 1）容错 2）延时 3）监控 概述 官网：http://flume.apache.org Flume是由Cloudera提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高收集、聚合、移动系统。 Agent:source,channel,sink 设计目标： 可靠性 扩展性 管 阅读全文

摘要：离线计算和实时计算对比 1）数据来源 离线：HDFS历史数据 数据量比较大 实时：消息队列(Kafka),实时新增/修改记录过来的某一笔数据 2）处理过程 离线：MapReduce: map+reduce 实时：Spark(DStream/SS) 3）处理速度 离线：慢 实时：快速 4）进程 离线： 阅读全文