摘要：
1.kafka-topics 主题 如：kafka-topics --create --zookeeper 10.0.4.142:2181/kafka --replication-factor 1 --partitions 1 --topic test 创建一个主题 #查看kafka主题帮助命令 k 阅读全文
摘要：
1.Kafka简介 kafka-分布式发布-订阅消息系统，开发语言-Scala,协议-仿AMQP，不支持事务，支持集群，支持负载均衡，支持zk动态扩容 2.Kafka的架构组件 1、话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话题是消息的分类名或种子（Feed）名 阅读全文
摘要：
hdfs可以将linux用户映射为hdfs用户，也就是说，你当前操作hdfs的用户身份就是你当前登录的linux用户 usermod -a -G hive admin 将admin用户加到hive组下 这样admin用户就可以操作/user/hive/warehouse文件夹了 hadoop hdf 阅读全文
摘要：
命令 功能说明 线上查询及帮助命令 (2 个) man 查看命令帮助，命令的词典，更复杂的还有 info，但不常用。 help 查看 Linux 内置命令的帮助，比如 cd 命令。 文件和目录操作命令 (18 个) ls 全拼 list，功能是列出目录的内容及其内容属性信息。 cd 全拼 chang 阅读全文
摘要：
CDH大数据集群修复记录 1）cm web打不开，查看监听7180端口产生了很多进程，于是kill进程；重启cloudera-cmf-server服务，几秒钟就挂了，查看cloudera-scm-server运行日志是由于mysql服务挂了。 2）查看mysql错误日志，mysql是默认安装在/根分 阅读全文
摘要：
什么是大数据 Volume —— 数据量大 随着技术的发展，人们收集信息的能力越来越强，随之获取的数据量也呈爆炸式增长。例如百度每日处理的数据量达上百PB，总的数据量规模已经到达EP级。 Velocity —— 处理速度快 指的是销售、交易、计量等等人们关心的事件发生的频率。2017年双11，支付成 阅读全文
摘要：
注意: 启动脚本目前不支持Windows。如需在Windows上运行，请手工启动master和workers。 SPARK_MASTER_OPTS支持以下属性： SPARK_WORKER_OPTS支持以下属性： 阅读全文
摘要：
Spark性能优化的10大问题及其解决方案 近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。经优化，使用160 vcores + 480G memory，一天的日志可在2.5小时内跑完，下面对一些优化的思路方法进行梳理。 近期优化 阅读全文
摘要：
开发调优篇 原则一：避免创建重复的RDD 通常来说，我们在开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某个算子操作，然后得到下一个RDD；以此类推，循环往复，直到计算出最终我们需要的结果。在这个过程中，多个RDD会通过不同的 阅读全文
摘要：
CDH大数据集群问题问题分析与解决方案 问题描述：Hive提交任务，一直卡在Reduce阶段，进度缓慢。 日志分析：NodeManager节点产生的usercache所在分区空间不足，导致进程异常退出。 解决方案：1）调整各个NodeManager节点的配置-/opt/yarn/nm、/spark/ 阅读全文