2019年8月3日
2 Spark角色介绍及运行模式
摘要： 第2章 Spark角色介绍及运行模式 2.1 集群角色 从物理部署层面上来看，Spark主要分为两种类型的节点，Master节点和Worker节点：Master节点主要运行集群管理器的中心化部分，所承载的作用是分配Application到Worker节点，维护Worker节点，Driver，Appl 阅读全文
posted @ 2019-08-03 01:32 DiYong 阅读(867) 评论(0) 推荐(0) 编辑
1 Spark概述
摘要： 第1章 Spark概述 1.1 什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。 目前，Spark生态系统 阅读全文
posted @ 2019-08-03 01:26 DiYong 阅读(331) 评论(0) 推荐(0) 编辑
Spark中遇到的问题
摘要： spark启动slave时提示 JAVA_HOME is not set 解决方法： 在sbin目录spark-config.sh 中添加自己的jdk 路径export JAVA_HOME=/home/hadoop/modules/jdk 启动： sbin/start-all.sh 阅读全文
posted @ 2019-08-03 01:06 DiYong 阅读(189) 评论(0) 推荐(0) 编辑
2019年7月29日
Kafka API实战
摘要： 第4章 KafkaAPI实战 1）启动zk和kafka集群，在kafka集群中打开一个消费者 [hadoop102 kafka]$ bin/kafka-console-consumer.sh \ --zookeeper hadoop01:2181 --topic first 2）导入pom依赖 4. 阅读全文
posted @ 2019-07-29 02:32 DiYong 阅读(142) 评论(0) 推荐(0) 编辑
Kafka工作流程分析
摘要： 第3章 Kafka工作流程分析 Kafka核心组成 3.1 Kafka生产过程分析 3.1.1 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率 阅读全文
posted @ 2019-07-29 01:13 DiYong 阅读(423) 评论(0) 推荐(0) 编辑
2019年7月28日
Kafka集群部署
摘要： 第2章 Kafka集群部署 2.1 环境准备 2.1.1 集群规划 hadoop01 hadoop02 hadoop03 多台分布式集群（这里举例三台） zk zk zk 每台机器上配置好ZooKeeper集群 kafka kafka kafka 每台机器上配置好Kafka集群 2.1.2 jar包 阅读全文
posted @ 2019-07-28 02:05 DiYong 阅读(248) 评论(0) 推荐(0) 编辑
初识Kafka
摘要： 第1章 Kafka概述 1.1 消息队列 消息队列的内部实现原理 （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） √（kafka） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有 阅读全文
posted @ 2019-07-28 01:42 DiYong 阅读(120) 评论(0) 推荐(0) 编辑
2019年7月11日
初学Linux （Linux_note）
摘要： 根目录:/ /root: 存放root用户相关文件 /home: 存放不同用户的相关文件 /bin: 存放常用命令的目录 /sbin： 要具有一定权限才可以使用的命令 /mnt： 默认挂载光驱和软驱的目录 /etc： 存放配置相关文件 /var: 存放经常变化的文件 /boot: 存放引导相关的文件 阅读全文
posted @ 2019-07-11 01:44 DiYong 阅读(397) 评论(0) 推荐(0) 编辑
2019年7月3日
Zookeeper_ACL
摘要： getAcl path 查看某个node的权限 设置权限1 world方式 setAcl <path> world:anyone:<acl>例如 setAcl /node1 world:anyone:cdrwa 2 ip方式 setAcl <path> ip:<ip>:<acl>例如 #设置IP：1 阅读全文
posted @ 2019-07-03 19:03 DiYong 阅读(186) 评论(0) 推荐(0) 编辑
Zookeeper简单配置
摘要： zookeeper集群的协同服务，分布式协调服务 并行程序多进程之间的调度和控制比如：多进程之间的互斥同步运行，多进程事务控制，多进程之间的状态监控，多进程之间的资源共享，进程的故障切换 zookeeper-3.4.10.tar 链接：https://pan.baidu.com/s/1VF_omDm 阅读全文
posted @ 2019-07-03 18:56 DiYong 阅读(178) 评论(0) 推荐(0) 编辑