二黑诶 - 博客园

2020年5月8日

摘要：生产者分区原则 1.指定partition编号的情况下，直接将指明的值直接作为partition值 2.没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值 3.没有partition值也没有key值的情况下，第一次调阅读全文

posted @ 2020-05-08 00:36 二黑诶阅读(546) 评论(0) 推荐(0) 编辑

小记--------kafka基础架构

摘要： kafka的消费者组，是为了提供消费速度， 1.为方便扩展，并提高吞吐量，一个topic分为多个partition 2.配合分区的设计，提出消费者组的概念，组内每个消费者并行消费 3.为提高可用性，为每个partition增加若干副本，类似NameNode HA 因为一个消费者组的一个消费者只能消费阅读全文

posted @ 2020-05-08 00:32 二黑诶阅读(104) 评论(0) 推荐(0) 编辑

2020年4月27日

小记--------scala连接分片式集群Mongo数据库：操作集合以及写入DataFrame数据

摘要： scala 连接mongoClient（分片式集群） import com.df.Contant.GlobalConfigUtils import com.mongodb.{MongoClient, MongoClientURI} import org.apache.spark.sql.DataFr 阅读全文

posted @ 2020-04-27 15:02 二黑诶阅读(624) 评论(0) 推荐(0) 编辑

2020年4月25日

面试题--------hadoop面试题总结

摘要： 1.HDFS 写数据流程 1.client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传文件 2.client请求第一个block该传输到哪些DataNode服务器上 3.NameNode根据配置文件汇总指定的备份数量阅读全文

posted @ 2020-04-25 23:12 二黑诶阅读(559) 评论(0) 推荐(0) 编辑

2020年4月24日

小记--------kafka生产者分区原则及故障处理机制

摘要：生产者分区原则 1.指定partition编号的情况下，直接将指明的值直接作为partition值 2.没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值 3.没有partition值也没有key值的情况下，第一次调阅读全文

posted @ 2020-04-24 00:01 二黑诶阅读(521) 评论(0) 推荐(0) 编辑

2020年4月23日

小记--------kafka文件存储机制

摘要： topic是逻辑上的概念， partition是物理上的概念 kafka partition位置 /var/local/kafka/data kafka消息默认保存时间为7天 0000000000.log文件默认值最大为1G，超过1G 会产生一个新的文件由于生产者生产的消息会不断追加到log文件阅读全文

posted @ 2020-04-23 23:59 二黑诶阅读(380) 评论(0) 推荐(0) 编辑

2020年4月19日

小记--------sparksql执行全过程

摘要： 1 案例 2 def main(args: Array[String]): Unit = { 3 4 // 1.创建sparkconf 5 val conf = new SparkConf() 6 .setMaster("local") 7 .setAppName("test-sql") 8 9 1 阅读全文

posted @ 2020-04-19 00:22 二黑诶阅读(1254) 评论(0) 推荐(0) 编辑

小记--------sparkSQL - spark基础知识

摘要： 1.RDD 是spark的核心数据结构，全称是弹性分布式数据集。本质上是一种分布式的内存抽象，表示一个只读的数据分区集合。一个RDD通常只能通过其他的RDD转换而创建，RDD定义了各种丰富的转换操作，通过转换操作，新的RDD包含了如何从其他RDD衍生所必须的信息。这些信息构成了RDD之间的依赖关系阅读全文

posted @ 2020-04-19 00:21 二黑诶阅读(165) 评论(0) 推荐(0) 编辑

记一次-----集群升级CDH版本到6.3.2程序运行报错

摘要：测试程序：原来运行环境是升级后的运行环境执行在低版本环境的程序 1.首先将高版本的pom文件修改、 2.在将resource配置文件配置然后执行程序报错首先追踪错误代码行APP 45行。是sparkSQL读hive仓库的表最后一个报错代码说：无法识别的hadoop主版本号然后就在考阅读全文

posted @ 2020-04-19 00:15 二黑诶阅读(623) 评论(0) 推荐(0) 编辑

记一次--------linux集群连接远程mongo库无法写入数据问题

摘要：因为我们部门集群与公司mongo集群是不在同一集群上，但是在同一内网，所以应该是正常可以访问。 1.确保两个集群之间是可以互相访问的使用telnet命令可以正常通信 2.通过mongo shell 测试连接两种连接方式： mongo -u test -p test --host 127.0.0 阅读全文

posted @ 2020-04-19 00:14 二黑诶阅读(311) 评论(0) 推荐(0) 编辑

于二黑

公告