二黑诶 - 博客园

2020年9月24日

摘要： mysqlToHiveORC-作业流集群模式、使用GenerateTableFetch进行分流SQL语句 ExecuteSQLRecord执行SQL语句 ConverAvroToORC将avro格式转换为ORC格式 PutHDFS写入hdfs（写入的路径指定到hive表load的默认路径下）一、阅读全文

posted @ 2020-09-24 23:43 二黑诶阅读(791) 评论(0) 推荐(0) 编辑

小记--------spark streaming调优

摘要：一、数据序列化如果使用一种对象序列化慢、占用字节多的序列化格式，就会严重降低计算效率。在spark中有三个方面涉及序列化： 1.在算子函数中使用到外部变量时，该变量会被序列化后进行网络传输。 2.将自定义的类型作为RDD的泛型类型时，所有自定义类型对象都会进行序列化，因此在这种情况下，也要求自定阅读全文

posted @ 2020-09-24 23:41 二黑诶阅读(479) 评论(0) 推荐(0) 编辑

小记--------Linux脚本监控进程是否存在，不存在重启

摘要： 1 while true 2 do 3 #判断进程是否存在 4 pid=`ps -ef |grep "gbt32960-server-1.0-SNAPSHOT.jar"|grep -v grep` 5 if [ $? -ne 0 ];then 6 cd /opt/cdh/job/LOT 7 echo 阅读全文

posted @ 2020-09-24 23:39 二黑诶阅读(397) 评论(0) 推荐(0) 编辑

2020年7月27日

记一次--------spark 读 mysql 报错no suitable driver

摘要：报错日志如下：意思是：没有合适的驱动，按道理来说，如果找不到Java的driver驱动应该会报错为：class not found mysql.jdbc.driver 。但是不知道为啥报错这个。解决方法：在脚本中添加--driver-class-path 指定mysql-connection 阅读全文

posted @ 2020-07-27 23:25 二黑诶阅读(1303) 评论(0) 推荐(0) 编辑

2020年6月16日

小计--------flume 自定义kafka source 案例

摘要：自定义source 自定义的消息有两种类型的Source,PollableSource （轮训拉取）与EventDrivenSource （事件驱动），两者的区别在于PollableSource是通过线程不断去调用process方法，主动拉取消息，而EventDrivenSource是需要触发一个调阅读全文

posted @ 2020-06-16 00:34 二黑诶阅读(883) 评论(0) 推荐(0) 编辑

2020年6月7日

记一次--------phoenix创建表映射到hbase报错

摘要：报错信息片段如下 java.lang.RuntimeException: java.sql.SQLException: ERROR 726 (43M10): Inconsistent namespace mapping properties. Ensure that config phoenix.s 阅读全文

posted @ 2020-06-07 02:17 二黑诶阅读(917) 评论(0) 推荐(0) 编辑

记一次--------linux集群连接远程mongo库无法写入数据问题

摘要：环境：因为部门集群与公司mongo集群是不在同一集群上，但是在同一内网，所以应该是正常可以访问。 1.确保两个集群之间是可以互相访问的使用telnet命令可以正常通信 2.通过mongo shell 测试连接两种连接方式： mongo -u test -p test --host 127.0. 阅读全文

posted @ 2020-06-07 02:15 二黑诶阅读(213) 评论(0) 推荐(0) 编辑

2020年5月8日

小记--------kafka API

摘要： kafka生产者API 1.消息发送流程 kafka的producer发送消息采用的是异步发送的方式，在消息发送的过程中，涉及到了两个线程-main线程和sender线程，以及一个线程共享变量-RecordAccumulator。 main线程将消息发送给RecordAccumulator， Sen 阅读全文

posted @ 2020-05-08 00:39 二黑诶阅读(161) 评论(0) 推荐(0) 编辑

小记--------kafka高效读写数据、kafka高效读写及zookeeper在kafka中的作用

摘要： kafka高效读写数据 1.顺序写磁盘 kakfa的producer生产数据，要写入log文件中，写的过程是一直追加到文件末端为顺序写，顺序写能达到600M/s。而随机写只有100K/s，顺序写之所以快，是因为其省去了大量磁头寻址时间 2.零复制技术正常操作将一个目录下的文件移动到另一个目录下，阅读全文

posted @ 2020-05-08 00:38 二黑诶阅读(312) 评论(0) 推荐(0) 编辑

小记--------kafka offset维护

摘要：查看CDH版本zookeeper存储的kafka offset值启动kafka客户端 ./opt/cloudera/parcels/CDH/bin/zookeeper-client // 查看消费者组为df_app_10，topic为reservation 有几个分区 ls /consumers/ 阅读全文

posted @ 2020-05-08 00:37 二黑诶阅读(792) 评论(0) 推荐(0) 编辑

于二黑

公告