05 2017 档案
摘要:业务背景 技术选型 Kafka Producer SparkStreaming 接收Kafka数据流 基于Receiver接收数据 直连方式读取kafka数据 Direct连接示例 使用Zookeeper维护KafkaOffset示例 SparkStreaming 数据处理 调优 合理的批处理时间(
阅读全文
摘要:原因: kafka.eagle.offset.storage配置有误 该配置的作用:# kafka offset storage -- Offset stored in a Kafka cluster, if stored in the zookeeper, you can not use this
阅读全文
摘要:情况描述 Hive建表时报错,元数据存储在mysql中。 报错信息 如下: 解决方法: 修改数据库编码,在mysql机器的上命令行中运行: alter database hive character set latin1;
阅读全文
摘要:问题: method:org.apache.hadoop.hdfs.DomainSocketFactory.<init>(DomainSocketFactory.java:69) The short-circuit local reads feature cannot be used because
阅读全文
摘要:reindex数据复制,重索引 字段重命名 把flag重命名为tag 案例 描述 在数据录入时,字段yxdm和字段jwzydm数据位置错位了,现在需要将数据调换回来 方法 先复制数据索引到bak 删除原索引数据,并从bak索引重新录入到原索引 注意需要使用yxdm1作为中间变量存储交换的字段 参考
阅读全文