Fork me on GitHub

12 2019 档案

Flink| time| watermark| Windows窗口
摘要：1. Window概述 一般真实的流都是无界的，怎么处理无界的数据？可以把无限的数据流进行切分，得到有限的数据集进行处理 也就是得到有界流。 streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集； 而window是把无限数据流为有限 阅读全文
posted @ 2019-12-31 11:12 kris12 阅读(1381) 评论(0) 推荐(0) 编辑
多个线程运行MR程序时hadoop出现的问题
摘要：夜间多个任务同时并行，总有几个随机性有任务失败，查看日志： 刷选关键词 Caused by 或者 FAILED cat -n ads_channel.log |grep "Caused by" 7732 Caused by: java.util.concurrent.ExecutionExcepti 阅读全文
posted @ 2019-12-21 11:38 kris12 阅读(1093) 评论(0) 推荐(0) 编辑
maxwell实时同步mysql中binlog
摘要：概述 Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指 阅读全文
posted @ 2019-12-19 19:47 kris12 阅读(4378) 评论(2) 推荐(2) 编辑
Hive-05 参数调优
摘要：调优 Hive提供三种可以改变环境变量的方法，分别是： （1）修改HIVEHOME/conf/hive−site.xml配置文件；所有的默认配置都在{HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive-site.xm 阅读全文
posted @ 2019-12-09 18:39 kris12 阅读(877) 评论(0) 推荐(0) 编辑

levels of contents
点击右上角即可分享
微信分享提示