Fork me on GitHub

12 2019 档案

摘要:1. Window概述 一般真实的流都是无界的,怎么处理无界的数据?可以把无限的数据流进行切分,得到有限的数据集进行处理 也就是得到有界流。 streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集; 而window是把无限数据流为有限 阅读全文
posted @ 2019-12-31 11:12 kris12 阅读(1381) 评论(0) 推荐(0) 编辑
摘要:夜间多个任务同时并行,总有几个随机性有任务失败,查看日志: 刷选关键词 Caused by 或者 FAILED cat -n ads_channel.log |grep "Caused by" 7732 Caused by: java.util.concurrent.ExecutionExcepti 阅读全文
posted @ 2019-12-21 11:38 kris12 阅读(1093) 评论(0) 推荐(0) 编辑
摘要:概述 Maxwell是一个能实时读取MySQL二进制日志binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指 阅读全文
posted @ 2019-12-19 19:47 kris12 阅读(4378) 评论(2) 推荐(2) 编辑
摘要:调优 Hive提供三种可以改变环境变量的方法,分别是: (1)修改HIVEHOME/conf/hivesite.xml{HIVE_HOME}/conf/hive-default.xml文件中,如果需要对默认的配置进行修改,可以创建一个hive-site.xm 阅读全文
posted @ 2019-12-09 18:39 kris12 阅读(877) 评论(0) 推荐(0) 编辑

levels of contents
点击右上角即可分享
微信分享提示