08 2022 档案
摘要：{ "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "column": ["id","name","region_id","area_code","iso_code","iso_3166_2"], "
阅读全文
摘要：# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this wor
阅读全文
摘要：HDFS Sink # sink1 a3.sinks.k1.type = hdfs a3.sinks.k1.hdfs.path = /origin_data/gmall/db/business_db/inc/%{tableName}_inc/%Y-%m-%d a3.sinks.k1.hdfs.fil
阅读全文
摘要：Kafka Channel 生产者 a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel a1.channels.c1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:
阅读全文
摘要：Kafka Sources a3.sources.r1.type = org.apache.flume.source.kafka.KafkaSource a3.sources.r1.batchSize = 5000 a3.sources.r1.batchDurationMillis = 2000 a
阅读全文
摘要：<?xml version="1.0"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the Lic
阅读全文
摘要：<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License");
阅读全文
摘要：<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed under the Apache License, Version 2.0 (
阅读全文
摘要：<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--Licensed under the Apache License, Version 2.0 (t
阅读全文
摘要：切分计划 set [0,6) 1 2 3 4 5 6 [6,13) 7 8 9 10 11 12 13 [13,20) 14 15 16 17 18 19 20 [floor((n-1)*(N/P)), floor(n*N/P)) file [0, 6] 1,2,3,4 [7, 12] 5,6,7
阅读全文
摘要：一、常用日期函数 1. unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp();select unix_timestamp("2020-10-28",'yyyy-MM-dd'); 2. from_unixtime：将时间戳转为日期格式select f
阅读全文
摘要：行转列 ① CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; ② CONCAT_WS(separator, str1, str2,...)： ·它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。 ·分隔符可以
阅读全文
摘要：先过滤后联表。 from 和 join支持子查询的嵌套, where中不支持子查询嵌套， having不支持子查询。 where 不能使用select中的别名，having可以。 HQL中select distinct不能和group by 共用 = 不推荐使用distinct去重，因为distin
阅读全文
摘要：kafka在生产者发送完一个消息之后，要求broker在规定的时间内Ack应答；如果没有在规定时间内ack；生产者会尝试n次重新发送消息。 acks=1 （默认）Leader会将Record写在其本地日志中；但不会等待所有Follower的完全确认的情况下做出响应，这种情况下，如果Leader在确认
阅读全文
摘要：Kafka定义 KafKa传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 2.8以后的最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform）,被数千家公司用于高性能数据管道、流
阅读全文
