摘要：
datax概述 datax定位：离线同步工具 datax优势： 1.单进程多线程，单机压力大 2.理论上可以打满带宽 链接 文档链接：https://github.com/alibaba/DataX 下载地址：https://datax-opensource.oss-cn-hangzhou.aliy 阅读全文
摘要：
kafka局部调优 kafka常用命令 cd /opt/kafka/kafka/bin/ ##启动ZK ./zookeeper-server-start.sh -daemon /opt/kafka/kafka/config/zookeeper.properties ##启动kafka ./kafka 阅读全文
摘要：
kafka理论 消息队列作用、模式 作用：1.消峰 2.解耦 3.异步通信 模式：1.点对点模式(删除对应的消息，只有一个消费者) 2.发布订阅模式(不删除数据 消费者相互独立 可以多个消费者) kafka中概念 Producer(生产者) 分区(一个topic分为多个分区，) Consumer(消 阅读全文
摘要：
生产者 生产者异步发送 import java.util import java.util.{Properties, UUID} import org.apache.kafka.clients.producer.{Callback, KafkaProducer, Partitioner, Produ 阅读全文
摘要：
内存 1.taskmanager.memory.jvm-overhead.fraction 0.1 JVM开销线程堆栈、IO、编译、缓存等 进程总大小*当前 taskmanager.memory.jvm-overhead.min 192m taskmanager.memory.jvm-overhea 阅读全文
摘要：
基础代码 环境信息 sql-client.sh 启动 SQL 客户端 CREATE TABLE employee_information (emp_id INT,name VARCHAR,dept_id INT) WITH ('connector' = 'filesystem','path' = ' 阅读全文
摘要：
基础代码 环境信息 //table api flink三层API(processfunction api/datastream api/sql table api) import org.apache.flink.streaming.api.scala.StreamExecutionEnvironm 阅读全文
摘要：
Flink DataStream Sink(四) 文档：https://bahir.apache.org/docs/flink/current/flink-streaming-redis/ https://nightlies.apache.org/flink/flink-docs-release-1 阅读全文
摘要：
Flink DataStream Transform(三) 环境变量 import org.apache.flink.api.scala.ExecutionEnvironment val env = ExecutionEnvironment.getExecutionEnvironment;//批处理 阅读全文
摘要：
Flink Source 上下文环境 import org.apache.flink.api.scala.ExecutionEnvironment val env = ExecutionEnvironment.getExecutionEnvironment;//批处理运行上下文环境 import o 阅读全文