mzjnumber1 - 博客园

2020年6月18日

摘要：编写读的插件时，需要将数据的每个列都转成Datax内部的Column对象可以通过idea的全局搜索🔍 record.addColumn方法，看看各个读插件是怎么转成Datax内部Column的每条正常数据都是DefaultRecord对象，实现了Record接口通过Datax读取的每条数据r 阅读全文

posted @ 2020-06-18 16:38 mzjnumber1 阅读(1937) 评论(0) 推荐(0) 编辑

DataX 启动配置

摘要：启动命令模板可以参考datax.py文件: ENGINE_COMMAND = "java -server ${jvm} %s -classpath %s ${params} com.alibaba.datax.core.Engine -mode ${mode} -jobid ${jobid} -j 阅读全文

posted @ 2020-06-18 16:34 mzjnumber1 阅读(2019) 评论(0) 推荐(0) 编辑

DataX源码分析(2)

摘要：接着上一节…… 做好了切分工作，下一步当然就是对对应的各个任务进行任务托管和监控：schedule，post，postHandle，invokeHooks。 schedule首先完成的工作是把上一步reader和writer split的结果整合到具体的taskGroupContainer中。 in 阅读全文

posted @ 2020-06-18 12:46 mzjnumber1 阅读(411) 评论(0) 推荐(0) 编辑

DataX源码分析(1)

摘要：开始(以mysql为例) 从 https://github.com/alibaba/DataX 下载源码，通过idea阅读。 Datx根目录下core包包含了整个执行框架，其中com.alibaba.datax.core.Engine是整个Java任务的入口， core/src/main/bin/ 阅读全文

posted @ 2020-06-18 12:39 mzjnumber1 阅读(1349) 评论(0) 推荐(0) 编辑

2020年6月17日

Apache NIFI入门

摘要：我将在本文中介绍：什么是ApacheNIFI，应在什么情况下使用它，理解在NIFI中的关键概念。我不会介绍的内容： -NIFI集群的安装，部署，监视，安全性和管理。什么是ApacheNIFI？在ApacheNIFI项目的官网上，可以找到以下定义：一个易于使用，功能强大且可靠处理和分发数据的阅读全文

posted @ 2020-06-17 16:29 mzjnumber1 阅读(11998) 评论(0) 推荐(2) 编辑

2020年6月15日

is not a @Sharable handler解决方法

摘要： is not a @Sharable handler解决方法昨天在写编码器的时候,因为是和spring整合,因此在使用编码的时候用Autowired自动注入 @Autowired private ProtocolDecoder protocolDecoder ; @Autowired privat 阅读全文

posted @ 2020-06-15 19:12 mzjnumber1 阅读(3739) 评论(0) 推荐(0) 编辑

Netty 核心容器之ByteBuf

摘要： Java的NIO模块提供了ByteBuffer作为其字节存储容器，但是这个类的使用过于复杂，因此Netty实现了ByteBuf来替换NIO的ByteBuffer类，ByteBuf具有以下的特点: 自定义用户缓冲区域的类型实现字节区域的深浅拷贝容量可按需增长在读写模式直接不需要像JDK的Byte 阅读全文

posted @ 2020-06-15 15:40 mzjnumber1 阅读(239) 评论(0) 推荐(0) 编辑

Netty4 自定义Decoder，Encoder

摘要： Netty4 自定义Decoder，Encoder 首先我们必须知道Tcp粘包和拆包的，TCP是个“流”协议，所谓流，就是没有界限的一串数据，TCP底层并不了解上层业务数据的具体含义，它会根据TCP缓冲区的实际数据进行包的划分，一个完整的包可能会被拆分成多个包进行发送，也有可能把多个小的包封装成一个阅读全文

posted @ 2020-06-15 12:39 mzjnumber1 阅读(455) 评论(0) 推荐(0) 编辑

2020年6月11日

浅析 Netty 实现心跳机制与断线重连

摘要：浅析 Netty 实现心跳机制与断线重连 1、基础何为心跳顾名思义, 所谓心跳, 即在 TCP 长连接中, 客户端和服务器之间定期发送的一种特殊的数据包, 通知对方自己还在线, 以确保 TCP 连接的有效性. 为什么需要心跳因为网络的不可靠性, 有可能在 TCP 保持长连接的过程中, 由于某阅读全文

posted @ 2020-06-11 18:32 mzjnumber1 阅读(306) 评论(0) 推荐(0) 编辑

Netty中使用零拷贝方式写大数据

摘要： Netty中使用零拷贝方式写大数据因为网络饱和的可能性，如何在异步框架中高效地写大块的数据是一个特殊的问题。由于写操作是非阻塞的，所以即使没有写出所有的数据，写操作也会在完成时返回并通知ChannelFuture。当这种情况发生时，如果仍然不停地写入，就有内存耗尽的风险。所以在写大型数据时，需要准阅读全文

posted @ 2020-06-11 18:22 mzjnumber1 阅读(595) 评论(0) 推荐(0) 编辑