09 2022 档案

摘要:split条件 阅读全文
posted @ 2022-09-29 13:59 十一vs十一 阅读(27) 评论(0) 推荐(0) 编辑
摘要:想· 日志级别 阅读全文
posted @ 2022-09-28 13:31 十一vs十一 阅读(48) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-09-28 13:04 十一vs十一 阅读(51) 评论(0) 推荐(0) 编辑
摘要:从节点 阅读全文
posted @ 2022-09-27 20:14 十一vs十一 阅读(35) 评论(0) 推荐(0) 编辑
摘要:重要部分 阅读全文
posted @ 2022-09-27 19:44 十一vs十一 阅读(22) 评论(0) 推荐(0) 编辑
摘要:ods层4张表变成1张表 阅读全文
posted @ 2022-09-26 22:40 十一vs十一 阅读(22) 评论(0) 推荐(0) 编辑
摘要:6 各个功能页面原型 阅读全文
posted @ 2022-09-26 17:43 十一vs十一 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-09-25 17:06 十一vs十一 阅读(22) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-09-25 10:53 十一vs十一 阅读(12) 评论(0) 推荐(0) 编辑
摘要:hive定义 sql中解析json的用法 sql中用脚本 sort by替换order by案例 阅读全文
posted @ 2022-09-24 17:53 十一vs十一 阅读(22) 评论(0) 推荐(0) 编辑
摘要:双缓冲方案 写入本地是第一个实现,写入远程jounalnode是第二个实现 namenode用到锁的地方 阅读全文
posted @ 2022-09-23 08:36 十一vs十一 阅读(37) 评论(0) 推荐(0) 编辑
摘要:hdfs写数据流程 契约部分 hdfs文件最小单位 创建socket请求发送给dataXceiverserver 两个datanode之间通过blockReceiver建立管道 将数据发送到下游 管道内的所有数据写成功才移除ackqueue中的数据 阅读全文
posted @ 2022-09-22 23:13 十一vs十一 阅读(30) 评论(0) 推荐(0) 编辑
摘要:standby同步数据 这用到装饰者模式了 阅读全文
posted @ 2022-09-22 21:44 十一vs十一 阅读(16) 评论(0) 推荐(0) 编辑
摘要:datenode的启动流程 datenode注册流程图 阅读全文
posted @ 2022-09-21 22:57 十一vs十一 阅读(22) 评论(0) 推荐(0) 编辑
摘要:底层源码 编写MapReduce套路 MapReduce任务提交源码 MapReduce逻辑切片 读取数据是读取到下一个逻辑切片的前半行数据 接下来将shuffle 阅读全文
posted @ 2022-09-21 14:03 十一vs十一 阅读(23) 评论(0) 推荐(0) 编辑
摘要:MapReduce流程图 - 播客 MapReduce代码 hadoop序列化 阅读全文
posted @ 2022-09-21 09:45 十一vs十一 阅读(19) 评论(0) 推荐(0) 编辑
摘要:链接oracle 另外一种读取配置文件的方式 测试udf代码 sparksql第二节课程 阅读全文
posted @ 2022-09-20 17:50 十一vs十一 阅读(32) 评论(0) 推荐(0) 编辑
摘要:设计模式第二节 voleitile 动态代理 阅读全文
posted @ 2022-09-19 22:53 十一vs十一 阅读(35) 评论(0) 推荐(0) 编辑
摘要:1、eden区满了之后放到to区并计数+1, 2.将原来的to区和from区互换 3.from区满了之后放入老年代 阅读全文
posted @ 2022-09-17 20:02 十一vs十一 阅读(54) 评论(0) 推荐(0) 编辑
摘要:通过flink restApi进行监控 flink至少一次和精准一次 两阶段提交 阅读全文
posted @ 2022-09-16 22:26 十一vs十一 阅读(84) 评论(0) 推荐(0) 编辑
摘要:hudi0.10自己进行编译 hudi中的数据映射到hive中 将维度数据保存到redis 通过maxwell全量同步(数据量不是很大的时候) 数据量比较大的情况通过maxwell同步数据 建表需要加入导出条件字段 这个是上面的例子加入导入条件 拆表需要注意 拆表代码 阅读全文
posted @ 2022-09-16 17:50 十一vs十一 阅读(106) 评论(0) 推荐(0) 编辑
摘要:kafka分层主要就是分topic lua集成resty和kafka需要的jar包 lua脚本 启动nginx 阅读全文
posted @ 2022-09-12 23:05 十一vs十一 阅读(51) 评论(0) 推荐(0) 编辑
摘要:各个参数的解释 阅读全文
posted @ 2022-09-11 18:23 十一vs十一 阅读(34) 评论(0) 推荐(0) 编辑
摘要:架构师主要做的事:调优,源码二次开发,最少的机器做最大的事 kafka3的新特性 kafka2和3的对比,ka2是通过选举出来控制节点。ka3是可以手动配置的 查看kafka元数据信息 安装gradle 设置kafka局部有序,但是性能降低,因为需要等待一个个发送 多个deque队列32M,一个bu 阅读全文
posted @ 2022-09-10 15:02 十一vs十一 阅读(230) 评论(0) 推荐(0) 编辑
摘要:去blobserver中去下载的相关资源 task之间相互传输数据是通过公共的nettyclient和nettyserver进行传输 阅读全文
posted @ 2022-09-09 17:56 十一vs十一 阅读(27) 评论(0) 推荐(0) 编辑
摘要:阅读源码的技巧 第五步 startshedule 遇到不知道该调用哪个方法时的思路 taskdeploymentdescriptor包含了task运行所需要各种信息 阅读全文
posted @ 2022-09-09 09:19 十一vs十一 阅读(34) 评论(0) 推荐(0) 编辑
摘要:今日课程 excutiongaath的相关源码 重试机制代码 注册代码逻辑 flink代码提交和执行顺序 客户端源码 构成operaterchain的9个条件 阅读全文
posted @ 2022-09-08 13:54 十一vs十一 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-09-07 18:30 十一vs十一 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-09-07 09:37 十一vs十一 阅读(33) 评论(0) 推荐(0) 编辑
摘要:公共调度不支持标签分组 开启资源抢占 测试代码 yarn 日志的相关配置 查看每个节点jps脚本 简历怎么写 阅读全文
posted @ 2022-09-06 15:48 十一vs十一 阅读(39) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-09-06 06:14 十一vs十一 阅读(37) 评论(0) 推荐(0) 编辑
摘要:maven找包地址 flink CDC和flink兼容 阅读全文
posted @ 2022-09-05 23:23 十一vs十一 阅读(14) 评论(0) 推荐(0) 编辑
摘要:删除数据逻辑最后剩下的数据就是windowcount 阅读全文
posted @ 2022-09-04 17:08 十一vs十一 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-09-04 16:55 十一vs十一 阅读(24) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示