09 2022 档案
摘要:想· 日志级别
阅读全文
摘要:重要部分
阅读全文
摘要:ods层4张表变成1张表
阅读全文
摘要:6 各个功能页面原型
阅读全文
摘要:
阅读全文
摘要:hive定义 sql中解析json的用法 sql中用脚本 sort by替换order by案例
阅读全文
摘要:双缓冲方案 写入本地是第一个实现,写入远程jounalnode是第二个实现 namenode用到锁的地方
阅读全文
摘要:hdfs写数据流程 契约部分 hdfs文件最小单位 创建socket请求发送给dataXceiverserver 两个datanode之间通过blockReceiver建立管道 将数据发送到下游 管道内的所有数据写成功才移除ackqueue中的数据
阅读全文
摘要:standby同步数据 这用到装饰者模式了
阅读全文
摘要:datenode的启动流程 datenode注册流程图
阅读全文
摘要:底层源码 编写MapReduce套路 MapReduce任务提交源码 MapReduce逻辑切片 读取数据是读取到下一个逻辑切片的前半行数据 接下来将shuffle
阅读全文
摘要:MapReduce流程图 - 播客 MapReduce代码 hadoop序列化
阅读全文
摘要:链接oracle 另外一种读取配置文件的方式 测试udf代码 sparksql第二节课程
阅读全文
摘要:设计模式第二节 voleitile 动态代理
阅读全文
摘要:1、eden区满了之后放到to区并计数+1, 2.将原来的to区和from区互换 3.from区满了之后放入老年代
阅读全文
摘要:通过flink restApi进行监控 flink至少一次和精准一次 两阶段提交
阅读全文
摘要:hudi0.10自己进行编译 hudi中的数据映射到hive中 将维度数据保存到redis 通过maxwell全量同步(数据量不是很大的时候) 数据量比较大的情况通过maxwell同步数据 建表需要加入导出条件字段 这个是上面的例子加入导入条件 拆表需要注意 拆表代码
阅读全文
摘要:kafka分层主要就是分topic lua集成resty和kafka需要的jar包 lua脚本 启动nginx
阅读全文
摘要:各个参数的解释
阅读全文
摘要:服务端要干的事
阅读全文
摘要:架构师主要做的事:调优,源码二次开发,最少的机器做最大的事 kafka3的新特性 kafka2和3的对比,ka2是通过选举出来控制节点。ka3是可以手动配置的 查看kafka元数据信息 安装gradle 设置kafka局部有序,但是性能降低,因为需要等待一个个发送 多个deque队列32M,一个bu
阅读全文
摘要:
阅读全文
摘要:去blobserver中去下载的相关资源 task之间相互传输数据是通过公共的nettyclient和nettyserver进行传输
阅读全文
摘要:阅读源码的技巧 第五步 startshedule 遇到不知道该调用哪个方法时的思路 taskdeploymentdescriptor包含了task运行所需要各种信息
阅读全文
摘要:
阅读全文
摘要:今日课程 excutiongaath的相关源码 重试机制代码 注册代码逻辑 flink代码提交和执行顺序 客户端源码 构成operaterchain的9个条件
阅读全文
摘要:公共调度不支持标签分组 开启资源抢占 测试代码 yarn 日志的相关配置 查看每个节点jps脚本 简历怎么写
阅读全文
摘要:maven找包地址 flink CDC和flink兼容
阅读全文
摘要:删除数据逻辑最后剩下的数据就是windowcount
阅读全文