07 2022 档案
摘要:定义udaf 进行测试 优化的相关参数
阅读全文
摘要:离线计算采用无放回采样 流式计算采用鱼塘采样 方式一 方式四 链接前 、优化后 构建数据库表
阅读全文
摘要:单例模式 代理模式是在直接访问前加一层控制:例如权限控制 动态代理是通过反射的方式创建对象 静态代理是直接实现接口
阅读全文
摘要:幂等可以通过在表上加上version字段解决 namenode日志写磁盘底层采用双缓冲方案 纠删码功能可以使hdfs不需要3个副本,仅通过一个文件就可以做容灾恢复 调成65536 多租户配置
阅读全文
摘要:tcp三次握手 非阻塞io 阻塞io 多路复用io就是selector上注册多个channal netty io
阅读全文
摘要:反编译查看底层运行情况 string拼接的时候底层也是new的stringbuilder频繁创建对象所以不快 stringbuffer直接通过append追加所以快 类加载 类加载双亲委派机制 数据运行区域 serial串行垃圾回收器 parallel并行垃圾回收期 CMS和parnew并行并发垃圾
阅读全文
摘要:hue汉化 hdfs路径不支持中文 lzo压缩文件不支持在线预览 hdfsWEBUI配置 sparksql和hive元数据打通
阅读全文
摘要:解释kafka稀疏索引和零拷贝和kafka网络设计原理 kafka资源评估 物理机的评估 磁盘
阅读全文
摘要:超大集群 子类目不太规范不适合用这种 这种用起来比较复杂
阅读全文
摘要:savepoint和checkpoint区别 读取偏移量 延迟数据处理 背诵 flink内存模型 sql语法检验是先提交进行预编译 平台设计截图 sql编写提示是通过前台插件
阅读全文