06 2020 档案
摘要:Hadoop参数调优; 1、hdfs-site.xml 文件中配置多目录(提前配置),否则更改目录需要重新启动集群 2、Namenode有一个线程池,来处理不同的DataNode的并发心跳以及客户端并发元数据操作 dfs.namenode.handler.count= 20*log2(Clusete
阅读全文
摘要:一、概念: 处理函数(底层API),可以访问时间戳,水位线以及注册定时时间,还可以输出特定事件(超时事件) Flink主要提供了8个ProcessFunction(斜体标注的重要): ProcessFunction KeyedProcessFunction CoProcessFunction Pro
阅读全文
摘要:编写一个 SQL 查询来实现分数排名。 如果两个分数相同,则两个分数排名(Rank)相同。请注意,平分后的下一个名次应该是下一个连续的整数值。换句话说,名次之间不应该有“间隔”。 + + +| Id | Score |+ + +| 1 | 3.50 || 2 | 3.65 || 3 | 4.00 |
阅读全文
摘要:es主要特点: 分布式的实时文件存储,每个字段都被索引并可被搜索 分布式的实时分析搜索引擎–做不规则查询 可以扩展到上百台服务器,处理 PB 级结构化或非结构化数据 es和其他数据存储对比 es基本操作不做介绍 远程向es中写数据: object MyESUtil { val esUrl = "ht
阅读全文