03 2020 档案
摘要:Hive hook是hive的钩子函数,可以嵌入HQL执行的过程中运行,比如下面的这几种情况 参考 https://www.slideshare.net/julingks/apache-hive-hooksminwookim130813 有了Hook,可以实现例如非法SQL拦截,SQL收集和审计等功
阅读全文
摘要:Flink的kafka connector文档 https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/connectors/kafka.html Flink写入kafka时候需要实现序列化和反序列化 部分代码参考了 h
阅读全文
摘要:Flink也和和spark-shell类似的交互式开发模式 bin/start-scala-shell.sh yarn Starting Flink Shell: 20/03/14 14:34:07 INFO configuration.GlobalConfiguration: Loading co
阅读全文
摘要:参考Flink官方example https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples
阅读全文
摘要:参考Flink官方代码的example https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examp
阅读全文
摘要:可以使用CM提供的api查询cdh集群的信息 http://cloudera.github.io/cm_api/ 7.0.3的api文档 https://archive.cloudera.com/cm7/7.0.3/generic/jar/cm_api/apidocs/index.html 查询im
阅读全文
摘要:1.下载安装文件 https://github.com/docker/kitematic/releases 解压并安装 sudo dpkg -i ./Kitematic-0.17.10_amd64.deb 启动,然后可以启动容器 并可以修改端口映射 如果kitematic的my images无法显示
阅读全文
摘要:本来想cdh集成flink,但是我的cdh版本为5.16.2,参考了下面的issue可能cdh版本太低,至少要cdh6 https://github.com/pkeropen/flink-parcel/issues 进行独立安装 wget https://archive.apache.org/dis
阅读全文
摘要:1.hive sql提交到yarn上面执行之后,将会成为MR任务执行 正在运行的MR任务的application查看的url,不同类似的任务查看的url可能会不同,比如Spark,Flink等 http://xxxx:8088/cluster/app/application_158225xxxxx_
阅读全文
摘要:1.yarn top,查看yarn上面的资源使用情况 2.队列使用状态 queue -status root.xxx_common Queue Information : Queue Name : root.xxx_common State : RUNNING Capacity : 100.0% C
阅读全文