随笔分类 -  流处理

Flink-Record
摘要：### 查看目录配额 hdfs dfs -count -q -h /user/hive/warehouse/db_name.db ### 查看整个HDFS的空间大小 hdfs dfs -df -h /user/ Filesystem Size Used Available Use% hdfs://h 阅读全文
posted @ 2020-05-12 10:57 kongmeng 阅读(213) 评论(0) 推荐(0)
流处理环境搭建
摘要：1 spark背景介绍 spark组成 2 环境变量 3 SPARK 配置 4 启动SPARK 5 运行例子测试 java wordcount代码 Scala 逻辑回归 代码 其它例子请参考 spark-2.4.0-bin-hadoop2.6/examples/src/main 6 问题汇集 7 参 阅读全文
posted @ 2019-02-25 17:32 kongmeng 阅读(241) 评论(0) 推荐(0)