摘要：
运行作业界面在以下界面中，可以查看到作业的名称、作业的启动时间、作业总计运行时长、作业一共有多少个任务、当前正在运行多少个任务、以及作业的当前状态。这里的程序：一共有17个任务，当前正在运行的是17个任务。作业概览界面在这个界面中，我们可以看到数据流图。这个程序中，一共有3个算子。Custom Source任务并行度为1Flat Map任务并行度为8,Flink Map –> Sink任务并行度为... 阅读全文
摘要：
Spark SQL可以使用JDBC/ODBC或命令行接口充当分布式查询引擎。这种模式，用户或者应用程序可以直接与Spark SQL交互，以运行SQL查询，无需编写任何代码。Spark SQL提供两种方式来运行SQL：通过运行Thrift Server直接执行Spark SQL命令行运行Thrift Server方式1、先运行Hive metastorenohup hive --service me... 阅读全文
摘要：
很多时候，我们在IDE中编写Flink代码，我们希望能够查看到Web UI，从而来了解Flink程序的运行情况。按照以下步骤操作即可，亲测有效。1、添加Maven依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink- 阅读全文
摘要：
先上代码： public class WordCountKeyedState { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnv 阅读全文