Flink on Yarn运行机制
摘要：从图中可以看出，Yarn的客户端需要获取hadoop的配置信息，连接Yarn的ResourceManager。所以要有设置有YARN_CONF_DIR或者HADOOP_CONF_DIR或者HADOOP_CONF_PATH,只要设置了其中一个环境变量，就会被读取。如果读取上述的变量失败了，那么将会选择...
阅读全文
posted @
2015-12-17 00:58
松伯
阅读(1651)
推荐(0) 编辑
Flink单机版安装与wordCount
摘要：Flink为大数据处理工具，类似hadoop,spark.但它能够在大规模分布式系统中快速处理，与spark相似也是基于内存运算，并以低延迟性和高容错性主城，其核心特性是实时的处理流数据。从此大数据生态圈又再填一员。。。具体详解，还要等之后再分享，这里就先简要带过~Flink的机制:当Flink启动...
阅读全文
posted @
2015-12-16 02:24
松伯
阅读(6357)
推荐(0) 编辑
