摘要: 1.什么是HDFS? HDFS是一个分布式的存储和管理文件的文件系统。 HDFS中的文件在物理上是分块存储,块的大小可以通过配置参数来规定。 HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管 阅读全文
posted @ 2018-08-16 17:12 gqb00 阅读(215) 评论(0) 推荐(0) 编辑
摘要: Scheduling: Flink中的执行资源通过任务槽(Task Slots)定义。每个TaskManager都有一个或多个任务槽,每个槽都可以运行一个并行任务管道(pipeline)。管道由多个连续的任务组成,例如第n个MapFunction并行实例和第n个ReduceFunction并行实例。 阅读全文
posted @ 2018-08-16 11:52 gqb00 阅读(4499) 评论(0) 推荐(0) 编辑