摘要: 要求 软件要求 JAVA_HOME 配置 Flink设置 配置Flink 启动Flink 将JobManager / TaskManager实例添加到群集 要求 软件要求 Flink可在所有类UNIX环境中运行,例如Linux,Mac OS X和Cygwin(适用于Windows),并期望集群由一个 阅读全文
posted @ 2019-04-16 20:40 走过冬季 阅读(363) 评论(0) 推荐(0) 编辑
摘要: YARN的基本思想是将资源管理和作业调度/监控的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager(RM)和每个应用程序ApplicationMaster(AM)。应用程序可以是单个作业,也可以是作业的DAG。 ResourceManager和NodeManager构成 阅读全文
posted @ 2018-11-05 20:45 走过冬季 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 介绍 Hadoop分布式文件系统(HDFS)是一种分布式文件系统,设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的差异很大。HDFS具有高度容错能力,旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问,适用于具有大型数据集的应用程序。HDF 阅读全文
posted @ 2018-10-26 13:25 走过冬季 阅读(224) 评论(0) 推荐(0) 编辑
摘要: 突然想到《无问西东》里的一句话:人把自己置身于忙碌之中,有一种麻木的踏实,但丧失了真实。想想我们很多人都是这样,只一味盲目地往前走,日子过得很累,却不知道自己想要的到底是什么。 阅读全文
posted @ 2018-03-07 20:52 走过冬季 阅读(120) 评论(0) 推荐(1) 编辑