03 2019 档案

摘要:项目地址 https://github.com/Alluxio/alluxio/tree/branch 2.0 preview 2.0版本 构思和设计 支持超大规模数据工作负载 Alluxio作为计算和存储之间的数据编排层,使数据移动并且可以跨多个不同的存储系统访问:HDFS,对象存储,网络附加存储 阅读全文
posted @ 2019-03-12 20:41 聚变归来 阅读(849) 评论(0) 推荐(0) 编辑
摘要:层次化存储-特性介绍: 可以配置多个存储目录,不同的存储介质 一个存储层至少有一个存储目录。目录是Alluxio数据块存放的文件路径。Alluxio支持单个存储层包含多个目录的配置,允许一个存储层有多个挂载点或存储设备。举例而言,如果Alluxio worker上有5个SSD设备,可以配置Allux 阅读全文
posted @ 2019-03-11 21:17 聚变归来 阅读(969) 评论(0) 推荐(0) 编辑
摘要:netty简介 Netty是 一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。 Netty是 一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。 Netty是 一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和 阅读全文
posted @ 2019-03-11 20:55 聚变归来 阅读(676) 评论(0) 推荐(0) 编辑
摘要:(1.8版本)client和worker之间的block模块的通讯架构 block作为alluxio文件读取或者存储的最小基本单位,都是通过BlockOutStream和BlockInputtream实现的 其中具体的数据包传输有Short circuit和netty两种实现: Short circ 阅读全文
posted @ 2019-03-10 16:08 聚变归来 阅读(725) 评论(0) 推荐(0) 编辑
摘要:alluxio中几种角色以及角色之间的rpc调用: 作为分布式架构的文件缓存系统,rpc调用必不可少 client作为客户端 master提供thrift rpc的服务,管理以下信息: block信息 fileSystem信息 meta信息 metrics信息 lineage信息 worker提供t 阅读全文
posted @ 2019-03-07 20:28 聚变归来 阅读(836) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示