摘要: 项目地址 https://github.com/Alluxio/alluxio/tree/branch 2.0 preview 2.0版本 构思和设计 支持超大规模数据工作负载 Alluxio作为计算和存储之间的数据编排层,使数据移动并且可以跨多个不同的存储系统访问:HDFS,对象存储,网络附加存储 阅读全文
posted @ 2019-03-12 20:41 聚变归来 阅读(828) 评论(0) 推荐(0) 编辑
摘要: 层次化存储-特性介绍: 可以配置多个存储目录,不同的存储介质 一个存储层至少有一个存储目录。目录是Alluxio数据块存放的文件路径。Alluxio支持单个存储层包含多个目录的配置,允许一个存储层有多个挂载点或存储设备。举例而言,如果Alluxio worker上有5个SSD设备,可以配置Allux 阅读全文
posted @ 2019-03-11 21:17 聚变归来 阅读(950) 评论(0) 推荐(0) 编辑
摘要: netty简介 Netty是 一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。 Netty是 一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。 Netty是 一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和 阅读全文
posted @ 2019-03-11 20:55 聚变归来 阅读(662) 评论(0) 推荐(0) 编辑
摘要: (1.8版本)client和worker之间的block模块的通讯架构 block作为alluxio文件读取或者存储的最小基本单位,都是通过BlockOutStream和BlockInputtream实现的 其中具体的数据包传输有Short circuit和netty两种实现: Short circ 阅读全文
posted @ 2019-03-10 16:08 聚变归来 阅读(690) 评论(0) 推荐(0) 编辑
摘要: alluxio中几种角色以及角色之间的rpc调用: 作为分布式架构的文件缓存系统,rpc调用必不可少 client作为客户端 master提供thrift rpc的服务,管理以下信息: block信息 fileSystem信息 meta信息 metrics信息 lineage信息 worker提供t 阅读全文
posted @ 2019-03-07 20:28 聚变归来 阅读(806) 评论(0) 推荐(0) 编辑
摘要: http://www.jianshu.com/p/7f099b8cf5f0 技术选型: 在报表查询时,通常需要做可以动态添加的条件 在老项目中使用的是一种Tcondition的对象分装sql 但是由于与老代码的数据库访问层紧紧的耦合在一起,无法在另外的项目中进行复用,因此,在GitHub中找到了一款 阅读全文
posted @ 2017-09-21 09:49 聚变归来 阅读(1426) 评论(0) 推荐(0) 编辑
摘要: http://www.jianshu.com/p/69a73af08b69 阅读全文
posted @ 2017-09-08 20:46 聚变归来 阅读(161) 评论(0) 推荐(0) 编辑
摘要: http://www.jianshu.com/p/23fdd658f1b9 阅读全文
posted @ 2017-09-08 20:44 聚变归来 阅读(243) 评论(0) 推荐(0) 编辑
摘要: <!--?xml version="1.0" encoding="UTF-8"?--> traceroute: 通过TTL限定的ICMP/UDP/TCP侦测包来发现从本地主机到远端目标主机之间的第三层转发路径。用来调试网络连接性和路由问题。 mtr: traceroute的一个变种,能根据运行时统计 阅读全文
posted @ 2017-06-07 23:50 聚变归来 阅读(2018) 评论(0) 推荐(0) 编辑
摘要: 京东618活动,满200减100,果断入手了这本经典的 WireShark教程 目录: 总体的TCP/IT协议族:通过WireShark都可以清楚的观察到 实际工作中最典型的还是HTTP协议 可以看到一个http数据包有5层信息: Frame:物理层的数据帧概况 Ethernet II: 数据链路层 阅读全文
posted @ 2017-06-07 13:31 聚变归来 阅读(825) 评论(0) 推荐(0) 编辑