摘要：
01 Elasticsearch 广泛使用带来的成本问题 Elasticsearch（下文简称“ES”）是一个分布式的搜索引擎，还可作为分布式数据库来使用，常用于日志处理、分析和搜索等场景；在运维排障层面，ES 组成的 ELK（Elasticsearch+ Logstash+ Kibana）解决方案 阅读全文
摘要：
元数据是存储系统的核心大脑，元数据性能对整个大数据平台的性能和扩展能力至关重要。尤其在处理海量文件的时候。在平台任务创建、运行和结束提交阶段，会存在大量的元数据 create，open，rename 和 delete 操作。因此，在进行文件系统选型时，元数据性能可谓是首当其冲需要考量的一个因素。 目 阅读全文
摘要：
背景 乾象投资 Metabit Trading 成立于2018年，是一家以人工智能为核心的科技型量化投资公司。核心成员毕业于 Stanford、CMU、清北等高校。目前，管理规模已突破 30 亿元人民币。 Metabit 非常重视基础平台的建设，有一支强大的 Research Infrastruct 阅读全文
摘要：
当用户在进行文件系统选型时，POSIX 语义兼容性是必不可缺的一项考察指标。JuiceFS 一直非常重视对 POSIX 标准的高度兼容，在持续完善功能、提高性能的同时，尽力保持最大程度的 POSIX 兼容性。 近期，就 POSIX 兼容性，我们对腾讯云 CFS、阿里云 NAS、华为云SFS、 GCP 阅读全文
摘要：
文件系统是我们常见的存储形式，内部主要由数据和元数据两部分组成。其中数据是文件的具体内容，通常会直接展现给用户；而元数据是描述数据的数据，用来记录文件属性、目录结构、数据存储位置等。一般来说，元数据有非常鲜明的特点，即占用空间较小，但访问非常频繁。 当今的分布式文件系统中，有的（如 S3FS）会将元 阅读全文
摘要：
企业数据越存越多，存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在 Elasticsearch 与 ClickHouse 这两个场景中尤为突出，为了应对不同热度数据对查询性能的要求，这两个组件在架构设计上就有一些将数据进行分层的策略。 同时，在存储介质方面，随着云计 阅读全文
摘要：
Hadoop 的诞生改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，受到广泛的应用，给整个行业带来了变革意义的改变；随着云计算时代的到来， 存算分离的架构受到青睐，企业开开始对 Hadoop 的架构进行改造。 今天与大家一起简单回顾 Hadoop 架构以及目前市面上不同的存算分离的架构 阅读全文
摘要：
近期，Fluid 支持了阿里云 ECI 应用，并将 JuiceFS Runtime Controller 设置为默认安装；JuiceFS 也就此功能与 Fluid 完成了集成和测试工作。 用户可以在 ECI 环境中使用JuiceFS， 体验计算与存储的双重极致弹性。 （还不了解 JuiceFS Ru 阅读全文
摘要：
理想汽车在 Hadoop 时代的技术架构 首先简单回顾下大数据技术的发展，基于我个人的理解，将大数据的发展分了4个时期： 第一个时期： 2006 年到 2008 年。2008 年左右，Hadoop 成为了 Apache 顶级项目，并正式发布了 1.0 版本，它的基础主要是基于谷歌的三驾马车，GFS、 阅读全文
摘要：
今天，JuiceFS v1.0 发布了 🎉 经过了 18 个月的持续迭代和大量生产环境的广泛验证，此版本将成为第一个被长期维护的稳定版（LTS）。同时，该版本提供完整的向前兼容，所有用户可以直接升级。 JuiceFS 是为云环境设计的分布式文件系统，同时兼容 POSIX、HDFS、S3 访问协议， 阅读全文