大数据开源apache项目汇总

 

 

 Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源(包括Hadoop和各类文件)和在线数据源(如Kafka)中攫取数据进行分析

ignite是分布式内存网格的一种实现,其基于java平台,具有可持久化,分布式事务,分布式计算等特点,此外还支持丰富的键值存储以及SQL语法(基于h2引擎),可以看成是一个分布式内存数据

IoTDB (Internet of Things Database) 是一款时序数据库管理系统,可以为用户提供数据收集、存储和分析等服务。IoTDB由于其轻量级架构、高性能和高可用的特性

 

 

Apache Jackrabbit是一个开源内容存储库为Java平台。Jackrabbit项目实现Java内容存储库API(JCR)

 

 

Apache Juneau 是一个聚合框架， 允许开发者编组 POJO（普通 Java 对象）和开发 REST（表征状态转移）微服务和 API ，目前被 IBM、The Open Group 和 Salesforce 等企业使用

Apache Knox 1.3.0 已发布,Apache Knox 是一个 REST API 网关,用于提供对数据的安全访问和处理 Hadoop 集群的资源。

KUDU的定位是Fast Analytics on Fast Data,是一个既支持随机读写、又支持 OLAP 分析的大数据存储引擎。

Lens 提供了一个统一数据分析接口。通过提供一个跨多个数据存储的单一视图来实现数据分析任务切分，同时优化了执行的环境。无缝的集成 Hadoop 实现类似传统数据仓库的功能。

 Apache Libcloud是一个标准的Python库,可抽象出多个云提供商API之间的差异。 它允许用户管理云服务器,云存储和负载平衡器

 

Lucene是apache软件基金会 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。

Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发的，后在Twitter得到广泛使用

 metron是一种安全大数据分析架构,其建立了一个平台,它为组织提供了大规模摄入、处理和存储各种安全数据提要的能力,以便检测网络异常并使组织能够快速响应这些异常

 

 

 

 

 

 

 

 

 Oozie是用于 Hadoop 平台的开源的工作流调度引擎。 是用来管理Hadoop作业。 是属于web应用程序,由Oozie client和Oozie Server两个组件构成。

Openwhisk架构 openwhisk是一个事件驱动的计算平台,也被用在serveless和fass领域,来响应事件调用。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Tinkerpop是一个图数据库和图计算框架，而Gremlin是一个图遍历语言。Gremlin可以看做是Tinkerpop框架中的一个组件，主要负责图操作和遍历。Gremlin类似于Neo4j中的Cypher语言，不过感觉没有Cypher简洁，Cypher跟SQL更像，更优雅

 

 

 

 

图是对TVM/NNVM整体架构的示意图。TVM技术堆栈由NNVM和TVM两部分组成。NNVM负责图层面的优化，TVM负责算子层面的优化。不同的深度学习平台，如MXNet，可以直接通过NNVM提供的接口转化为计算图；或可以通过CoreML、ONNX等深度学习标准格式进行转换。在这一过程中，NNVM同时为计算图添加层融合等图层面的优化技术。最终，NNVM生成与硬件无关的、优化的计算图，向下传递给TVM。TVM则负责为计算图中的每个操作如何在不同的平台上的执行添加高效地实现，并最终生成可以在不同硬件平台上可执行的代码。

 

 

 

 

Xerces是由Apache组织所推动的一项XML文档解析开源项目,它有多种语言版本包括JAVA、C++、PERL、COM等。

Xalan是将可扩展标记语言（XML）转换为超文本链接标识语言（HTML）或其它类型XML文档的规范。

Apache Zeppelin 是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能Apache Yetus 是 Apache 推出的一款系统管理工具,能够为软件项目提供贡献和发布流程。