随笔分类 - Pentaho Kettle 和 StreamSets
摘要：不多说，直接上干货！ 问题详情 解决办法 见 StreamSets学习系列之StreamSets的Core Tarball方式安装（图文详解） 直接，用默认的 而不是 这个问题，暂时，是这么解决吧。先用上Streamsets再说 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，
阅读全文
摘要：不多说，直接上干货！ 若是集群安装 需要在对应节点执行相同的操作。 见 StreamSets学习系列之StreamSets支持多种安装方式【Core Tarball、Cloudera Parcel 、Full Tarball 、Full RPM 、Docker Image和Source Code 】
阅读全文
摘要：不多说，直接上干货！ 前期博客 StreamSets学习系列之StreamSets支持多种安装方式【Core Tarball、Cloudera Parcel 、Full Tarball 、Full RPM 、Docker Image和Source Code 】（图文详解） StreamSets学习系
阅读全文
摘要：不多说，直接上干货！ 前期博客 StreamSets学习系列之StreamSets支持多种安装方式【Core Tarball、Cloudera Parcel 、Full Tarball 、Full RPM 、Docker Image和Source Code 】（图文详解） 核心安装包（Core Ta
阅读全文
摘要：不多说，直接上干货！ StreamSets是一个侧重数据集成、数据加工流程构建的平台，也是一个开源的产品。通过StreamSets，用户可以方便的接入不同的数据源，并且完成数据加工流程的构建。SteamSets有可视化的数据流构建工具，并且能够对运行态的数据应用进行监控。相对于CDAP，Stream
阅读全文
摘要：不多说，直接上干货！ http://blog.csdn.net/jianglushou9763/article/details/70859616
阅读全文
摘要：不多说，直接上干货! 能够看我这篇博客的博友们，想必是已经具备一定基础了。 扩展博客 kettle的下载、安装和初步使用（windows平台下）（图文详解） kettle的下载 Kettle可以在http://kettle.pentaho.org/网站下载 http://sourceforge.n
阅读全文
摘要：大家都知道，每个ETL工具都用不同的名字来区分不同的组成部分。kettle也不例外。 比如，在 Kettle的四大不同环境工具 本博客，是立足于kettle工具的设计模块的概念介绍。 1、转换 转换（transformation）是ETL解决方案中最主要的部分，它处理（抽取、转换、加载各阶段）各种对
阅读全文
摘要：不多说，直接上干货！ kettle里有不同工具，分别用于ETL的不同阶段。 初学者，建议送Spoon开始。高手，是四大工具都会用。 Sqoop： 图形界面工具，快速设计和维护复杂的ETL工作流。集成开发环境，提供了一个图形用户界面，用于创建/编辑作业和转换。Sqoon也额可以用于执行/调试作业或转换
阅读全文
摘要：不多说，直接上干货！ Kettle工具在设计初，就考虑到了一些设计原则。这些原则里借鉴了以前使用过的其他一些ETL工具积累下的经验和教训。 易于开发：作为数据仓库和ETL开发者，你只想把时间用在创建BI解决方案上。任何用于软件安装、配置的时间都是一种浪费。例如，为了创建数据库连接，很多和Kettle
阅读全文
摘要：不多说，直接上干货！ 大家会有一个疑惑，本系列博客是Kettle，那怎么扯上ETL呢？ Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行。 说白了就是，很有必要去理解一般ETL工具必备的特性和功能，这样才更好的掌握Kettle的使用。我这里啊，先
阅读全文
摘要：不多说，直接上干货！ 这里，我说的通俗易懂点，好方便大家的理解。 ETL解决方案就像业务流程一样，具有输入、输出，以及一个或多个工作环节，处理步骤。同样的，这些步骤也具有输入和输出，并可以执行将一个输人转化为输出的操作。 想一想，例如，在一家保险公司理赔部，门上有一个大牌子，上面写着理赔部，这就意味
阅读全文
摘要：不多说，直接上干货！ 当时啊，因为很多开源项目到最后都成了无人管的项目，为了避免这种情况的发生，要尽快为Kettle项目构建一个社区。这就意味着，在随后的几年可能需要回答上千封的电子邮件和论坛帖子。幸运的是，Kettle很快获得了开源商业智能公司Pentaho的帮助（www.pentabo.com）
阅读全文
摘要：不多说，直接上干货！ 大家都知道，这2001年以来，一直在同各种ETL工具做斗争，所以Matt 确定了Kettle的一个主要设计目标是尽可能开放。主要就是指： 开发，可读的元数据格式（XML）。 开放，可读的关系型资源库格式。 开放的API。 容易安装（少于2分钟） 对各类数据库开放 容易使用的图形
阅读全文
摘要：不多说，直接上干货！ Kettle起源于十年以前，本世纪初。当时啊，ETL工具千姿百态，比较流行的工具有50个左右，ETL框架数量比工具还要多些。 根据这些工具的各自起源和功能可以分为以下4种类型，如图所示： ■ 快速代码修改（Quick Hacks ): 这类工具主要用于抽取数据和加载文本文件。很
阅读全文
摘要：不多说，直接上干货！ 在数据仓库领域里，的一个重要概念就是数据整合（data intergration）。数据整合它就是把不同数据库中的数据整合到一起，对外提供统一的数据视图。 数据整合最典型的案例就是整合存货数据和订单数据。数据整合的另一个案例就是把各个部门的客户关系管理系统中的客户信息整合到公司
阅读全文
摘要：不多说，直接上干货！ PDI(Kettle) 都能做什么？ 可以说凡是有数据整合、转换、迁移的场景都可以使用PDI，他代替了完成数据转换任务的手工编码，降低了开发难度。 同时，我们可以在自己实际业务里，使用它来实现数据的剖析、清洗、校验、抽取、转换和加载等各类常见的ETL类工作。 比如，除了ODS/
阅读全文
摘要：不多说，直接上干货！ kettle的下载 Kettle可以在http://kettle.pentaho.org/网站下载 http://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.z
阅读全文
摘要：不多说，直接上干货！ Kettle是什么？ Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Ket
阅读全文
