04 2020 档案
摘要：Hadoop的下载和安装 一：Hadoop的简介 Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构，可利用分布式架构来存储海量数据，以及实现分布式的计算。 Hadoop许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。可以从单个服务器扩展到数千台机器， 每个机器都提供本地
阅读全文
摘要：本节内容： Apache Storm是什么 Apache Storm核心概念 Storm原理架构 Storm集群安装部署 启动storm ui、Nimbus和Supervisor 一、Apache Storm是什么 Apache Storm是自由开源的分布式实时计算系统，擅长处理海量数据，适用于数据
阅读全文
摘要：【确保服务器集群安装和配置已经完成！】前言请根据读者的自身情况，进行相应随机应变。我的三台CentOS7服务器：主机：master（192.168.56.110）从机：slave0（192.168.56.111）从机：slave1（192.168.56.112）每一个节点的安装与配置是相同的，在实际
阅读全文
摘要：TTL是一个ip协议的值，它告诉网络，数据包在网络中的时间是否太长而应被丢弃。有很多原因使包在一定时间内不能被传递到目的地。 TTL 的初值通常是系统缺省值，是包头中的8位的域。TTL的最初设想是确定一个时间范围，超过此时间就把包丢弃。由于每个路由器都至少要把TTL域减一，TTL通常表示包在被丢弃前
阅读全文
摘要：如下语句可以找出当前系统每条运行的SQL语句的平均耗时，并进行排序 SELECT(total_elapsed_time / execution_count)/1000 N'平均时间ms',total_elapsed_time/1000 N'总花费时间ms',total_worker_time/100
阅读全文
摘要：摘要：Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。滴滴基于 Apache Flink 做了大量的优化，也增加了更多的功能，比如扩展 DDL、内置消息格式解析、扩展 UDX 等，使得 Flink
阅读全文
摘要：前言 Kettle是一款开源的、易上手的ETL工具，拥有良好的图形化界面供开发者使用。服务器由于需要不间断地运行Kettle，有时会造成内存过高，甚至会报错退出。因此决定使用命令行调用kettle的转换.ktr或作业.kjb可以弥补这一缺憾。 两种方式个人总结 今天介绍相对特殊的命令行方式，以下操作
阅读全文
摘要：摘要：本文主要讨论一些在ETL中设计增量更新的方法和技巧。 ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论
阅读全文
摘要：oracle数据库方面的知识到今天已经整理了12篇。当然，这不是终点，这只是一个开始，希望我写的文章可以帮助更多初学数据库的童鞋快速上手，如果你觉得文章对你有帮助，那么恭喜你已经入门了，数据库里面的知识有很多，多到让你可以从入门到放弃。那么你可以通过该篇文章快速入门oracle中关于查询的各种姿势：
阅读全文
摘要：转换 转换（transformtion）是ETL解决方案中最主要的部分，它处理抽取、转换、加载各阶段各种对数据的操作。 转换包括一个或多个步骤（step），如读取文件、过滤输出行、数据清洗或将数据加载到数据库。 转换里的步骤通过跳（hop）来连接，跳定义了一个单向通道，允许数据从一个步骤向另一个步骤
阅读全文