摘要：
操作字符串--------------Bash支持超多的字符串操作,操作的种类和数量令人惊异.但不幸的是,这些工具缺乏集中性.一些是参数替换的子集,但是另一些则属于UNIX的expr命令.这就导致了命令语法的不一致和功能的重叠,当然也会引起混乱.1、字符串长度 ${#string} expr l... 阅读全文
摘要：
1、查看队列情况SELECT * FROM gp_toolkit.gp_resqueue_status;如果出现了资源占用大于1.1 e+11SQL，则可能存在不合理执行计划的SQL， 基本跑不出来， 库也会很卡。2、查看用户归属的队列select * from gp_toolkit.gp_resq... 阅读全文
摘要：
所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR，这两家公司的除了能够提供较为强大的数据仓库平台之外，也有各自的针对某个行业的数据模型。 例如，在银行业，IBM 有自己的 BDWM(B... 阅读全文
摘要：
基于实例的学习方法中，最近邻法和局部加权回归法用于逼近实值或离散目标函数，基于案例的推理已经被应用到很多任务中，比如，在咨询台上存储和复用过去的经验；根据以前的法律案件进行推理；通过复用以前求解的问题的相关部分来解决复杂的调度问题。基于实例方法的一个不足是，分类新实例的开销可能很大。这是因为几乎所... 阅读全文
摘要：
Storm是一个免费开源、分布式、高容错的实时计算系统，Twitter开发贡献给社区的。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。 Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。特点1、Storm这是一个分布式的、容错... 阅读全文
摘要：
Spark是UC Berkeley AMP 实验室基于map reduce算法实现的分布式计算框架，输出和结果保存在内存中，不需要频繁读写HDFS，数据处理效率更高Spark适用于近线或准实时、数据挖掘与机器学习应用场景Spark和HadoopSpark是一个针对超大数据集合的低延迟的集群分布式计算... 阅读全文
摘要：
Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统，利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费Kakfa特点：解耦：消息系统在处理过程中插入一个隐含、基于数据的接口层。冗余... 阅读全文
摘要：
1、 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。2、一个独立的Flume进程称之为Agent,包含组件Source、Channel、Sink SourceFl... 阅读全文
摘要：
整体数据流图 阅读全文
摘要：
# -*- coding: utf-8 -*-import numpy as np#----------------------------------------#-- 定义 ndarray#-- 先申明为python的序列，再转化为numpy的数组#--------------------... 阅读全文