摘要：
命令替换在bash中，$( )与` `（反引号）都是用来作命令替换的。命令替换与变量替换差不多，都是用来重组命令行的，先完成引号里的命令行，然后将其结果替换出来，再重组成新的命令行[python@master2 shell]$ echo today is $(date "+%Y-%m-%d")tod 阅读全文
摘要：
首先摒弃错误认知:并不是类中的调用都叫方法 是的！例子中很明确:1.类对象调用func是方法，类调用func是函数，并且是自己传递参数！2.函数要手动传self，方法不用传self最大的区别是参数的传递参数，方法是自动传参self，函数是主动传参那么以后我们就可以直接看参数是如何传递的来判断 阅读全文
摘要：
Apache Spark™是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapRedu 阅读全文
摘要：
元数据管理包括业务词汇表的发展，数据元素和实体的定义，业务规则和算法以及数据特征。最基础的管理是管理业务元数据的收集、组织和维持。对技术型元数据的应用对主数据管理和数据治理项目的成功至关重要。 元数据是“所有系统、文档和流程中包含的所有数据的语境。是生数据的知识。”换句话说，如果没有元数据，组织IT 阅读全文
摘要：
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库 阅读全文