摘要： 接下来记录下scala中集合相关的知识，scala中集合分为可变集合和不可变集合，有Array、List、Set、Map和Tuple。 | | 不可变 | 可变 | | | | | | 数组Array | Array | ArrayBuffer | | 列表List | List | ListBuf 阅读全文

摘要： 接下来记录一下scala面向对象的相关知识，包括包、类、抽象类、特质和权限修饰符相关的内容。 包 scala中，包package的声明比较灵活，可以对比java，如果是java，包的声明必须放在文件最前面。 （1）包结构可以分开写，以下两种方式都可以。 （2）scala文件中可以声明多个包，如果声明 阅读全文

摘要： 接下来记录下python中基本数据类型、字符串的基本操作以及for循环。 基本数据类型一览 python中基本数据类型有int、str、bool、list、tuple、dict和set。 int、bool、str类型相互转化 int类型注意python2和python3的区别，python2中int 阅读全文

摘要： scala是马丁.奥德斯克设计的，专门为程序员设计，广泛应用于大数据的语言。它同时支持面向对象和面向函数编程，运行scala需基于JVM，使用它需要提前安装好JDK和scala SDK。scala的的代码一行可以顶多行java代码，开发效率高，并且兼容java类库，scala编译完也是.class文 阅读全文

摘要： hdfs中有很多常用命令，持续记录一下。 基本命令 基本命令就是hadoop fs开头或hdfs dfs开头，两者效果相同，可以通过'hadoop fs -help 命令'或'hdfs dfs -help 命令'来查看具体命令的解释。 [hadoop@node01 ~]$ hadoop fs Usa 阅读全文

摘要： sqoop在导入数据时，可以使用--query搭配sql来指定查询条件，并且还需在sql中添加\$CONDITIONS，来实现并行运行mr的功能。 运行测试 测试均基于sqoop1，mysql数据准备如下。 （1）只要有--query+sql，就需要加\$CONDITIONS，哪怕只有一个mapta 阅读全文

摘要： sqoop中，可以将导入导出任务，写到job中，实现创建、查看、执行和删除job的功能。 数据准备 mysql先准备数据，创建sqooptest数据库，并添加表Man和数据，如下图。 创建作业 可以通过'sqoop job --help'命令查看具体的使用方法。 [hadoop@node01 ~/. 阅读全文

摘要： sqoop是apache旗下，用于关系型数据库和hadoop之间传输数据的工具，sqoop可以用在离线分析中，将保存在mysql的业务数据传输到hive数仓，数仓分析完得到结果，再通过sqoop传输到mysql，最后通过web+echart来进行图表展示，更加直观的展示数据指标。 sqoop基础 基 阅读全文

摘要： 接下来，记录一下azkaban工作流调度器的相关知识。一般一个分析系统，包含大量的分析单元，需要调用shell脚本、java程序、hive脚本等，这些脚本或者程序的调用会存在时间上的先后顺序，为了更好的组织管理这些任务，需要使用工作流调度器。比较常用的就是azkaban和oozie。除了使用第三方提 阅读全文

摘要： 记录一下日志采集框架flume的相关内容，flume是由Cloudera开发，后面贡献给了Apache，是一个分布式的、稳定的，用于日志采集、汇聚和传输的系统，现在用的一般是1.x版本，老版本的因为用得少暂时不考虑。 基本概念 包括agent和event。 Agent 以下是数据流模型图，sourc 阅读全文