2016年7月26日
sqoop导出工具
摘要： sqoop的导出工具是把HDFS上文件中的数据导出到mysql中 mysql中的表 现在在linux上创建一个文件，并把这个文件上传到hdfs上 一、export-dir 使用export-dir来指定导出的目录，会导出该目录下的所有文件。 最终的效果可以在mysql中的表体现： 二、插入中文乱码问 阅读全文
posted @ 2016-07-26 18:04 dongdone 阅读(3851) 评论(0) 推荐(0) 编辑
sqoop导入数据到hive---2
摘要： 1.hive-table 从mysql导入数据到hive表中，可以使用--hive-table来指定hive的表名，不指定hive表名，则hive表名与mysql表名保持一致。 hive中的表结构是： 2.create-hive-table工具 create-hive-table工具是依据mysql 阅读全文
posted @ 2016-07-26 15:59 dongdone 阅读(5796) 评论(0) 推荐(0) 编辑
luigi学习4-构建工作流
摘要： luigi提供了两个基本单元来构造一个工作流，这两个基本单元分别是Task和Target。这两个单元都是抽象类，我们实现他们中的某些方法就可以了。除了这两个基本单元，还有一个重要的概念是Prameter,它可以控制task的运行方式。 一、target target对应的是磁盘上的一个文件，或者是H 阅读全文
posted @ 2016-07-26 11:52 dongdone 阅读(1103) 评论(0) 推荐(0) 编辑
luigi学习3-使用luigid
摘要： --local-scheduler的方式只适用于开发调试阶段，当你真正要把程序部署到一个产品时，我们推荐使用luigid服务。 使用luigid服务不但能提供锁服务(防止一个任务被多个进程重复执行)，并且还提供了一个友好的可视界面。 一、如何使用luigid 1.1执行luigid 首先你在一个终端 阅读全文
posted @ 2016-07-26 10:49 dongdone 阅读(1021) 评论(0) 推荐(0) 编辑
2016年7月25日
scala学习笔记2
摘要： 一、算术和操作符重载 a + b 是如下方法的简写： a.+(b) 在scala中你可以使用任何符号来为方法命名。比如BigInt类就定义了一个/%的方法，该方法返回一个对偶，对偶的内容是除法操作得到的商和余数。 通常来说，你可以用 a 方法 b 作为以下代码的简写 a.方法(b) 这里的方法是一个 阅读全文
posted @ 2016-07-25 17:19 dongdone 阅读(540) 评论(0) 推荐(0) 编辑
luigi学习-luigi的配置文件
摘要： 一、luigi配置文件的加载顺序 /etc/luigi/client.cfg luigi.cfg LUIGI_CONFIG_PATH环境变量 二、配置文件分节 配置文件被分为了多个section，每一个控制着不同方面的配置 三、利用配置文件来给参数赋值 如果你有这样的一个类： 你可以使用配置文件的方 阅读全文
posted @ 2016-07-25 15:44 dongdone 阅读(1195) 评论(0) 推荐(0) 编辑
luigi学习2-在hadoop上运行Top Artists
摘要： 一、AggregateArtistsHadoop 实现的功能和AggregateArtists类似，需要注意的是： luigi.contrib.hadoop.JobTask不需要你实现run方法，需要你实现mapper和reducer方法。mapper和combiner需要yield包含两个元素的t 阅读全文
posted @ 2016-07-25 15:15 dongdone 阅读(1219) 评论(0) 推荐(0) 编辑
luigi学习1
摘要： 一、luigi介绍 luigi是基于python语言的，可帮助建立复杂流式批处理任务管理系统。这些批处理作业典型的有hadoop job,数据库数据的导入与导出，或者是机器学习算法等等。 luigi的github：https://github.com/spotify/luigi 目前已经有一些抽象层 阅读全文
posted @ 2016-07-25 11:38 dongdone 阅读(3619) 评论(0) 推荐(0) 编辑
2016年7月24日
scala学习笔记1
摘要： 一、REPL scala解释器读到一个表达式，对它进行求值，将它的打印出来，接着再继续读下一个表达式。这个过程被称作 读取-打印-循环，即REPL。 从技术上讲，scala程序并不是一个解释器。实际发生的是，你输入的内容被快速的编译成字节码，然后这段字节码交由java虚拟机执行。正因如此，大多数sc 阅读全文
posted @ 2016-07-24 23:33 dongdone 阅读(1132) 评论(0) 推荐(0) 编辑
2016年7月22日
sqoop导入数据到hive
摘要： 1.1hive-import参数 使用--hive-import就可以将数据导入到hive中，但是下面这个命令执行后会报错，报错信息如下： sqoop import --connect jdbc:mysql://localhost:3306/test --username root --passwo 阅读全文
posted @ 2016-07-22 18:24 dongdone 阅读(31222) 评论(0) 推荐(0) 编辑