linbo.yang - 博客园

2020年12月21日

摘要：导入数据在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。一、RDBMS到HDFS 1) 确定Mysql服务开启正常2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot 阅读全文

posted @ 2020-12-21 22:55 linbo.yang 阅读(188) 评论(0) 推荐(0) 编辑

Sqoop一些常用命令及参数

摘要：常用命令列举这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。命令&参数详解首先来我们来介绍一下公用的参数，所谓公用参数，就是大多数命令都支持的参数。导入>import 命令&参数：import 将关系型数据库中的数据导入到HDFS（包括Hi 阅读全文

posted @ 2020-12-21 22:09 linbo.yang 阅读(574) 评论(0) 推荐(0) 编辑

sqoop 从入门到精通

摘要： Sqoop简介 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以阅读全文

posted @ 2020-12-21 21:32 linbo.yang 阅读(108) 评论(0) 推荐(0) 编辑

2020年12月18日

shell 使用diff 命令对比文件并发送邮件

摘要： 1 #!bin/bash 2 3 kettleConfigHome=/home/vmuser/linbo/kettleDemo/job/config 4 apiInfos=/home/vmuser/linbo/kettleDemo/job/data/apiInfo 5 pfile=/home/vmu 阅读全文

posted @ 2020-12-18 11:33 linbo.yang 阅读(215) 评论(0) 推荐(0) 编辑

2020年12月13日

linux 修改 properties

摘要： getValue 方法：从 config.properties 配置文件中根据 pname 来获取value ： 1 api_1=t_burberry_sales_daily 2 api_2=bz_return_order 3 api_3=bz_return_order_line View Co 阅读全文

posted @ 2020-12-13 18:31 linbo.yang 阅读(1319) 评论(0) 推荐(0) 编辑

2020年12月10日

Kettle 作业（Job）和转换（Transform）

摘要：作业（Job）由一个个步骤组成，转换只是作业的其中一个步骤。 Kettle的控件分为2种：作业（Job）和转换（Transform）。对于作业和转换，重点记住以下3点：作业是步骤流，转换是数据流。这是作业和转换最大的区别; 作业的每一个步骤，必须等到前面的步骤都跑完了，后面的步骤才会执行；而转换阅读全文

posted @ 2020-12-10 13:13 linbo.yang 阅读(4136) 评论(0) 推荐(1) 编辑

2020年11月30日

prestosql date_format() 和 date_parse()

摘要：先说问题：使用date_parse('2020-11-30 18:00:34','%Y-%m-%d %H:%i:%s') 将字符串‘2020-11-30 18:00:34’ 转为 timestamp类型后进行比较结果返回false ；话不多说直接上图：结果：解决方法：阅读全文

posted @ 2020-11-30 20:20 linbo.yang 阅读(5288) 评论(0) 推荐(0) 编辑

2020年11月27日

presto 日期函数

摘要： https://prestodb.io/docs/current/functions/datetime.html 阅读全文

posted @ 2020-11-27 16:51 linbo.yang 阅读(5349) 评论(0) 推荐(0) 编辑

Hbase 官方文档

摘要： http://hbase.apache.org/book.html#hbase.shell.noninteractive http://abloz.com/hbase/book.html#scripting 阅读全文

posted @ 2020-11-27 11:27 linbo.yang 阅读(184) 评论(0) 推荐(0) 编辑