摘要：
1.杀死 application yarn application -kill + application id 杀死job hadoop job -kill + jobID 3.批量杀application for i in yarn application -list | grep -w 填写需 阅读全文
摘要：
Hive表修改注释 一、修改hive表注释 ALTER TABLE 表名 SET TBLPROPERTIES('comment' = '表注释内容'); 二、修改hive表字段注释 ALTER TABLE 表名 CHANGE 列名 新的列名 新列名类型 COMMENT '列注释'; Hive中建表语 阅读全文
摘要：
左边是mongodb查询语句，右边是sql语句。对照着用，挺方便。 db.users.find() select * from users db.users.find({"age" : 27}) select * from users where age = 27 db.users.find({"u 阅读全文
摘要：
Python37windows环境下安装第三方包 前因： 1、方便项目工程同意管理第三方包，避免每个开发人员一个开发运行环境 2、配置国内的第三方包镜像源，提升下载速度 一、更新pip 在安装pip前，要确认win系统中已经安装好了python，和easy_install工具，如果系统安装成功，ea 阅读全文
摘要：
SQLServer日期格式转换 常用： Select CONVERT(varchar(100), GETDATE(), 24): 10:57:47 Select CONVERT(varchar(100), GETDATE(), 108): 10:57:49 Select CONVERT(varcha 阅读全文
摘要：
Otter 简单介绍 名称：otter ['ɒtə(r)] 译意： 水獭，数据搬运工 语言： 纯java开发 定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统.。 1、基于Canal开源产品，获取数据库增量日志数据。 Canal 阅读全文
摘要：
drop procedure insert_rand_tkt_num_01; -- 插入100W条数据 delimiter $$ create procedure insert_rand_tkt_num_01(vv_num INT ) -- vv_num 需生成的随机数条数 begin declar 阅读全文
摘要：
在使用kettle job时需要多个源库进行采集数据，这时候可以将kdb配置为参数形式，kettle job阻塞调度下一步实现，一个一个的数据源遍历，以提高代码的复用频率 直接上图， 一、kettle8.X 如下配置： 右键 ，编辑“作业入口” 二、kettle6.x 如下 右键 ，编辑“作业入口” 阅读全文
摘要：
虽然windows也可以，但是生产环境还是建议使用Liunx环境 Kettle Liunx ETL 部署 1、需要root用户 需要能访问internet 先把操作环境变为自己习惯的环境 cd / cd etc vi profile 添加 以下: PS1='[\u@\h \w]$ ' export 阅读全文
摘要：
1)登录CDH，点击HDFS->操作->下载客户端配置 2）得到压缩包 hdfs-clientconfig.zip 将下载后的文件解压，拷贝到data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh632文件 阅读全文