会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
calloner
博客园
首页
新随笔
联系
订阅
管理
公告
2018年7月24日
#
Hive处理json数据
摘要: 占坑
阅读全文
posted @ 2018-07-24 15:05 calloner
阅读(73)
评论(0)
推荐(0)
编辑
使用shell解析脚本依赖关系,并自动补数
摘要: 将脚本依赖关系放到表中 使用shell解析脚本依赖关系,递归的计算各个脚本。 脚本依赖表的格式: 这个依赖表除了有脚本的源表和目标表的关系,还有数据的来源类型(平台和渠道);如果要实现基本功能的话,如下几列即可。
阅读全文
posted @ 2018-07-24 14:09 calloner
阅读(1339)
评论(0)
推荐(0)
编辑
shell中使用类似Python的参数处理
摘要: $*获取所有参数 for in 可以遍历默认以空格分割的字符串 用cut命令解析每个参数
阅读全文
posted @ 2018-07-24 13:56 calloner
阅读(247)
评论(0)
推荐(0)
编辑
Python发送邮件脚本
摘要: #!/usr/bin/env python import sys, os, os.path, mimetypes from optparse import OptionParser from email import encoders from email.message import Message from email.mime.multipart import MIMEMultipart...
阅读全文
posted @ 2018-07-24 11:38 calloner
阅读(186)
评论(0)
推荐(0)
编辑
使用shell进行etl数据验证
摘要: 方法如下: 整理校验的类型,不同的类型配置文件不一样。 1:校验数据增量:需要设置表名,增量字段。 2:非法值校验:设置表名,条件,校验字段,合法值/非法值范围。 3:自定义校验:设置表名,校验名称,自定义sql。 参数解析: 使用特殊字符作为参数的前缀,后缀;便于在脚本中进行检测和替换。 所实现的
阅读全文
posted @ 2018-07-24 11:11 calloner
阅读(1170)
评论(0)
推荐(0)
编辑
Powered by:
博客园
Copyright © 2024 calloner
Powered by .NET 8.0 on Kubernetes