2021年3月8日
浅谈数据治理中的一些定义和概念
摘要： 一 数据治理、数据管理、数据管控 数据治理、数据管理、数据管控这三个名词在一定程度上的确是有所重叠的，容易混为一谈，所以就造成了在实际使用中，经常将这三个词语“混着用”、“随机用”的现象。有关数据治理、数据管理区别的讨论有很多，有人认为数据治理是包含在数据管理中的，数据管理的范围要更广，例如：在DA 阅读全文
posted @ 2021-03-08 09:26 の帅鹏 阅读(2273) 评论(0) 推荐(0)
2021年3月2日
将本地的项目传到gitee仓库中的指定文件夹中
摘要： 1.下载并安装Git，可以直接在idea上安装，也可以去官网下载安装，这里不多做赘述 2.登陆gitee，新建一个仓库 3.在本地新建文件夹 4.新创建的文件夹，右键选择git bash here，如果没有git bash here，在注册表(win按键+R打开运行小窗口，输入regedit)编辑器 阅读全文
posted @ 2021-03-02 15:37 の帅鹏 阅读(3880) 评论(0) 推荐(0)
2019年9月11日
hive用源生函数实现根据身份证计算年龄
摘要： SELECT floor(( UNIX_TIMESTAMP(current_date) - UNIX_TIMESTAMP(substr(sfz,7,8),'yyyyMMdd') )/(365*24*60*60) ) as agefrom test_age; 如果hive不支持UNIX_TIMESTA 阅读全文
posted @ 2019-09-11 14:38 の帅鹏 阅读(3405) 评论(0) 推荐(0)
sql实现根据身份证计算年龄
摘要： 这种方式的思路是先判断出生的月份和当前月份做对比，比当前月份小，则说明生日已过，直接年份相减就是周岁。 如果月份相等，则要判断具体的日期，和当前的日期做对比，比当前日小，也说明生日已过，直接年份相减得周岁。 其他情况就是生日未过，年份相减之后还要减一，得周岁 select case when mon 阅读全文
posted @ 2019-09-11 13:54 の帅鹏 阅读(4690) 评论(0) 推荐(0)
2019年9月10日
java实现根据身份证计算年龄的两种方式
摘要： 第一种（推荐使用）：import org.apache.hadoop.hive.ql.exec.UDF;import java.util.Calendar;public class GetAge extends UDF { public String evaluate(String sfzjh){ 阅读全文
posted @ 2019-09-10 16:05 の帅鹏 阅读(16542) 评论(2) 推荐(0)
java实现大陆身份证的校验（udf）
摘要： import org.apache.commons.lang3.StringUtils;import org.apache.hadoop.hive.ql.exec.UDF;import java.text.ParseException;import java.text.SimpleDateForma 阅读全文
posted @ 2019-09-10 15:57 の帅鹏 阅读(990) 评论(0) 推荐(0)
2019年9月9日
大数据产品如果没有age函数，可以用以下两种方式实现计算年龄
摘要： 一：这种方式是根据身份证的月份和当前月份，日和当前日来对比实现 select case when month(current_date) > substr(sfz,11,2) then year(current_date) - substr(sfz,7,4) when month(current_d 阅读全文
posted @ 2019-09-09 11:32 の帅鹏 阅读(410) 评论(0) 推荐(0)