gxg123

摘要： 今天在做的时候碰到，如果一个字符串是日期时间类型，但是他的这种形式是错误的，就比如：2019-02-31 我们都知道2月份是没有31号的，所以我们要给日期附一个默认值。或者因为数据库当中的使用了varchar的类型随心所欲的乱写 各种各样的数据都有。这对于数据清洗是一件非常麻烦的事情。所以我们写一个 阅读全文

摘要： 今天好奇怪，在处理数据库当中的时间的时候（时间戳）突然发现服务器上面的时间比Python当中的时间多了8个小时。 服务器上的时间戳为：1550048061266，翻译出来的时间为 但是如果用Python处理这个数据处理出来的结果如下 Python处理出来的数据比正常的服务器的时间多了8个小时（这里考 阅读全文

摘要： 昨天通过Python写了了一段脚本，然后通过crontab将脚本调起来执行，手动执行的时候没有问题的，但是通过crontab进行调度就执行报错。 报错的原因如下： 看到这个报错第一个想到的应该就是编码的问题，有人说在Python脚本的前面加上 # coding:utf-8 但是那，加上之后还是报这个 阅读全文

摘要： 今天写了Python脚本准备将s3上面的数据迁移到redshift上面去，突然发现在数据load的时候出现了STL_LOAD_ERRORS，刚接触到redshift也没有报错根本不知道怎么解决。 这里显示报错了，具体的日志要去STL_LOAD_ERRORS当中查看，这个其实是一张表。在这个表当中有报 阅读全文

摘要： insert into table ${db_name}.uv_month_20190529 select k_v['${date}'] as date_id, k_v['0'] as 0h, k_v['1'] as 1h , k_v['2'] as 2h, k_v['3'] as 3h, k_v['4'] as 4h, k_v['5'] as 5h, k_v['6'] as 6h, k... 阅读全文

摘要： 昨天有人问题mongodb的数据怎么导入到mysql关系型数据库，当时真不知道。今天查询了资料，然后自己实践了一下。在这里记录一下： 这里用到MongoDB的mongoexport，这个功能是将mongodb的数据导成csv文件，然后再讲csv文件当中的数据加载到mysql数据库，实现将mongdb 阅读全文

摘要： 最近在看关于窗口分析函数的一些东西，在这里总结一下： 好像从上面我们看不出丝毫的变化，好像只是对对应的字段做了一个排序操作。好像和 FIRST_VALUE（）函数有点不一样 如果我们要达到那种效果，我们需要做的操作如下： SELECT id,money,FIRST_VALUE( money ) OV 阅读全文

摘要： 这几天研究hive表的存储方式和压缩模式。在这里做一个简单的总结 hive表的存储 样例 ： 我的表：rp_person_house_loan_info 数据总量：1933776 textfile： （1）hive数据表的默认格式，存储方式：行存储 。 （2） 可使用Gzip,Bzip2等压缩算法压 阅读全文

摘要： 最近遇到别人问我关于scala的闭包，之前只知道js当中的闭包，但是scala听的不是很多，于是就个人的一点心得记录一下： 所谓的闭包就是 闭包就是一个函数，返回值依赖于声明在函数外部的一个或者多个变量； 在这里定义了一个函数sum，做累加和但是定义的变量y，这里报错。 所以这里需要定义一个全局的y 阅读全文

摘要： 上一篇已经安装好了es，但是没有图形化的界面是看不出来集群的效果的，所以需要安装head插件展示索引的副本等信息。安装的步骤如下： 注意所有的文件都在root用户下安装，node和head插件都解压在es的安装目录当中。 从这里下载我们想要的node版本。然后进行安装： 解压文件 tar -zxvf 阅读全文