会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
数仙据灵
博客园
首页
新随笔
联系
管理
订阅
2017年4月6日
python 的for与while 的i改变
摘要: 最近使用实验楼撸代码 http://www.shiyanlou.com/register?inviter=NTY0MzE5NDE2NjM5 做一道count and say 的算法题的时候,有c++语法的解题答案,我改成用python 题目: 在用python写的时候 我用了for中有while循环
阅读全文
posted @ 2017-04-06 12:36 数仙据灵
阅读(1805)
评论(0)
推荐(0)
2017年3月17日
spark的时间戳转换和字符串替换
摘要: 1.由于之前比较熟悉hive,于是用spark.sql写,其中包含hive的一些函数,如 数据转换后的形式: 2.因此用spark实现这两种变化的方法如下:
阅读全文
posted @ 2017-03-17 11:36 数仙据灵
阅读(10304)
评论(0)
推荐(1)
2017年3月16日
spark sql中的first函数在多个字段使用实例
摘要: 1.建立hive表如下: 2.插入数据 867463027018201 2006 2017012420 5.2.4 mi_4lte android_4.4.48516c9ebd4073a5281e74ecbf2af6297e159b98d 4002 2017012420 5.4.1 iphone8_
阅读全文
posted @ 2017-03-16 13:25 数仙据灵
阅读(4790)
评论(0)
推荐(0)
idea用给scala打包出错Unsupported major.minor version 52.0
摘要: 1.打包过程发现错误如下: 首先快速在没有运行完前,查看log中报错: Unsupported major.minor version 52.0 2 原因:是scala的jre和java的jdk不匹配,需要将idea中的scala版本有默认版本改为合适的对应版本,对应版本需要自己下载,下载镜像安装包
阅读全文
posted @ 2017-03-16 10:42 数仙据灵
阅读(2493)
评论(0)
推荐(0)
2016年12月15日
使用COALESCE时注意left join为null的情况
摘要: 1.使用COALESCE时,用到group by with cube,如果之前两个表left join时,有数据为null,就会使得查出的数据主键不唯一 例如: 得到的数据会出现两组key一样但数据不一样的情况: 说明其中第二个数据是a表中没有匹配到souform的空值
阅读全文
posted @ 2016-12-15 11:17 数仙据灵
阅读(3639)
评论(0)
推荐(0)
2016年12月13日
hive外部表的建立与数据匹配
摘要: 1.建立hive的外部表匹配hdfs上的数据 出现如下报错: 再来看一下这个表的结构: 可以发现这个表没有建立分区,但是在hdfs上是有分区的: 解决方法是删除这个分区目录,就可以匹配数据了: 2.hive建立有分区的外部表时,发现没有数据 有可能是因为没有加partition,加partiiton
阅读全文
posted @ 2016-12-13 15:19 数仙据灵
阅读(2849)
评论(0)
推荐(0)
2016年12月10日
机器学习实战knn
摘要: 最近在学习这本书,按照书上的实例编写了knn.py的文件,使用canopy进行编辑,用shell交互时发现运行时报错: 运行的代码如下: 然后我在canopy中重新关闭程序,又打开后,就可以运行成功了 还有一点是文件名不识别大小写 需要注意
阅读全文
posted @ 2016-12-10 14:45 数仙据灵
阅读(1499)
评论(0)
推荐(0)
我的第一份互联网实习:数据分析工程师
摘要: 从进入大学,我就常在思考,未来要做什么,自己的兴趣是什么。我的大学阶段,在保证本专业的成绩优秀的情况下,我尽一切努力探索更多未知的领域。参加过全国物流设计大赛,电子商务大赛,机械设计大赛,创新创业大赛,全国大学生数学建模大赛,还参与各种社团,学生活动,只是为了找寻真正喜欢的方向。后面,我发现能从心底
阅读全文
posted @ 2016-12-10 13:18 数仙据灵
阅读(1522)
评论(0)
推荐(0)