静悟生慧

2018年7月9日

摘要： 1. If 函数 : if 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull 举例： hive> sel 阅读全文

posted @ 2018-07-09 17:07 静悟生慧阅读(2265) 评论(0) 推荐(0) 编辑

Hive 练习简单任务处理

摘要： 1、2018年4月份的用户数、订单量、销量、GMV （不局限与这些统计量，你也可以自己想一些） PS: 订单数就是卖了几单；销量就是卖了多少件，一个订单中可能卖出一件或多件； GMV: Gross Merchandise Volume，是成交总额（一定时间段内）的意思。在电商网站定义里面是网站阅读全文

posted @ 2018-07-09 12:04 静悟生慧阅读(489) 评论(0) 推荐(0) 编辑

2018年7月6日

数据字典

摘要：数据字典：是指对数据的数据项、数据结构、数据流、数据存储、处理逻辑、外部实体等进行定义和描述，其目的是对数据流程图中的各个元素做出详细的说明。数据字典的主要作用：数据字典和数据流图共同构成系统的逻辑模型。没有流图数据字典难以发挥作用。没有数据字典，数据流图就不严格。数据字典（Data dicti 阅读全文

posted @ 2018-07-06 17:47 静悟生慧阅读(4247) 评论(0) 推荐(0) 编辑

聚类算法小结

摘要：先MARK一下，两个不错的资料，可以加深理解： https://www.zhihu.com/question/34554321 http://sklearn.apachecn.org/cn/0.19.0/modules/clustering.html 【转载】一篇总结不错的博文： https:// 阅读全文

posted @ 2018-07-06 17:16 静悟生慧阅读(321) 评论(0) 推荐(0) 编辑

Hive学习系列博客

摘要：原 Hive作业优化原 Hive作业优化原 Hive作业优化原 Hive学习六:HIVE日志分析（用户画像）原 Hive学习六:HIVE日志分析（用户画像）原 Hive学习六:HIVE日志分析（用户画像）原 Hive学习五--日志案例分析原 Hive学习五--日志案例分析原 Hive 阅读全文

posted @ 2018-07-06 14:29 静悟生慧阅读(266) 评论(0) 推荐(0) 编辑

Hive 作业优化

摘要： 1、Join原则将条目少的表/子查询放在 Join的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出的几率。当一个小表关联一个超大表时，容易发生数据倾斜，可以用MapJoin把小表全部加载到内存在map 阅读全文

posted @ 2018-07-06 14:25 静悟生慧阅读(542) 评论(0) 推荐(0) 编辑

命令行方法查看和设置环境变量

摘要： 1. 获取应用安装绝对路径：方法一：一层层点进去，然后复制路径栏目；方法二：打开软件执行文件所在目录，按住shift点击鼠标邮件，选择powerShell，现在win10都自带了，输入：即可看到路径，划选点右键即可复制路径。 2. 查看环境变量： win+R输入cmd，打开命令行； 3. 新添阅读全文

posted @ 2018-07-06 11:55 静悟生慧阅读(7333) 评论(0) 推荐(0) 编辑

win10 VS code 编译运行 C/C++的方法

摘要：具体配置过程如下链接： https://zhuanlan.zhihu.com/p/35178331 但中间出了点问题：CTRL+ALT+n 运行后： PS D:\C++> cd "d:\C++" ; if ($?) { gcc test.c -o test -std=c11 -lm } ; if ( 阅读全文

posted @ 2018-07-06 11:47 静悟生慧阅读(11047) 评论(0) 推荐(0) 编辑

win10 环境下 MinGW-w64安装

摘要： MinGW-w64 就是著名C/C++编译器GCC的Windows版本。一、什么是 MinGW-w64 ？MinGW 的全称是：Minimalist GNU on Windows 。它实际上是将经典的开源 C语言编译器 GCC 移植到了 Windows 平台下，并且包含了 Win32API ，阅读全文

posted @ 2018-07-06 09:53 静悟生慧阅读(1281) 评论(0) 推荐(0) 编辑

2018年7月5日

hive 用户订单行为基础操作

摘要：今天用hive查询用户日志表.这是日志表的格式: 创建数据库名: 创建表名: (1)查询10个交易记录: (2)对于复杂的列名,可以使用别名: (3)使用嵌套语句： (4)统计有多少条行数据： (5)统计不重复的数据： (6)使用group by 查询不重复的数据： (7)查询某一天多少人购买了产品阅读全文

posted @ 2018-07-05 20:46 静悟生慧阅读(716) 评论(0) 推荐(0) 编辑

公告