Hive 优化
摘要：
一、Hadoop 计算框架的特性 1、什么是数据倾斜？ •由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。 2、Hadoop框架的特性 •不怕数据大，怕数据倾斜。 •jobs数比较多的作业运行效率相对比较低，如子查询比较多。 •sum,count,max,min等聚集函数，不会有数据倾斜 阅读全文
posted @ 2017-05-18 15:55 大大的橙子 阅读(285) 评论(0) 推荐(0) 编辑
Gateway
摘要：
网关在传输层上以实现网络互连，是最复杂的网络互连设备，仅用于两个高层协议不同的网络互连。网关的结构也和路由器类似，不同的是互连层。网关既可以用于广域网互连，也可以用于局域网互连。 网关是一种充当转换重任的计算机系统或设备。在使用不同的通信协议、数据格式或语言，甚至体系结构完全不同的两种系统之间，网关 阅读全文
posted @ 2017-05-16 10:35 大大的橙子 阅读(698) 评论(0) 推荐(0) 编辑
TF linear regression
摘要：
本文的作者 Nishant Shukla 为加州大学洛杉矶分校的机器视觉研究者，从事研究机器人机器学习技术。Nishant Shukla 一直以来兼任 Microsoft、Facebook 和 Foursquare 的开发者，以及 SpaceX 的机器学习工程师。他还是《Haskell Data A 阅读全文
posted @ 2017-05-15 13:36 大大的橙子 阅读(591) 评论(0) 推荐(0) 编辑
HIVE 数据类型
摘要：
数据类型 Hive基本的数据类型： Hive集合数据类型： 另外还有一个复合数据类型，可以综合上面的数据类型组合到一起。 · union: UNIONTYPE<data_type, data_type, ...> 限定符 Hive默认的限定符： Structs： structs内部的数据可以通过DO 阅读全文
posted @ 2017-05-07 20:20 大大的橙子 阅读(17778) 评论(0) 推荐(0) 编辑
Scala window下安装
摘要：
第一步：Java 设置 检测方法前文已说明，这里不再描述。 如果还为安装，可以参考我们的Java 开发环境配置。 接下来，我们可以从 Scala 官网地址 http://www.scala-lang.org/downloads 下载 Scala 二进制包(页面底部)，本教程我们将下载 2.11.7版 阅读全文
posted @ 2017-05-03 10:13 大大的橙子 阅读(309) 评论(0) 推荐(0) 编辑
