摘要：
向量，即一维数组 矩阵，二维数组 数组 数据框，可以放多种类型数据的二维数组 因子，类别或有序的一维数组 列表，一些对象的集合 常用函数 阅读全文
摘要：
一、使用条件 hive2.2.0及之后的版本支持使用merge into 语法，使用源表数据批量目标表的数据。使用该功能还需做如下配置 Hive对使用Update功能的表有特定的语法要求, 语法要求如下: (1)要执行Update的表中, 建表时必须带有buckets(分桶)属性 (2)要执行Upd 阅读全文
摘要：
Hive版本升级后，语法要求越来越严格，所以很多在1.1.0可以跑成功的SQL，到了2.3.5会报错。 1、隐式转换 在HIVE2.2.0版本的之前，Hive尝试跨Hive类型组执行隐式转换。HIVE2.2.0之后将仅在每个类型组中执行隐式转换，包括字符串组，数值组或日期组，而不是跨组。为了组合来自 阅读全文
摘要：
sql切分连续数字 存在一个表，只有number一列，数据是n行非完全连续的数据，求这n行数据中所有的连续段 如：表中共10行数据，分别为数字1，2，3，5，6，7，9，10，11，12。则按照规则求得结果为 1-3为一段，5-6为一段，9-12为一段 1、按number大小排序，并从小到大标上序号 阅读全文
摘要：
最近上线一个hadoop离线处理项目，因为在低配置（8G,4核）的时候装的CDH，后来集群配置（64G，16核）上来了，但许多参数不会自动修改，需要自己调整，处理过程中遇到的配置问题记录下。 1、hive 跑任务的时候发现reduce任务个数特别多，后来发现这个参数被改成64M了，改成1G就好了。 阅读全文
摘要：
一、各节点基础环境配置（最好每台都配置） 先输入su获取root权限 1修改主机名 输入vim /etc/sysconfig/network 改成： NETWORKING=yes HOSTNAME=myhostname 备注：myhostname是主机名，最好别都取成一样 2修改IP 方法一图形界面 阅读全文
摘要：
1.修改配置文件 <sessionState mode="StateServer" stateConnectionString="tcpip=127.0.0.1:42424" timeout="99999" />2.修改注册表HKEY_LOCAL_MACHINE\SYSTEM\CurrentCont 阅读全文
摘要：
最近公司接了个30万的项目，项目催的紧，六个人天天加班，累成狗！大概半个月最多20天就能全部搞定。 我就想，我们公司没有项目提成，按工资算，一人6000，这项目三十万最后落到到我们这些开发人员身上5万块钱到顶了，其他钱就进公司了。但看公司这几年也没怎么赚到钱，很是奇怪？我想大概是公司运营有其他成本。 阅读全文