摘要：
今天拿到了一个棘手的工作，向三方提供数据密文，操作需要在oracle中操作，以下简要介绍在oracle中如何使用java编写的函数。 编译java代码，由于业务方指定了java的加密算法，所以只有编译规定的编码，这里特别强调一下，oracle的版本自带的java的版本号一般较低，我的是1.6的jav 阅读全文
摘要：
在操作的过程中失败了，出现如下错误信息： 通过排查，是由于hive的的配置出现问题，解决办法 ：（在环境变量配置文件中HADOOP_CLASSPATH中添加$HIVE_HOME/lib/*） 最后问题得到解决！ 参考资料： https://zhuanlan.zhihu.com/p/28321067 阅读全文
摘要：
一、优缺点 优点： 1，减少存储磁盘空间，降低单节点的磁盘IO。 2，由于压缩后的数据占用的带宽更少，因此可以加快数据在Hadoop集群流动的速度。例如在不同节点创建3个replica的阶段，或是shuffle阶段。 缺点： 需要花费额外的时间/CPU做压缩和解压缩计算 二、几种常见的压缩对比 三、 阅读全文
摘要：
1.启动hiveserver2 2.代码如下： 3.pom文件如下 阅读全文
摘要：
数据挖掘：也就是data mining，是一个很宽泛的概念。字面意思就是从成吨的数据里面挖掘有用的信息。这个工作BI（商业智能）可以做，数据分析可以做，甚至市场运营也可以做。你用excel分析分析数据，发现了一些有用的信息，然后这些信息可以指导你的business，恭喜你，你已经会数据挖掘了。 机器 阅读全文
摘要：
一、简要介绍 目前版本的Hive中没有提供类似存储过程的功能，使用Hive做数据开发时候，一般是将一段一段的HQL语句封装在Shell或者其他脚本中，然后以命令行的方式调用，完成一个业务或者一张报表的统计分析。好消息是，现在已经有了Hive存储过程的解决方案（HPL/SQL –Procedural 阅读全文
摘要：
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html 阅读全文
摘要：
一、下载kylin 二、安装maven、nodejs 1.maven的安装参照百度，这里不再赘述 2.nodejs的安装参考http://www.runoob.com/nodejs/nodejs-install-setup.html 三、编译kylin 1.解压kylin 2.编译kylin 3.出 阅读全文
摘要：
一、more指令 命令参数： 显示文件中从第3行起的内容 将日志内容设置为每屏显示4行 从文件中查找第一个出现"hadoop"字符串的行，并从该处前两行开始显示输出 二、less指令 命令参数： ps查看进程信息并通过less分页显示同时显示行号 三、head指令 如果你只想看文件的前5行，可以使用 阅读全文
摘要：
1 CREATE EXTERNAL TABLE IF NOT EXISTS ia_nwp_fp_rp_cft( 2 key String, 3 rp_power_real String, 4 sd_prepower String, 5 R001_masta_layer String, 6 R001_masta_speed String, 7 C001_masta_layer St... 阅读全文