摘要: UDFUser Define Function, 用户自定义函数,简称UDF,存在与很多组件中现在由于项目的需要,开始引用Spark技术,其中的SparkSql组件是其核心组件之一,在Spark1.1版本的时候,Spark推出了Uer Define Function功能,用户可以在Spark SQL... 阅读全文
posted @ 2015-08-25 00:02 zqk 阅读(9201) 评论(0) 推荐(0) 编辑
摘要: 在linux/和unix的机器环境里,很多时候表现时间的方式是通过时间戳来展示时间,即从1970年1月1日起至当前的天数或秒数在数据分析的时候会有着不方便(不够直观的看出来时间)so........想到的几种场景的解决方式【1】:java环境下的分析,例如eclipse等编译环境的时候,即通过jav... 阅读全文
posted @ 2015-04-22 16:19 zqk 阅读(490) 评论(0) 推荐(0) 编辑
摘要: /**从开始接手大数据的开发工作,在很多方面很是拙计啊,简单的记一下接手的大数据工作的项目经验*/Sqoop: 用于关系型数据和大数据数据之间的关联等操作 第一篇:1:数据导入到大数据集群环境一:首先通信要通(废话...)连接数据库命令,按照这种方式(Oacle10g、Sqoop1.4.5-cd... 阅读全文
posted @ 2015-04-02 16:18 zqk 阅读(420) 评论(0) 推荐(0) 编辑
摘要: Sqoop简单的来说可以实现关系型数据库和HDFS之间的数据互相转移。大多数的测试资料都是基于mysql的实现可是在测试连接oracle的时候却出现了问题错误一:连接问题,在企业级应用中,对于机器的端口通信是有着比较严的控制,所以会经常遇到无法连接数据库、被拒绝的异常解决 :hadoop的所有节点,... 阅读全文
posted @ 2015-03-20 17:25 zqk 阅读(876) 评论(0) 推荐(0) 编辑
摘要: 1:什么是yarnYARN是一个框架管理器,用户可以将各种各样的计算框架移植到YARN之上,由YARN进行统一管理和资源分配、本质上是一个资源统一管理系统,将各种框架运行在YARN之上,可以实现框架的资源统一管理和分配,使他们共享一个集群,而不是“一个框架一个集群”,这可大大降低运维成本和硬件成本比... 阅读全文
posted @ 2015-02-01 02:38 zqk 阅读(379) 评论(0) 推荐(0) 编辑
摘要: 安装了数据库很久了,却在本地没有使用,这是经常发生的事,现在如何来解决这件事呢。首先进入pluscmd-sqlplus 命令然后在链接数据库会无奈的发现你所输入的用户名知道怎么写了可以查询下一般oracle下默认的用户名先:用户名 / 密码 登录身份 说明sys/change_on_install ... 阅读全文
posted @ 2014-11-04 23:01 zqk 阅读(996) 评论(0) 推荐(0) 编辑
摘要: HTML 亳州 宣城 芜湖 铜陵 宿州 马鞍山 六安 黄山 淮南 淮北 合肥 阜阳 滁州 池州 蚌埠 安庆 JS 按钮var s1=document.getElementById("right1");... 阅读全文
posted @ 2014-10-27 10:31 zqk 阅读(402) 评论(0) 推荐(0) 编辑
摘要: 1:查询数据库的表空间的使用情况SELECT F.TABLESPACE_NAME, (T.TOTAL_SPACE - F.FREE_SPACE) "USED (MB)", F.FREE_SPACE "FREE (MB)", T.TOTAL_SPACE "TOTAL... 阅读全文
posted @ 2014-10-08 15:25 zqk 阅读(346) 评论(0) 推荐(0) 编辑
摘要: JS里面写ajax发送请求到页面,页面返回数据提示结果:--------------------------------------------------JS代码----------------------------------------------------function trimRep... 阅读全文
posted @ 2014-09-16 16:54 zqk 阅读(9710) 评论(0) 推荐(0) 编辑