2017年9月11日

大数据计算常用技术

摘要： ​​ 大数据中心平台一般是三个部分：大数据、超算、云计算，三个部分进行混搭以满足不同数据处理场景。本人目前接触的为大数据，大数据正常分为三个模块： 1）大数据平台建设目前是Hadoop平台（java技能，接触最多的是HW的FI大数据业务平台）； 2）大数据计算(数字敏感性，常用计算语言HQL、CQL 阅读全文

posted @ 2017-09-11 22:01 weizhang715 阅读(357) 评论(0) 推荐(0) 编辑

2017年7月26日

大数据计算常用技术—Spark基本语法【整理】

摘要： 通过这几天自学，发现Scala是一门完全面向对象的语言（OOP）。每一个标示符都是方法，每个变量都是一个对象。 模块零：数据类型 1，原生数据类型 亮点：时间粒度转换 date类型只能和date、timestamp和string进行显式转换（cast） 2，复杂数据类型 （1）array示例 创建数 阅读全文

posted @ 2017-07-26 20:58 weizhang715 阅读(1070) 评论(0) 推荐(0) 编辑

导航