摘要: 上讲,讲述了大概九种的技术种类以及他们的领域。那么既然有吃饭的,那就必须有做饭的。因此大数据技术结构的选型,必须有的组成部分至少三种(来源、计算、存储) 最简单的数据处理架构: 最少单元的数据处理方案,当然这个不是最好的,为什么呢,问题: 1.流式处理数据(Streaming)时,数据量小时,数据存 阅读全文
posted @ 2016-07-05 21:08 舆 阅读(809) 评论(1) 推荐(0) 编辑
摘要: private ,protected,public,在不加前两者声明时为public为公共式访问; private为私有式访问;protected为家族式访问,与Java一致。 object Outer { class Inner{ def f(){//若该方法是私有属性 private 则不能被外 阅读全文
posted @ 2016-07-05 14:52 舆 阅读(368) 评论(0) 推荐(0) 编辑
摘要: /apps/app/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class com.zdhy.zoc2.sparksql.core.JavaSparkSqlLogRegularApp --files /apps/app/apache-hive-1.2.1 阅读全文
posted @ 2016-07-05 14:45 舆 阅读(52118) 评论(0) 推荐(0) 编辑
摘要: 父类 子类 再子类 执行结果: 2,1,0,3,4,5,6,7,9,80,8,00 scala语言的父类继承和重载,toString的继承重载,靠super 子类中的构造器不能够super,报错 阅读全文
posted @ 2016-07-05 14:27 舆 阅读(287) 评论(0) 推荐(0) 编辑
摘要: 实战一: 声明一个抽象类(SuperTeacher):(超级老师) 一个不可变属性,和两个可变属性(主键和年龄),一个未实现方法(教书) 声明一个子类(TeacherForMaths): 抽象类的测试类 实战二: 抽象事件类:event,对于一个事件来说,事件名称决定他的不同,所以名称是不可变的,可 阅读全文
posted @ 2016-07-05 11:31 舆 阅读(2621) 评论(0) 推荐(1) 编辑
摘要: 企业级大数据处理方案有三种业务场景: 1.离线处理;(mapreduce(第一代)、sparksql(第二代)) 2.实时处理;(数据库操作、storm) 3.准实时处理。(spark Streaming) mapreduce与spark对比 mr与spark优缺点对比:(一) a.mapreduc 阅读全文
posted @ 2016-07-05 09:18 舆 阅读(802) 评论(0) 推荐(1) 编辑