Fork me on GitHub
上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 17 下一页
摘要: 一、前述 Scala中的函数还是比较重要的,所以本文章把Scala中可能用到的函数列举如下,并做详细说明。 二、具体函数 1、Scala函数的定义 注意点: 函数定义语法 用def来定义 l可以定义传入的参数,要指定传入参数的类型 方法可以写返回值的类型也可以不写,会自动推断,有时候不能省略,必须写 阅读全文
posted @ 2018-02-01 19:53 L先生AI课堂 阅读(747) 评论(0) 推荐(0) 编辑
摘要: 一、前述 Scala Trait(特征) 相当于 Java 的接口,实际上它比接口还功能强大。 模式匹配机制相当于java中的switch-case。 使用了case关键字的类定义就是样例类(case classes),样例类是种特殊的类。 Actor相当于Java中的多线程。 二、具体阐述 tra 阅读全文
posted @ 2018-02-01 19:27 L先生AI课堂 阅读(409) 评论(0) 推荐(0) 编辑
摘要: 一、前述 Scala在常用的集合的类别有数组,List,Set,Map,元祖。 二、具体实现 数组 1、创建数组 new Array[Int](10) 赋值:arr(0) = xxx Array[String](“s1”,”s2”,”s3”) 2、数组遍历 创建二维数组(相当于数组中的每元素是一个数 阅读全文
posted @ 2018-02-01 02:27 L先生AI课堂 阅读(5688) 评论(0) 推荐(1) 编辑
摘要: 一、前述 Scala是基于JVM的另一个语言。 Scala官网6个特征。 1).Java和scala可以混编 2).类型推测(自动推测类型) 3).并发和分布式(Actor) 4).特质,特征(类似java中interfaces 和 abstract结合) 5).模式匹配(类似java switch 阅读全文
posted @ 2018-02-01 00:21 L先生AI课堂 阅读(336) 评论(0) 推荐(0) 编辑
摘要: 一、前述 Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点 是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群,可以考虑下Impala。 二、具体原理 优 阅读全文
posted @ 2018-01-30 21:04 L先生AI课堂 阅读(1724) 评论(0) 推荐(0) 编辑
摘要: 一、前述 CDH(Cloudera's Distribution, including Apache Hadoop)是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建提供了Hadoop的核心可扩展存储、分布式计算 基于Web的用户界面。简单来说CDH 阅读全文
posted @ 2018-01-30 20:08 L先生AI课堂 阅读(1526) 评论(0) 推荐(0) 编辑
摘要: 一、前述 Kafka是一个分布式的消息队列系统(Message Queue)。 kafka集群有多个Broker服务器组成,每个类型的消息被定义为topic。 同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上。 消息生产者producer和消费者c 阅读全文
posted @ 2018-01-26 23:27 L先生AI课堂 阅读(522) 评论(0) 推荐(0) 编辑
摘要: 一、前述 Drpc(分布式远程过程调用)是一种同步服务实现的机制,在Storm中客户端提交数据请求之后,立刻取得计算结果并返回给客户端。同时充分利用Storm的计算能力实现高密度的并行实时计算。二、具体原理 DRPC 是通过一个 DRPC 服务端(DRPC server)来实现分布式 RPC 功能的 阅读全文
posted @ 2018-01-25 23:32 L先生AI课堂 阅读(1036) 评论(0) 推荐(0) 编辑
摘要: 一、前述 Storm是一个流式处理框架,相比较于SparkStreaming是一个微批处理框架,hadoop是一个批处理框架。 二 、搭建流程 1.集群规划 Nimbus Supervisor Zookeepernode01 1 node02 1 1node03 1 1 node04 1 1 2.配 阅读全文
posted @ 2018-01-25 23:11 L先生AI课堂 阅读(241) 评论(0) 推荐(0) 编辑
摘要: 一、前述 Storm容错机制相比其他的大数据组件做的非常不错。 二、具体原因 结合Storm集群架构图: 我们的程序提交流程如下: 其中各个组件的作用如下: Nimbus资源调度任务分配接收jar包Supervisor接收nimbus分配的任务启动、停止自己管理的worker进程(当前supervi 阅读全文
posted @ 2018-01-25 22:56 L先生AI课堂 阅读(1873) 评论(0) 推荐(0) 编辑
上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 17 下一页