摘要: scala映射,是一对键值对,相当于java中的Map 对偶:由两个值构成的组,形式 : 值1->值2,值1和值2类型不一定要相同,可以理解为对偶就是一个key/value 映射就是对偶的集合 示例: 创建一个空值的映射,需要选定一个映射的实现并给出类型参数 映射的另一种表示方法 映射基本操作 1、 阅读全文
posted @ 2018-10-15 15:28 v-imok 阅读(225) 评论(0) 推荐(0) 编辑
摘要: Scala除了方法外,还支持函数,方法对对象进行操作,但是函数不是。 def func(n: String) = 表达式 如果函数体有多个表达式,则可以使用代码块,代码块的最后一个表达式的值就是 函数的返回值 def func(n: String) = { } 在函数中,并不需要 return来返回 阅读全文
posted @ 2018-10-15 14:47 v-imok 阅读(144) 评论(0) 推荐(0) 编辑
摘要: scala是一门多范式的编程语言,一种类似java的编程语言,以JVM为目标环境,将面向对象和函数式编程有机的结合在一起 应用:spark大数据开发 1、声明值和变量 关键字 val 和 var val定义的值是常量,不可改变;var定义的是变量,可以改变 (声明值或者变量不初始化会报错) _表示通 阅读全文
posted @ 2018-10-15 11:27 v-imok 阅读(299) 评论(0) 推荐(0) 编辑
摘要: 在本地使用Eclipse调试MapReduce程序,需要Hadoop插件,笔摘记录下制作安装过程。 准备工作(hadoop-2.6.0为例): 搭建好Hadoop环境 下载Hadoop安装包,解压到某个路径(D:\hadoop-2.6.0) 下载 hadoop2x-eclipse-plugin包 安 阅读全文
posted @ 2018-09-28 14:20 v-imok 阅读(277) 评论(0) 推荐(0) 编辑
摘要: 1、HBase HBase: Hadoop Database,根据Google的Big Table设计 HBase是一个分布式、面向列族的开源数据库。HDFS为Hbase提供了底层的数据存储服务,MapReduce为Hbase提供了高性能的计算能力,Zookeeper为Hbase提供了稳定的服务和F 阅读全文
posted @ 2018-09-19 14:28 v-imok 阅读(259) 评论(0) 推荐(0) 编辑
摘要: HDFS HDFS (Hadoop Distributed FileSystem) 是 Hadoop 分布式文件系统,以流式数据访问模式来存储超大文件,运行与商业硬件集群上,管理网络中跨多台计算机存储的文件系统,是分布式计算中数据管理的的基础。 流式数据访问模式 : 指的是数据不是一次性获取过来,而 阅读全文
posted @ 2018-09-17 14:41 v-imok 阅读(497) 评论(0) 推荐(0) 编辑
摘要: 走上大数据的自学之路....,Hadoop是走上大数据开发学习之路的第一个门槛。 Hadoop,是Apache的一个开源项目,开发人员可以在不了解分布式底层细节,开发分布式程序,充分利用集群进行高速运算和存储海量数据。 核心:分布式存储系统HDFS(Hadoop Distributed File S 阅读全文
posted @ 2018-09-17 09:43 v-imok 阅读(425) 评论(0) 推荐(0) 编辑
摘要: log4j是一个用Java编写的可靠,快速和灵活的日志框架(API),它在Apache软件许可下发布。Log4j已经被移植到了C,C++,C#,Perl,Python和Ruby等语言中。 Log4j是高度可配置的,并可通过在运行时的外部文件配置。它根据记录的优先级别,并提供机制,以指示记录信息到许多 阅读全文
posted @ 2018-08-16 17:56 v-imok 阅读(361) 评论(0) 推荐(1) 编辑
摘要: elasticsearch的接口是restful api风格 基本操作 查看集群健康状态 GET /_cat/health?v 我们可以看到我们的名称为“elasticsearch”的集群正在运行,状态标识为green。 无论何时查看集群健康状态,我们会得到green、yellow、red中的任何一 阅读全文
posted @ 2018-08-14 14:29 v-imok 阅读(269) 评论(0) 推荐(0) 编辑
摘要: ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口,数据的格式使用Json。Elasticsearch是用Java开发的。 elasticsearch的基本概念 Index Type Document Node C 阅读全文
posted @ 2018-08-14 11:54 v-imok 阅读(334) 评论(0) 推荐(0) 编辑