摘要：
一、迭代器 iterator 适合Scala中所有集合的遍历 1 var a = List(1, 2, 3, 4) 2 var b = a.iterator 3 //hasNext:判断迭代器是否由下一个元素 next：获取下一个元素 4 while (b.hasNext) { 5 println( 阅读全文
摘要：
一、列表 定义：是Scala中一种重要的容器 特点：1.可以存储同类型的重复数据 2.是有序的（可以进行索引操作，有先来后到之分） 分类：1.不可变列表：内容与长度均不可变 2.可变列表：内容元素与长度均可变 1.不可变列表 定义： 1 //第一种方式：List关键字 常用 2 var l1 = L 阅读全文
摘要：
一、Scala中有方法和函数俩种技术 1.方法 定义：def 方法名(参数名：参数类型，参数名：参数类型):[返回值类型] = { 方法体 } e.g： 1 def test1(): Unit = { 2 println("我是一个方法") 3 } 4 //return需要同返回值类型一起使用，不可 阅读全文
摘要：
一、scala的语言类型 编译型语言 强数据类型编程语言（数据有类型，变量也有类型） 二、Scala的用处 开发大数据（spark，Flink，Kafka） 表达能力强，胜过Java，开发效率高 兼容Java，可直接访问Java类库 三、基本语法 1.标识符：①大小写敏感；②不可使用关键字或保留字； 阅读全文
摘要：
一、基础配置 1.HBASE，依赖于Hadoop，所以需要先安装Hadoop，以及配置文件的修改，格式化，启动服务...这里略，详情可以看我以前的博客 2.同样需要zookeeper，创建data文件，修改配置文件，启动...同上 二、搭建HBASE 1.上传并解压缩准备好的tar包，将HBASE安 阅读全文
摘要：
一、基础环境 1.虚拟机 VMware 15.0 2.CentOS 6.5 Linux 系统 二、MapReduce的原理分析 三、Yarn集群搭建 1.准备好三台虚拟机（这里我直接拷贝了Ha集群中一个作为主机，其余克隆） 2.修改基础配置： 1.删除每一台机器的Mac地址（CentOS 7 以上不 阅读全文
摘要：
一、基础环境 三台虚拟机，使用CentOS 6.5 版本Linux系统 二、SSH免密登录 对于集群来说，需要用我们的NameNode主节点来控制所有的DataNode开启节点服务，所以我们的方式就是用NameNode节点连接其他的DataNode节点，输入开启命令即可。 但是一天机器连接另外一台机 阅读全文
摘要：
一、出现背景 普通的Hadoop集群，虽然有FsImage，Editslog和SecondaryNameNode机制，来防止Namenode节点宕机或非正常的服务关闭时数据的丢失，但是有一个问题依然存在，那就是身为HDFS文件系统的总入口，停止了对外的服务。对于客户端来说，系统内部是透明的，当服务宕 阅读全文
摘要：
一、问题背景 今天在学习hadopp框架时，编写一个hadoop启动进程的sheel脚本，由于不想使用Linux自带的VM编辑器，就在Windows下编辑脚本的内容，然后在Linux下运行此脚本，接着就报了几个错误 报错原文： Could not find or load main class na 阅读全文
摘要：
一、基础环境配置 虚拟机：VMware 15.0 Linux系统版本：CentOS 6.5 (CentOS 7 的话对分布式做了优化 和7以下不同，这里以6.5为基准) 二、准备工作 1.在 /opt/install 下存放相关软件 在 /opt/models 下存放上传到服务器的工具 2.配置虚拟 阅读全文