摘要: implicit 隐式转换函数 例子: 隐式类 隐式参数 寻找隐式值 寻找隐式对象和隐式函数 阅读全文
posted @ 2019-09-30 17:05 WeiKing 阅读(1584) 评论(0) 推荐(0) 编辑
摘要: 模式匹配 值匹配 数据类型匹配 集合数组匹配 case class匹配 变量person是case中匹配对象的父类 Option[T]匹配 模式匹配和高级函数连用 阅读全文
posted @ 2019-09-27 16:14 WeiKing 阅读(2257) 评论(0) 推荐(0) 编辑
摘要: Option[T] Any Nothing和Null 注意:Null与Nothing都表示空,Nothing是Null的子类 阅读全文
posted @ 2019-09-26 15:24 WeiKing 阅读(523) 评论(0) 推荐(0) 编辑
摘要: map和flatMap map flatMap Map和flatMap的区别 sorted/sortedBy/sortWith groupBy reduce/fold reduce reduceLeft reduceRight fold foldLeft foldRight filter/filte 阅读全文
posted @ 2019-09-20 11:21 WeiKing 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 函数和方法的区别: FP中,函数可以独立存在的,不需要依赖于class类 对于类似Scala语言(或者Python语言)既是OOP又是FP编程 高阶函数传递函数参数的方式 直接使用匿名函数 阅读全文
posted @ 2019-09-18 15:48 WeiKing 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 集合 注意: Array和ArrayBuffer Array val arr2 = new Array[Int](5) // arr2: Array[Int] = Array(0, 0, 0, 0, 0) 默认值为0 // 依据下标索引进行赋值 arr2(1) = 100 arr2(3) = 50 阅读全文
posted @ 2019-09-17 16:50 WeiKing 阅读(232) 评论(0) 推荐(0) 编辑
摘要: Scala的简介 大数据中使用Scala编写的两大框架就是kafka和Spark 1. 官方网站: https://www.scala-lang.org/ 2.特点 1.即是面向对象编程又是编写函数编程(函数可以独立于对象独自存在,不必非要在对象中) 2.和Java一样是运行在JVM之上的高级语言( 阅读全文
posted @ 2019-08-26 23:01 WeiKing 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 1.使用CM安装CDH的组件,启动日志 /var/log/xxx/yy.log 2.属性配置: * Server 属性 -存放在数据库中(如MYSQL) 当启动Daemons时,需要读取的属性 * Client 属性 -配置文件 用户访问时需要读取的属性 3.客户端配置: /etc/xxx/conf 阅读全文
posted @ 2019-07-31 13:27 WeiKing 阅读(211) 评论(0) 推荐(0) 编辑
摘要: 1.权限问题 对cloudera manager的各个目录操作后必须注意权限的问题 手动对Hdfs进行格式后,手动启动Hdfs会自动生成以下三个文件:需要修改各个目录的权限: NameNode 数据目录:/dfs/nn HDFS 检查点目录:/dfs/snn DataNode 数据目录:/data/ 阅读全文
posted @ 2019-07-30 16:54 WeiKing 阅读(2060) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2019-07-17 10:35 WeiKing 阅读(105) 评论(0) 推荐(0) 编辑