摘要: 1. "永久设置MySQL字符编码,解决jdbc数据导入由于存在中文字符出错问题(sqoop)" 2. hdfs数据表的字段和MySQL的字段对应, 注意字段类型和字符串长度问题 3. jdbc连接不要使用localhost 4. 输入数据字段分隔符, 输出数据字段分隔符 阅读全文
posted @ 2019-10-31 09:31 会走的树 阅读(3230) 评论(0) 推荐(1) 编辑
摘要: "方法和函数的区别" 阅读全文
posted @ 2019-10-26 09:10 会走的树 阅读(453) 评论(0) 推荐(0) 编辑
摘要: Hive自定义函数包括三种UDF、UDAF、UDTF UDF(User Defined Function) 一进一出 UDAF(User Defined Aggregation Funcation) 聚集函数,多进一出。Count/max/min UDTF(User Defined Table Ge 阅读全文
posted @ 2019-10-23 16:16 会走的树 阅读(3397) 评论(0) 推荐(0) 编辑
摘要: response的属性 response的选择器 xpath选择器 css选择器 阅读全文
posted @ 2019-09-17 16:24 会走的树 阅读(460) 评论(0) 推荐(0) 编辑
摘要: 配置zookeeper 教程链接: https://www.cnblogs.com/studyNotesSL/p/11517477.html 配置Strom 配置环境变量 修改配置文件 启动Strom 查看启动状态 查看Strom Web UI页面: "http://localhost:8080" 阅读全文
posted @ 2019-09-17 16:22 会走的树 阅读(351) 评论(0) 推荐(0) 编辑
摘要: https://jingyan.baidu.com/article/3ea51489ba79e252e61bba97.html 阅读全文
posted @ 2019-09-13 21:38 会走的树 阅读(1339) 评论(0) 推荐(0) 编辑
摘要: 配置Flume 修改flume env.sh 修改Hbase的hbase env.sh(未出现异常可以忽略) 查看Flume配置版本 测试Flume(avro source) 修改avro.conf 启动flume agent a1 向指定文件写入日志 启动avro client 在启动的服务控制台 阅读全文
posted @ 2019-09-13 19:33 会走的树 阅读(261) 评论(0) 推荐(0) 编辑
摘要: Hbase配置 修改hbase env.sh 修改hbase site.xml 查看配置是否成功 启动hbase 阅读全文
posted @ 2019-09-13 19:31 会走的树 阅读(664) 评论(0) 推荐(0) 编辑
摘要: 解压文件 修改配置文件 启动zookeeper 阅读全文
posted @ 2019-09-13 19:28 会走的树 阅读(642) 评论(0) 推荐(0) 编辑
摘要: 添加需要的maven依赖 Actor (线程) Actor信息传递 Actor信息互传 AkkA 信息发送 服务端和客户端交互程序 Message.scala ServerAKKA.scala ClientAKKA.scala 定时任务 阅读全文
posted @ 2019-09-05 10:24 会走的树 阅读(869) 评论(0) 推荐(0) 编辑
摘要: 内部类 匿名内部类 阅读全文
posted @ 2019-09-01 21:45 会走的树 阅读(88) 评论(0) 推荐(0) 编辑
摘要: 修饰控制符 抽象类 枚举类 特质 像抽象类, 可以有抽象成员和非抽象成员 像java接口, 可以多重继承, 第一个继承使用extends之后的使用with隔开 当多个特质拥有相同名的方法时, 默认调用最右边的特质的方法 需要调用多个特质的相同方法, 使用super调用父类的方式来实现链式调用 阅读全文
posted @ 2019-09-01 21:44 会走的树 阅读(233) 评论(0) 推荐(0) 编辑
摘要: 函数作为值传递 匿名函数 高阶函数 (参数为函数的函数) 参数 实例 闭包 函数的变量不在其作用域内被调用,就是闭包的概念 柯理化 阅读全文
posted @ 2019-09-01 21:42 会走的树 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 泛型 泛型类 [T] 泛型函数 [T] 泛型边界 [T : 子类] : 指明下界,表达了泛型的类型必须是"某种类型"或某种类型的"父类" scala def main(args: Array[String]): Unit = { up "C2" // 报错! 超出上边界 // up(new C1) 阅读全文
posted @ 2019-09-01 21:41 会走的树 阅读(350) 评论(0) 推荐(0) 编辑
摘要: 单例:希望某个类只存在一个使用的对象,而不管有多少个调用者在使用它,就是单例的概念。 阅读全文
posted @ 2019-09-01 21:40 会走的树 阅读(77) 评论(0) 推荐(0) 编辑
摘要: 要求: 伴生类和伴生对象要在 同一个.scala文件 并且 名字相同 Java的静态成员和非静态成员都写在一个类里. 而scala静态成员需要写写在伴生对象里面. 伴生类需要用 new 来创建,而伴生对象不用new. 使用伴生对象创建伴生类的实例需要定义apply()方法 阅读全文
posted @ 2019-09-01 21:39 会走的树 阅读(1155) 评论(0) 推荐(0) 编辑
摘要: Lazy特性 当val被声明为lazy时,它的初始化将被推迟,直到我们首次对它使用时才初始化。 1. Lazy编译时不会初始化变量,所有异常也只有使用时才能发现,如:文件不存在的异常。 2. 节省不必要的资源加载,适用使用可能性不大的资源定义。 阅读全文
posted @ 2019-08-30 06:18 会走的树 阅读(277) 评论(0) 推荐(0) 编辑
摘要: scala def 方法 def 方法名(参数): 返回类型 = {方法体} 方法创建方式 默认参数 可变长参数 阅读全文
posted @ 2019-08-30 06:17 会走的树 阅读(725) 评论(0) 推荐(0) 编辑
摘要: 异常 阅读全文
posted @ 2019-08-30 06:16 会走的树 阅读(70) 评论(0) 推荐(0) 编辑
摘要: 循环 while 略 for break scala import scala.util.control.Breaks._ breakable { for (i 阅读全文
posted @ 2019-08-30 06:16 会走的树 阅读(99) 评论(0) 推荐(0) 编辑