摘要:
1. "永久设置MySQL字符编码,解决jdbc数据导入由于存在中文字符出错问题(sqoop)" 2. hdfs数据表的字段和MySQL的字段对应, 注意字段类型和字符串长度问题 3. jdbc连接不要使用localhost 4. 输入数据字段分隔符, 输出数据字段分隔符 阅读全文
摘要:
Hive自定义函数包括三种UDF、UDAF、UDTF UDF(User Defined Function) 一进一出 UDAF(User Defined Aggregation Funcation) 聚集函数,多进一出。Count/max/min UDTF(User Defined Table Ge 阅读全文
摘要:
response的属性 response的选择器 xpath选择器 css选择器 阅读全文
摘要:
配置zookeeper 教程链接: https://www.cnblogs.com/studyNotesSL/p/11517477.html 配置Strom 配置环境变量 修改配置文件 启动Strom 查看启动状态 查看Strom Web UI页面: "http://localhost:8080" 阅读全文
摘要:
https://jingyan.baidu.com/article/3ea51489ba79e252e61bba97.html 阅读全文
摘要:
配置Flume 修改flume env.sh 修改Hbase的hbase env.sh(未出现异常可以忽略) 查看Flume配置版本 测试Flume(avro source) 修改avro.conf 启动flume agent a1 向指定文件写入日志 启动avro client 在启动的服务控制台 阅读全文
摘要:
Hbase配置 修改hbase env.sh 修改hbase site.xml 查看配置是否成功 启动hbase 阅读全文
摘要:
解压文件 修改配置文件 启动zookeeper 阅读全文
摘要:
添加需要的maven依赖 Actor (线程) Actor信息传递 Actor信息互传 AkkA 信息发送 服务端和客户端交互程序 Message.scala ServerAKKA.scala ClientAKKA.scala 定时任务 阅读全文
摘要:
内部类 匿名内部类 阅读全文
摘要:
修饰控制符 抽象类 枚举类 特质 像抽象类, 可以有抽象成员和非抽象成员 像java接口, 可以多重继承, 第一个继承使用extends之后的使用with隔开 当多个特质拥有相同名的方法时, 默认调用最右边的特质的方法 需要调用多个特质的相同方法, 使用super调用父类的方式来实现链式调用 阅读全文
摘要:
函数作为值传递 匿名函数 高阶函数 (参数为函数的函数) 参数 实例 闭包 函数的变量不在其作用域内被调用,就是闭包的概念 柯理化 阅读全文
摘要:
泛型 泛型类 [T] 泛型函数 [T] 泛型边界 [T : 子类] : 指明下界,表达了泛型的类型必须是"某种类型"或某种类型的"父类" scala def main(args: Array[String]): Unit = { up "C2" // 报错! 超出上边界 // up(new C1) 阅读全文
摘要:
单例:希望某个类只存在一个使用的对象,而不管有多少个调用者在使用它,就是单例的概念。 阅读全文
摘要:
要求: 伴生类和伴生对象要在 同一个.scala文件 并且 名字相同 Java的静态成员和非静态成员都写在一个类里. 而scala静态成员需要写写在伴生对象里面. 伴生类需要用 new 来创建,而伴生对象不用new. 使用伴生对象创建伴生类的实例需要定义apply()方法 阅读全文