12 2020 档案

摘要:隐式转换 我们需要某个类中的一个方法,但是这个类没有提供这样的一个方法,所以我们需要隐式转换,转换成提供了这个方法的类,然后再调用这个方法在spark中隐士转换都写在伴生对象中,因为类的实例肯定能找到伴生对象的,在一个作用域当中 第一步,需要一个增强的类,里面提供我们想要的方法,接收的参数的类型一定 阅读全文
posted @ 2020-12-18 14:39 kpwong 阅读(167) 评论(0) 推荐(0) 编辑
摘要:/*** * Scala 版本中的泛型方法 * Scala中的泛型方法定义,在参数列表之前,方法名称之后,通过[]来进行定义 * Scala来完成Java中的泛型限定 * Java Scala * 上限限定 <T extends 类型> [T <:类型] * 下线限定 <T super 类型> [T 阅读全文
posted @ 2020-12-18 12:46 kpwong 阅读(519) 评论(0) 推荐(0) 编辑
摘要:Scala 闭包: 闭包是一个函数,返回值依赖于声明在函数外部的一个或多个变量。 闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。 如下面这段匿名的函数: val multiplier = (i:Int) => i * 10 函数体内有一个变量 i,它作为函数的一个参数。如下 阅读全文
posted @ 2020-12-17 15:33 kpwong 阅读(156) 评论(0) 推荐(0) 编辑
摘要:Scala 中 " _ " 通配符使用: 通配一个值: var array2 = 2 to 20 array2.foreach(data =>println(data)) array2.foreach(println(_)) 通配两个值: var array2 = 2 to 20 val sorte 阅读全文
posted @ 2020-12-17 14:39 kpwong 阅读(749) 评论(0) 推荐(0) 编辑
摘要:一步一步理解Scala高阶函数: 第一步: Scala函数可以作为值,传递给另外一个变量,或者另外一个函数 语法特征: 必须要在函数后面加上空格和下划线 object FunctionOps1 { def main(args: Array[String]): Unit = { //作为值得函数 va 阅读全文
posted @ 2020-12-17 11:07 kpwong 阅读(908) 评论(0) 推荐(0) 编辑
摘要:枚举通常用来定义已知数量的常量,比如月份,星期,季节等等,用过java的人都知道定义枚举的关键字是enum,在scala里面和java有所不同,来看一个完整的例子定义: object EnumTest { /*** * 定义一个星期的枚举 */ object WeekDay extends Enum 阅读全文
posted @ 2020-12-17 08:53 kpwong 阅读(593) 评论(0) 推荐(0) 编辑
摘要:JAVA由于不支持多继承,故创造了接口这个概念来解决这个问题。而Python本身是支持多继承的,故在Python中,没有接口这种类,只有这个概念而已,只不过Python中的接口实现,是通过多继承实现的。 解决方案 使用 abc 模块可以很轻松的定义抽象基类: from abc import ABCM 阅读全文
posted @ 2020-12-16 17:05 kpwong 阅读(268) 评论(0) 推荐(0) 编辑
摘要:equals比较的是值是否相等 eq比较的是 地址是否相等 ==,如果比较的对象是null,==调用的是eq方法,如果比较的对象不是null,==调用的是equals方法 object ObjectEqualsOps { def main(args: Array[String]): Unit = { 阅读全文
posted @ 2020-12-16 13:08 kpwong 阅读(430) 评论(0) 推荐(0) 编辑
摘要:DEMO: import scala.beans.BeanProperty object classOps { def main(args: Array[String]): Unit = { val person = new Person person.age = 18 person.name = 阅读全文
posted @ 2020-12-15 17:08 kpwong 阅读(280) 评论(0) 推荐(0) 编辑
摘要:DEMO: object FunctionOps { def main(args: Array[String]): Unit = { val sum = add(Array(2,3,4)) println(sum) val sum2 = add(2,3,4,5) println(sum2) val 阅读全文
posted @ 2020-12-15 10:47 kpwong 阅读(215) 评论(0) 推荐(0) 编辑
摘要:代码: package com.kpwong.sideoutput import com.atguigu.window.{SensorReading} import org.apache.flink.streaming.api.functions.ProcessFunction //import o 阅读全文
posted @ 2020-12-08 11:00 kpwong 阅读(1260) 评论(0) 推荐(0) 编辑
摘要:POM 文件 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.2</version> </dependency> <!-- https:/ 阅读全文
posted @ 2020-12-06 15:30 kpwong 阅读(4290) 评论(0) 推荐(0) 编辑
摘要:POM 文件依赖: <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.2</version> </depend 阅读全文
posted @ 2020-12-06 10:32 kpwong 阅读(274) 评论(0) 推荐(0) 编辑
摘要:package com.kpwong.aiptest import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment} import org.apache.flink.api.scala._ im 阅读全文
posted @ 2020-12-05 15:57 kpwong 阅读(666) 评论(0) 推荐(0) 编辑
摘要:进入kafka的安装目录: 1. 查看当前服务器中所有的topic bin/kafka-topics.sh --zookeeper hadoop102:2181 --list 2. 创建topic bin/kafka-topics.sh --zookeeper hadoop102:2181--cre 阅读全文
posted @ 2020-12-05 15:26 kpwong 阅读(223) 评论(0) 推荐(0) 编辑
摘要:POM <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.2</version> </dependency> 阅读全文
posted @ 2020-12-05 15:16 kpwong 阅读(1686) 评论(0) 推荐(0) 编辑
摘要:package com.kpwong.aiptest import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment} import org.apache.flink.api.scala._ ob 阅读全文
posted @ 2020-12-05 14:46 kpwong 阅读(750) 评论(0) 推荐(0) 编辑
摘要:POM 文件。 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.2</version> </dependen 阅读全文
posted @ 2020-12-04 09:55 kpwong 阅读(256) 评论(0) 推荐(0) 编辑
摘要:POM文件 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.2</version> </dependency 阅读全文
posted @ 2020-12-04 09:48 kpwong 阅读(114) 评论(0) 推荐(0) 编辑
摘要:在Flink运行完yarn 模式后,返回运行standalone模式运行时。经常会出现运行不成功情形。是因为运行完Yarn模式后在/tmp目录下会生成一个 .yarn-properties-root隐藏文件。需要把这个隐藏文件删除。程序才能在standalone模式下运行成功. 阅读全文
posted @ 2020-12-01 19:27 kpwong 阅读(321) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示