祝各位道友念头通达
GitHub Gitee 语雀 打赏
摘要: 参考文档:https://files.cnblogs.com/files/han-guang-xue/spark1.pdf 参考网址:https://www.cnblogs.com/wangrd/p/6232826.html 对于spark个人理解: spark与mapreduce最大不同之处:sp 阅读全文
posted @ 2018-11-29 08:52 韩若明瞳 阅读(11280) 评论(1) 推荐(0) 编辑
摘要: spark.read.textFile和sc.textFile的区别 val rdd1 = spark.read.textFile("hdfs://han02:9000/words.txt") //读取到的是一个RDD对象 val rdd2 = sc.textFile("hdfs://han02:9 阅读全文
posted @ 2018-11-28 19:38 韩若明瞳 阅读(3258) 评论(0) 推荐(0) 编辑
摘要: RDD:(spark进行计算的基本单位(弹性分布式数据集)) 1.获取RDD 加载文件获取 val = rdd = sc.texFile() 通过并行化获取 val rdd = rdd1 = sc.parallelize() 2.有关rdd常用方法 3. 转换(Transformation): 动作 阅读全文
posted @ 2018-11-28 11:12 韩若明瞳 阅读(479) 评论(0) 推荐(0) 编辑
摘要: 1.jdk环境 2.scala安装和环境配置 3.spark 配置spark-env.sh 4.配置slaves(worker坐在的机器) 5.避免与hadoop启动命令冲突 修改.sh 6.jdk 将配置 拷贝到其他两个机器 刷新环境变量: source /etc/profile 7.启动spar 阅读全文
posted @ 2018-11-27 16:04 韩若明瞳 阅读(250) 评论(0) 推荐(0) 编辑
摘要: 隐式转化 边写边译模式中: 如果下面这句代码,就会报错,下面这个代码就起到了隐式转换的作用, 泛型的使用 边写边译模式中: 其中%起到了隐式转化的作用 本来代码是这样的: 但是发现这里会报错,原因是Comparable给泛型一个上限类,所在类需要继承Comparable, 但是scala中Int没有 阅读全文
posted @ 2018-11-27 15:15 韩若明瞳 阅读(448) 评论(0) 推荐(0) 编辑
摘要: 1>Ordered >Ordering(这里通过需要将写在伴生对象里,必须用参数接收,必须用implicit关键字修饰,也可采用第二种方法写) 第二种方案:(同样在伴生对象里) 阅读全文
posted @ 2018-11-26 15:18 韩若明瞳 阅读(276) 评论(0) 推荐(0) 编辑
摘要: 模板下载地址:https://files.cnblogs.com/files/han-guang-xue/%E5%88%86%E9%A1%B5%E6%A8%A1%E6%9D%BF.zip jquery代码 jsp代码: 后台代码: 阅读全文
posted @ 2018-11-23 20:43 韩若明瞳 阅读(855) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-11-23 09:55 韩若明瞳 阅读(322) 评论(0) 推荐(0) 编辑
摘要: 话不多说上代码 jsp页面: <form id="addForm" enctype="multipart/form-data"> <input type="hidden" name="uId"> <div class="form-group"> <label class="control-label 阅读全文
posted @ 2018-11-20 12:09 韩若明瞳 阅读(8593) 评论(6) 推荐(1) 编辑
摘要: 解决方案: 阅读全文
posted @ 2018-11-19 17:27 韩若明瞳 阅读(281) 评论(0) 推荐(0) 编辑