看风雪喧嚷，听星月白驹。

07 2022 档案

摘要：

用以解决由于公网IP改变，导致Openwrt拨号无法上网的问题。以下仅供参考首先，确认WAN口名称为"WAN" 1.可能会用到的命令重启设备 /sbin/reboot 重启WiFi /sbin/wifi down && /sbin/wifi/up 重启所有网络 /etc/init.d/netwo 阅读全文

posted @ 2022-07-10 17:28 Unknown尚可阅读(6231) 评论(0) 推荐(0) 编辑

Spark快速上手(7)Scala使用 JUnit4 单元测试

摘要：

备忘 ####导入依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>compile</scope> </dependency> ####使用例阅读全文

posted @ 2022-07-09 08:28 Unknown尚可阅读(123) 评论(0) 推荐(0) 编辑

Spark快速上手(6)Spark核心编程-RDD行动算子Action

摘要：

RDD(3) RDD行动算子所谓行动算子，就是触发Job执行的方法 reduce 函数签名 def reduce(f: (T, T) => T): T 函数说明聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据 e.g. code: def main(args: Array[String 阅读全文

posted @ 2022-07-08 07:53 Unknown尚可阅读(75) 评论(0) 推荐(0) 编辑

Spark快速上手(5)Spark核心编程-RDD转换算子案例实操

摘要：

RDD转换算子案例实操 ###数据准备 agent.log：时间戳，省份，城市，用户，广告【中间字段使用空格分隔】数据集，提取码：Unsk 1516609143867 6 7 64 16 1516609143869 9 4 75 18 1516609143869 1 7 87 12 1516609 阅读全文

posted @ 2022-07-07 14:39 Unknown尚可阅读(135) 评论(0) 推荐(0) 编辑

Spark快速上手(4)Spark核心编程-Spark分区器(Partitioner)@(RDD-K_V)

摘要：

###@Spark分区器(Partitioner) ####HashPartitioner（默认的分区器） HashPartitioner分区原理是对于给定的key，计算其hashCode，并除以分区的个数取余，如果余数小于0，则余数+分区的个数，最后返回的值就是这个key所属的分区ID，当key为阅读全文

posted @ 2022-07-04 17:25 Unknown尚可阅读(153) 评论(0) 推荐(0) 编辑

Spark快速上手(3)Spark核心编程-RDD转换算子Transform

摘要：

#RDD(2) ##RDD转换算子 RDD根据数据处理方式的不同将算子整体上分为Value类型、双Value类型、Key-Value类型 ###value类型 ####map 函数签名 def map[U:ClassTag](f:T=>U):RDD[U] 函数说明将处理的数据逐条进行映射转换，这里阅读全文

posted @ 2022-07-01 19:08 Unknown尚可阅读(139) 评论(0) 推荐(0) 编辑

Spark快速上手(2)Spark核心编程-RDD简介

摘要：Spark计算框架为适应高并发和高吞吐的数据处理需求，封装了三大数据结构，以处理不同应用： 1）RDD:弹性分布式数据集 2）累加器：分布式共享只写变量 3）广播变量：分布式共享只读变量 ##RDD(1) ###什么是RDD RDD(Resilient Distributed Dataset)弹性分阅读全文

posted @ 2022-07-01 10:10 Unknown尚可阅读(191) 评论(0) 推荐(0) 编辑