摘要：
1. 使用 drop_duplicates 去重 1.1 初始化数据 df = pd.DataFrame({'stu_name': ['Tom', 'Tony', 'Jack', 'Jack', np.nan], 'stu_age': [16, 16, 15, np.nan, 21]}) stu_n 阅读全文
摘要：
释义 aggregateByKey逻辑类似 aggregate，但 aggregateByKey针对的是PairRDD，即键值对 RDD，所以返回结果也是 PairRDD，结果形式为：(各个Key, 同样Key对应的Value聚合后的值) aggregateByKey先将每个partition内元素 阅读全文
摘要：
释义 将每个partition内元素进行聚合，然后将每个partition的聚合结果进行combine，得到最终聚合结果。最终结果允许跟原始RDD类型不同 方法签名如下： def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, com 阅读全文
摘要：
Scala版 import org.apache.spark.{SparkConf, SparkContext} object WordCountScala { def main(args: Array[String]): Unit = { val conf: SparkConf = new Spa 阅读全文
摘要：
Scala是函数式编程语言，因此没有直接的break与continue关键字，要实现break与continue效果，需要绕一下。 需要导入包： import util.control.Breaks.{break, breakable} 实现break breakable { for (i <- 0 阅读全文
摘要：
1. 利用date命令重定向到以当前时间命名的文件 例如： ls -l > mylog_$(date +"%Y-%m-%d_%H-%M-%S").log 或： ls -l > mylog_`date +"%Y-%m-%d_%H-%M-%S"`.log 2. 配合Crontab实现定时日志 例如：每5 阅读全文
摘要：
1. 记住网卡名称 ifconfig 2. 记住网关地址 netstat -rn 3. 配置静态IP 注意：Ubuntu18固定IP的方式跟Ubuntu18之前版本的的配置方式不同， Ubuntu18之前在/etc/network/interfaces进行配置， Ubuntu18及之后版本在/etc 阅读全文
摘要：
1. VMware：编辑 → 虚拟网络编辑器 → 更改设置 2. 取消选中：使用本地DHCP服务将IP地址分配给虚拟机，并记住子网ip 3. 点击NAT设置，记住网关地址 正常情况下VMware的网关IP是以 192.168.x.2结尾的，因为 x.1是绑定在物理机的虚拟网卡上的，而 x.2是用于转 阅读全文
摘要：
1.更新mysql.user表 use mysql UPDATE user SET authentication_string = password('新密码') where user = 'root'; FLUSH PRIVILEGES; Tip：有些情况下需要顺带修改plugin认证方式，可用以 阅读全文
摘要：
Ubuntu 方式1： ① 停止MySQL服务 sudo service mysql stop ② 修改MySQL配置文件 sudo vim /etc/mysql/my.cnf 在 [mysqld] 下增加 skip-grant-tables 保存退出 ③ 启动MySQL服务 sudo servic 阅读全文