在Linux系统中通过 vim 进行文本替换 本文转自：https://www.cnblogs.com/wind-wang/p/5768000.html 在vim中，可以通过:set nu或:set number的命令来显示文本的行号 在VIM中进行文本替换： 1. 替换当前行中的内容： :s/fr Read More
前言 PostgreSQL官方文档：http://www.postgres.cn/docs/11/functions-comparison.html 今天在预览PostgreSQL文档的时候看到了这个功能，平时写SQL都是a is [not] null来进行判断的，第一次见到可以这样，觉得挺新奇的就 Read More
背景 从ScalaSpark代码转PySpark代码，同时实现连续读多个文件，避免因某些路径不存在导致程序终止。 在Scala的Spark中可以直接导下面两个模块的包 import org.apache.hadoop.conf.Configuration import org.apache.hado Read More
Kafka实操命令 kafka版本：scala2.11，kafka1.1.0 kafka_2.11-1.1.0.jar Kafka命令行操作 1）查看当前服务器中的所有topic kafka-topics.sh --zookeeper hadoop111:2181/kafka --list 2）创建 Read More
Yarn是一个资源管理器和任务调度器，如果你的大数据集群是用的Yarn来管理的，那下面有几个比较常用的命令。 查看任务列表 yarn application -list 该命令是查看在所有Yarn上运行的任务信息，一般包括：Application-Id、Application-Name、Applic Read More
众所周知，RDD只会保留血缘关系，不存储计算结果。如果想要让计算结果持久化存储，那就要引入cache和persist方法。 提前感受变化 禁用持久化 package com.pzb.rdd.persist import org.apache.spark.rdd.RDD import org.apac Read More
介绍 val fileRDD: RDD[String] = sc.textFile("input/1.txt") println(fileRDD.toDebugString) println(" ") val wordRDD: RDD[String] = fileRDD.flatMap(_.spli Read More
Spark的算子分为两大类：transform（转换算子）和action（行动算子） transform算子：map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、r Read More
题目需求 根据用户登录明细表（user_login_detail），求出平台同时在线最多的人数。 结果如下： | cn | | : : | | 7 | 需要用到的表： 用户登录明细表：user_login_detail | user_id(用户id) | ip_address(ip地址) | log Read More