07 2021 档案
摘要：解决：k8s init出现Warning：detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". 执行kubeadm init集群初始化时遇到： [WARNING IsDockerSy
阅读全文
摘要：今天做大数据实验，忽然发现CPU使用率，MEMORY使用率突然变得极其不正常，CPU使用率竟然达到了100%。因为解决问题时忘记截图，下面有些图是从网上找的，我会在下面贴出链接。 1、使用top ，找到相关进程 top 2.查找进程相关信息（进程目录，相关联的其它进程）,这里的14538是top后查
阅读全文
摘要：前几天安装了Hadoop集群，还没有安装的参考：搭建集群hadoop - wanpi - 博客园 (cnblogs.com) 下载 官网下载链接：http://spark.apache.org/downloads.html 注意：可以选择hadoop,spark配套的安装包，如果之前安装过Hadoo
阅读全文
摘要：最近在使用虚拟机时出现网络不能用的情况，在网上搜了一遍，大部分都是要说使用NAT模式，然后吧啦吧啦一大堆，但是并没有解决我的问题。过几天后，偶然间看到一篇博客，我就试了一下，结果竟然解决了，很是开心。在此记录一下，希望可以帮到有同样问题的小伙伴们！ hadoop@master:~$ sudo ser
阅读全文
摘要：实例：分组TopN 有50W个店铺，每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志，访问日志存储的表名为Visit，访客的用户id为user_id，被访问的店铺名称为shop。 数据集：topn.csv user_id,shop u1,a u2,b u1,b u1,a u3,c u
阅读全文
摘要：需求： 统计每个用户的累计访问次数。 要求使用SQL统计出每个用户的累积访问次数，如下表所示： | 用户id | 月份 | 小计 | 累积 | | : | : | : | : | | u01 | 2021-01 | 11 | 11 | | u01 | 2021-02 | 12 | 23 | | u0
阅读全文
摘要：over窗口函数的应用参见我上一篇博客：https://www.cnblogs.com/wanpi/p/14969000.html rows between函数： SQL语句中的rows between unbounded preceding and unbounded following ，其中：
阅读全文
摘要：一、over（窗口函数） 指的是对多行数据进行处理返回普通列和聚合列的过程 详细语法： 窗口函数sql语法：窗口函数名（）over (partition by 划分窗口字段 order by 窗口内的排序规则 rows between (start,end)) 窗口函数分类： 聚合窗口函数 aggr
阅读全文
摘要：Spark SQL 是Spark的核心模块，主要用以对结构化的数据（流数据&批数据）进行处理。Spark SQL依然是建立在RDD之上的ETL工具（数据源到数据仓库的一系列处理过程）。 学习官网：http://spark.apache.org/docs/latest/sql-programming-
阅读全文
