stu(dying)'s Blog

摘要： # 服务器Ubuntu Server 22.04安装低版本MySQL5.7 最近在腾讯云买了个服务器准备部署我的Django项目，由于需要保证服务器和本地开发的环境相同，所以要在Ubuntu 22.04安装一个与本地Windows版本相同的MySQL5.7.36 ## 第一个问题 首次安装我尝试使用 阅读全文

摘要： 前端模板 - Anchor UI KIT 前言 今天介绍一款制作精良、开源、免费的 Bootstrap 模板 —— Anchor UI KIT 该模板使用的是Bootstrap v4版本 本文将介绍如何在Django中导入该模板的静态资源包并使用 介绍 官方文档 Anchor - a free Bo 阅读全文

摘要： 首先说明简易版是只有一个 倒计时 和一个 进度条，页面加载后自动开始计时，下次计时需要手动刷新页面。 后续会更新实现完整的倒计时功能的文章 前期准备 前端框架 你需要准备一些前端框架：Bootstrap4 和 jQuery 安装方法请自行查阅官方文档或教程 Bootstrap4：https://v4 阅读全文

摘要： 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现的原因： 关系数据库已经很流行 关系数据库在大数据时代已经不能满足要求 首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据 其次，用户需要执行高级分析，比如机器学习和图像处理 在实际 阅读全文

摘要： 一、什么是 Docker Compose Compose 是 Docker 官方的开源项目，负责实现Docker容器集群的快速编排，开源代码在 https://github.com/docker/compose 上。 我们知道使用 Dockerfile 模板文件可以让用户很方便的定义一个单独的应用容 阅读全文

摘要： 一、集合运算练习 union()， intersection()，subtract(), cartesian() rdd1 = sc.parallelize('abcd') rdd2 = sc.parallelize('bcde') rdd1.union(rdd2).collect() rdd1.s 阅读全文

摘要： 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD >>> lines = sc.textFile("hdfs://localhost:9000/user/hadoop/my.txt") >>> lines 分词 words = lines.flatM 阅读全文

摘要： 一、 RDD创建 从本地文件系统中加载数据创建RDD sc：SparkContext（shell自动创建） 本地文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD 该方法把文件的URI作为参数，这个URI可以是： 本地文件系统的地址 或者是分布式文件 阅读全文

摘要： 一、机器准备 首先准备三台机器： 我是一台WINDOWS系统主机，在WINDOWS里的 VMware 中安装两台Ubuntu系统虚拟机 如果你的虚拟机只有 CentOS，可以参考这篇文章：https://www.cnblogs.com/qwg-/p/13237210.html VMware 中如何克 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态系统主要包含Spark Core、Spark SQL、Spark Streaming、MLib、GraphX以及独立调度器，下面对上述组件进行一一介绍。 （1）Spark 阅读全文