摘要:
# 服务器Ubuntu Server 22.04安装低版本MySQL5.7 最近在腾讯云买了个服务器准备部署我的Django项目,由于需要保证服务器和本地开发的环境相同,所以要在Ubuntu 22.04安装一个与本地Windows版本相同的MySQL5.7.36 ## 第一个问题 首次安装我尝试使用 阅读全文
摘要:
前端模板 - Anchor UI KIT 前言 今天介绍一款制作精良、开源、免费的 Bootstrap 模板 —— Anchor UI KIT 该模板使用的是Bootstrap v4版本 本文将介绍如何在Django中导入该模板的静态资源包并使用 介绍 官方文档 Anchor - a free Bo 阅读全文
摘要:
首先说明简易版是只有一个 倒计时 和一个 进度条,页面加载后自动开始计时,下次计时需要手动刷新页面。 后续会更新实现完整的倒计时功能的文章 前期准备 前端框架 你需要准备一些前端框架:Bootstrap4 和 jQuery 安装方法请自行查阅官方文档或教程 Bootstrap4:https://v4 阅读全文
摘要:
1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 SparkSQL出现的原因: 关系数据库已经很流行 关系数据库在大数据时代已经不能满足要求 首先,用户需要从不同数据源执行各种操作,包括结构化、半结构化和非结构化数据 其次,用户需要执行高级分析,比如机器学习和图像处理 在实际 阅读全文
摘要:
一、什么是 Docker Compose Compose 是 Docker 官方的开源项目,负责实现Docker容器集群的快速编排,开源代码在 https://github.com/docker/compose 上。 我们知道使用 Dockerfile 模板文件可以让用户很方便的定义一个单独的应用容 阅读全文
摘要:
一、集合运算练习 union(), intersection(),subtract(), cartesian() rdd1 = sc.parallelize('abcd') rdd2 = sc.parallelize('bcde') rdd1.union(rdd2).collect() rdd1.s 阅读全文
摘要:
一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD >>> lines = sc.textFile("hdfs://localhost:9000/user/hadoop/my.txt") >>> lines 分词 words = lines.flatM 阅读全文
摘要:
一、 RDD创建 从本地文件系统中加载数据创建RDD sc:SparkContext(shell自动创建) 本地文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD 该方法把文件的URI作为参数,这个URI可以是: 本地文件系统的地址 或者是分布式文件 阅读全文
摘要:
一、机器准备 首先准备三台机器: 我是一台WINDOWS系统主机,在WINDOWS里的 VMware 中安装两台Ubuntu系统虚拟机 如果你的虚拟机只有 CentOS,可以参考这篇文章:https://www.cnblogs.com/qwg-/p/13237210.html VMware 中如何克 阅读全文
摘要:
1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态系统主要包含Spark Core、Spark SQL、Spark Streaming、MLib、GraphX以及独立调度器,下面对上述组件进行一一介绍。 (1)Spark 阅读全文