摘要: 在完成数据上传后,在工作表界面点击右上角的新建图表,选择要上传的文件夹与仪表盘,即可进入图表编辑界面 从字段菜单将“球员”字段用鼠标拖入维度,将“三分命中率”“罚球命中率”拖入数值。在右侧图表类型菜单中选择双轴图,即可呈现图中的效果 至此,一个可视化视图已经完成。通过此统计图,我们可以直观的看到每个 阅读全文
posted @ 2023-02-18 22:23 来杯明前奶绿 阅读(638) 评论(0) 推荐(0) 编辑
摘要: 创建仪表盘成功后,选择最上面菜单栏的左侧数据源,进入数据源界面后点击立即添加,进入数据源选择界面 在页面中选择Excel上传,点击上传文件,即可进入本地文件选择界面。这里我们选择《 NBA2011-2012季后赛球员数据统计.csv 》进行上传 本次csv文件是以逗号为分隔符,所以我们在下面弹出的菜 阅读全文
posted @ 2023-02-18 22:19 来杯明前奶绿 阅读(61) 评论(0) 推荐(0) 编辑
摘要: 市面上的大数据可视化工具有很多,比如tableau、魔镜、BDP等,本次使用BDP进行数据分析,BDP是在网页上运行,具有轻便、快捷、实用等优点。 进入网址 https://me.bdp.cn 或百度搜索BDP个人版,进入BDP首页 点击右上角的登录,通过注册的账号登陆后,即可进入BDP首页,在页面 阅读全文
posted @ 2023-02-18 22:16 来杯明前奶绿 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 我们采用 hive 数据仓库,把上面用 Spark 清洗完成的数据进行数据的存储与分析。 3.4.1 Hive的启动与数据上传 首先在 Linux 终端界面任意目录下输入 hive shell 进入 hive shell 界面 进入 shell 成功后,通过 create database test 阅读全文
posted @ 2023-02-18 22:13 来杯明前奶绿 阅读(51) 评论(0) 推荐(0) 编辑
摘要: 3.3.1 在Eclipse创建代码文件 在项目上右键==>New==>Scala Object,进入spark文件的创建菜单 设置包名.类名后点击Finish创建成功 3.3.2 代码文件书写与运行 完整代码 clean.scala 如下: package com import org.apach 阅读全文
posted @ 2023-02-18 22:09 来杯明前奶绿 阅读(122) 评论(0) 推荐(0) 编辑
摘要: 3.2.1 环境安装 本次项目使用Spark进行数据清洗,首先需要安装Scala环境。下载解压后,修改 ~/.bashrc文件,把Scala添加到系统环境变量中。 3.2.2 环境运行 在启动Spark之前,首先要启动Hadoop。进入Hadoop目录后,在sbin下运行./~bashrc启动 然后 阅读全文
posted @ 2023-02-18 21:59 来杯明前奶绿 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 本次数据分析在Hadoop大数据平台的基础上,导入外部数据,使用Spark进行数据清洗,使用Hive进行数据存储,同时使用Tableau进行可视化展示。本次使用数据为《NBA2011-2012季后赛球员数据统计》 因初始数据为 .xlsx 格式,为了兼容性着想,首先需要把文件转换为csv格式,使其在 阅读全文
posted @ 2023-02-18 21:55 来杯明前奶绿 阅读(56) 评论(0) 推荐(0) 编辑
摘要: 搭建Hadoop,搭建完成后用jps查看服务启动情况 安装Hadoop完成后可在图形界面看到以下效果,环境运行信息 在集群节点中/usr/hdp/2.4.3.0-227/hasoop-mapreduce/目录下,存在一个案例JAR包hadoop-mapreduce-examples.Jar。运行JA 阅读全文
posted @ 2023-02-18 21:50 来杯明前奶绿 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 查看容器运行状态 在server节点使用netsta命令查看仓库监听端口号 在server节点,使用inspect查看rancher/server的卷组信息 查看容器rancher server进程信息 在server节点通过docker命令查询docker registry容器最后5条日志 阅读全文
posted @ 2023-02-18 21:48 来杯明前奶绿 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 使用rabbitmqctl创建用户xiandian-admin,密码为admin。然后查看所有用户信息 查看Nova创建云主机类型 修改云平台中默认每个租户的实例注入文件配额大小: 查看MySQL系统时间 查看MySQL的默认引擎信息 阅读全文
posted @ 2023-02-18 21:46 来杯明前奶绿 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 1.4.1 基础配置 进行网络配置,修改主机名,使用hostnamectl set-hostname master ;hostnamectl set-hostname slave修改两台主机名,配置文件/etc/hosts文件修改映射(如图hosts-bigdata) 在master节点上,将Xia 阅读全文
posted @ 2023-02-18 21:39 来杯明前奶绿 阅读(50) 评论(0) 推荐(0) 编辑
摘要: 1.3.1 基础配置 进行网络配置,修改主机名,使用hostnamectl set-hostname server ;hostnamectl set-hostname client修改两台主机名,配置文件/etc/hosts文件修改映射进入/etc/sysconfig/selinux关闭selinu 阅读全文
posted @ 2023-02-18 21:27 来杯明前奶绿 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1.2.1 基础配置 Compute分区划分,划分cinder和swift分区,使用如下命令:parted/dev/md126进入分区 p 查看分区 mkpart swift 3224G 3324G swift分区划分 mkpart cinder 3324G 3424G cinder分区划分(如图分 阅读全文
posted @ 2023-02-18 21:21 来杯明前奶绿 阅读(312) 评论(0) 推荐(0) 编辑
摘要: 云计算是硬件资源的虚拟化,相当于我们的计算机和操作系统,将大量的硬件资源虚拟化后再进行分配使用。云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话:“动一下鼠标就可以操作PB级别的数据”。 本项目模拟云平台需要两 阅读全文
posted @ 2023-02-18 21:01 来杯明前奶绿 阅读(118) 评论(0) 推荐(0) 编辑