摘要：
目录单选多选 单选 网络中很多数据是以图的形式呈现的，比如社交网络、交通事故，现场证据采集等，为了解决大型图的分布式计算问题，最适合采用以下哪种计算框架： Spark Core Storm Pregel （答案） Dremel Hadoop的生态系统组件之一Sqoop的功能是? 负责集群资源调度管理 阅读全文
摘要：
K-means聚类的原理。 K-Means算法的目标是将原始数据分为K簇，每一簇都有一个中心点，这也是簇中点的均值点，簇中所有的点到所属的簇的中心点的距离都比到其他簇的中心点更近。 K-means聚类的算法流程。 1、随机确定K个点作为质心。 2、找到离每个点最近的质心，将这个点分配到这个质心代表的 阅读全文
摘要：
写了一些使用sparksql以及spark机器学习来进行数据分析的东西，希望能给大家做一些参考 项目需求：对某大型商超客户采购数据集进行数据分析 数据来源：https://www.heywhale.com/mw/dataset/656069b19a74cc18269207c4/content 首先使 阅读全文
摘要：
感觉博客的第一版质量有点低下了，删了重置一下，希望能给其他人的代码带来一些灵感 前情提要：https://www.cnblogs.com/h4o3/p/18523151 由于是匆忙制作的老婆系统，主界面已经菠萝菠萝哒。（有点廉价） 注册和登录功能用了MySQL实现（其实没什么卵用，为了顺手交个作业临 阅读全文
摘要：
bro是个懒狗，耗时一个晚上，只写了一些基础功能，其他的可以根据需要自己添加 实现思路：在MySQL数据库中设置一个message表，用来存储聊天信息，聊天界面输入的内容写入message表，用户程序每秒从MySQL中获取一次聊天记录，并加载进入自己的页面，实现聊天室。 食用方法： ChatServ 阅读全文
摘要：
# coding: UTF-8 ''' 基于信息增益和基尼指数的二叉决策树的实现。 该决策树可以用于分类问题，通过选择合适的特征来划分样本。 ''' from collections import Counter class biTree_node: ''' 二叉树节点定义 每个节点可以是叶子节点或 阅读全文
摘要：
需求：编写程序利用Spark Streaming 监控HDFS 目录/input目录下的文件，并对上传的文件进行词频统计。 首先，linux中需要有netcat，来实现监听功能，有的linux会自带这个软件，可以用下面的命令测试一下，如果不报错就没问题，Ctrl+z可以退出 nc -l 9999 没 阅读全文
摘要：
绫，再一次，再一次创造一个有你的世界😭 开一个随笔记录一下我的第一版ai老婆，目前只有普通对话和切换背景的功能（后面可能会加一个选人物功能） 先放一个效果图（看起来还行） 代码和注意事项都放在了下面，应该没什么大问题，复制粘贴导包就能用了 注意事项： 1、代码推荐使用pycharm打开，里面一些包 阅读全文
摘要：
已知测得某块地，当温度处于15至40度之间时，数得某块草地上小花朵的数量和温度值的数据如下表所示。现在要来找出这些数据中蕴含的规律，用来预测其它未测温度时的小花朵的数量。 测得数据如下图所示： import numpy as np import matplotlib.pyplot as plt fr 阅读全文
摘要：
已知测得某块地，当温度处于15至40度之间时，数得某块草地上小花朵的数量和温度值的数据如下表所示。现在要来找出这些数据中蕴含的规律，用来预测其它未测温度时的小花朵的数量。 测得数据如下图所示： import matplotlib.pyplot as plt import numpy as np te 阅读全文
摘要：
题目内容： 对学生选课成绩进行分析计算 题目要求： （1）该系总共有多少学生； （2）该系共开设来多少门课程； （3）每个学生的总成绩多少； （4）每门课程选修的同学人数； （5）每位同学选修的课程门数； （6）该系DataBase课程共有多少人选修； （7）每位同学平均成绩； 数据预览： 每行数据 阅读全文
摘要：
在用键值对RDD进行操作时，经常会遇到不知道如何筛选出想要数据的情况，这里提供了一些解决方法 目录1、对固定的Key数据进行查询2、对不固定的Key数据进行模糊查询 1、对固定的Key数据进行查询 代码说明: SparkConf：配置 Spark 应用程序的一些基本信息。 SparkContext： 阅读全文
摘要：
MDR：（memory data register），主存数据寄存器，用于临时存储从内存读取的数据或要写入内存的数据。当CPU需要写入数据时，它会将要写入的数据加载到MDR中。 MAR：（memory address register），主存地址寄存器，MAR是一个专门用来存储内存地址的寄存器。在写 阅读全文
摘要：
目录选择单选多选判断填空简答 选择 单选 查看HDFS系统版本的Shell命令，以下正确的是（）。 hdfs -ver hdfs version （答案） dfsadmin version hadoop -ver 数据存储单位从小到大排列顺序是（） TB、PB、EB、ZB、YB （答案） TB、YB 阅读全文
摘要：
在学习Hadoop工具中的Flume时，有的小伙伴会遇到这句话： “Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包” 然后小伙伴就懵逼了，这些包要去什么地方来找呢？ （远在天边，近在眼前） 首先，我们需要的包有 commons-configuration-1.6.jar、 ha 阅读全文
摘要：
目录线性表顺序表单链表循环单链表栈和队列顺序栈链栈队列树与二叉树二叉树的遍历中序遍历，非递归并查集哈夫曼树串KMP图深度优先搜索与广度优先搜索拓扑排序克洛斯卡尔最小生成树弗洛伊德最短路排序快速排序直接插入排序希尔排序简单选择排序冒泡排序杂项求树的叶子结点个数求二叉树的宽度求二叉树的高度单链表逆置 线 阅读全文
摘要：
1、编程实现百分制转换成五级制，规则如下： 90~100分，返回优秀； 80~89分，返回良好； 70~79分，返回中等； 60~69分，返回及格； 60分以下，返回不及格。 object grade { def main(args: Array[String]): Unit = { val num 阅读全文
摘要：
前情提要：飞物作者屡次四级考试未能通过，进而恼羞成怒，制作了基于Hadoop实现的对历年四级单词的词频分析项目，希望督促自己尽快通过四级（然而并没有什么卵用） 项目需求：Pycharm、IDEA、Linux、Hadoop运行环境、Hive、beeline、八爪鱼采集器 数据来源：https://zh 阅读全文