摘要:
(1)从 scikit-learn 库中加载 iris 数据集,使用留出法留出 1/3 的样本作为测试集(注 意同分布取样); (2)使用训练集训练朴素贝叶斯分类算法; (3)使用五折交叉验证对模型性能(准确度、精度、召回率和 F1 值)进行评估和选 择; (4)使用测试集,测试模型的性能,对测试结 阅读全文
摘要:
学习了数据库设计的基本步骤,包括需求分析、概念设计(绘制 ER 图)、逻辑设计(将 ER 图转换为关系模式)和物理设计(确定数据库的存储结构和索引策略)。通过一个小型项目的数据库设计案例,实践了整个数据库设计流程,深刻体会到了合理的数据库设计对于软件系统性能和数据完整性的重要性。同时,深入学习了 S 阅读全文
摘要:
关注 Hadoop 社区的发展动态,学习 Hadoop 的最新特性和版本更新内容。了解到新版本中在性能优化、资源管理、安全增强和易用性方面的改进,如更高效的存储格式、智能的资源调度算法和简化的配置管理工具等。通过研究新版本的文档和示例代码,尝试将一些新特性应用到实际的 Hadoop 项目中,体验到了 阅读全文
摘要:
1.实验目的 Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。 2.实验平台 (1)操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04); (2)Hadoop版 阅读全文
摘要:
假设有一个二分类的数据集,共含有100个样本,其中正例和负例的比例是1:1,使用某分类模型采用五折交叉验证实验三次,子集与原数据集独立同分布,结果如下。 表 1. 五折交叉验证正例分类结果统计 D1为测试集 D2为测试集 D3为测试集 D4为测试集 D5为测试集 第一次 9/2 8/3 9/2 7/ 阅读全文
摘要:
1.实验目的 (1)理解Hive作为数据仓库在Hadoop体系结构中的角色。 (2)熟练使用常用的HiveQL。 2.实验平台 操作系统:Ubuntu18.04(或Ubuntu16.04)。 Hadoop版本:3.1.3。 Hive版本:3.1.2。 JDK版本:1.8。 3.数据集 由《Hive编 阅读全文
摘要:
1.实验目的 (1)理解四种数据库(MySQL、HBase、Redis和MongoDB)的概念以及不同点; (2)熟练使用四种数据库操作常用的Shell命令; (3)熟悉四种数据库操作常用的Java API。 2.实验平台 (1)操作系统:Linux(建议Ubuntu16.04或Ubuntu18.0 阅读全文
摘要:
Hadoop 的核心编程模型 ——MapReduce。花费大量时间剖析 Map 和 Reduce 函数的运行机制,看似简单的两个阶段,却蕴含着数据处理的巧妙逻辑。通过编写经典的单词计数程序,逐步理解了数据在各个节点上的流动和转换过程。在调试代码时,遭遇了数据类型不匹配和分区不合理的问题,经过仔细排查 阅读全文
摘要:
深知性能优化在大数据处理中的重要性,于是专注于提升 MapReduce 程序的效率。对之前的单词计数代码进行 “手术”,从调整 map 和 reduce 任务的数量,到优化数据的输入输出格式,再到合理设置内存和 CPU 资源分配。每一次修改都需要仔细分析其对整体性能的影响,经过多次试验和对比,最终显 阅读全文
摘要:
MES系统学习理解: mes系统的全称叫Manufacturing Execution System 有不同的车间,每个车间里有不同的班组,每个班组有员工,员工与员工之间有不同的工序 mes系统就是为了实时监控生产工序的数据 以及工序交接的时候数据的流转 监控这些数据是为了有利于企业的利益核算 因为 阅读全文