07 2024 档案
摘要：这周跟着教程重新走了一遍hadoop和hive安装及运行。 验证Hive安装及错误处理1. 启动Hadoopcd /usr/local/hadoopsbin/start-dfs.sh122. 启动hivecd /usr/local/hive1./bin/schematool -dbType mysq
阅读全文
摘要：今天通过hadoop和hive安装测试。 在hadoop初学阶段最麻烦的就是在虚拟机中配置文件环境 首先安装ssh免密码登录sudo apt-get install ssh openssh-server 安装完毕后，在终端中依次进行继以下命令操作 cd ~/.ssh/ 生成密钥 ssh-keyge
阅读全文
摘要：刚开始接触Hadoop，我深感这一大数据处理框架的复杂与强大。Hadoop以其分布式存储和处理海量数据的能力，在业界享有盛誉，成为大数据领域的核心技术之一。 在学习过程中，我首先遇到了Hadoop的架构理解难题。Hadoop采用主从架构，包括HDFS、YARN等核心组件，每个组件都有其独特的功能和相
阅读全文
摘要：数据结构第二阶段综合应用算法训练自选题，我选择的是文件压缩解压。 一、问题描述： 名称：基于哈夫曼编码的文件压缩解压 目的：利用哈夫曼编码压缩存储文件，节省空间 输入：任何格式的文件（压缩）或压缩文件（解压） 输出：压缩文件或解压后的原文件 功能：利用哈夫曼编码压缩解压文件 性能：快速 二、问题的初
阅读全文
摘要：弗洛伊德基本思想弗洛伊德算法作为求最短路径的经典算法，其算法实现相比迪杰斯特拉等算法是非常优雅的，可读性和理解都非常好。 基本思想：弗洛伊德算法定义了两个二维矩阵： 矩阵D记录顶点间的最小路径例如D[0][3]= 10，说明顶点0 到 3 的最短路径为10；矩阵P记录顶点间最小路径中的中转点例如P[
阅读全文
