摘要：
1 阅读全文
摘要：
1. Hive中可以使用类MySQL的SQL语法完成基本的库、表、插入、查询等操作 2. 通过YARN控制台可以看到，Hive是将SQL翻译成MapReduce程序运行在YARN中 3. Hive中创建的库和表的数据，存储在HDFS中，默认存放在：hdfs://node1:8020/user/hiv 阅读全文
摘要：
部署Hive的主要流程： 1.部署MySQL数据库，并配置root账户密码 下载Hive上传并解压和设置软链接 2.下载MySQL 驱动jar包放入Hive的lib目录内 修改配置文件（hive-env.sh和hive-site.xml） 3.初始化元数据库（bin/schematool -init 阅读全文
摘要：
本周在学习Hadoop的过程中，我深入了解了分布式文件系统（HDFS）的原理和操作，并开始接触和使用MapReduce框架进行数据处理和分析。以下是我这周的学习和实践总结： 理论学习与实践应用 在分布式文件系统（HDFS）的学习中，我掌握了其设计理念、架构和工作原理。HDFS通过将大文件分割成多个块 阅读全文
摘要：
一、上传hadoop安装包到hdp-01集群任一节点(master) tar -zxvf 软件包 -C 指定安装文件夹 二、修改配置文件 1.指定Hadoop的默认文件系统为hdfs 2.指定hdfs的namenode节点为哪台机器 3.指定namenode软件存储元数据的本地目录 4.指定data 阅读全文
摘要：
hadoop的概念还没有完全了解完全，但是它的核心是处理和存储大数据，需要在虚拟机上面进行系统的测试 阅读全文
摘要：
1、执行yum命令报404错误1）检查yum仓库是否配置正确，可以到阿里云下载repo配置文件。 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo2）如果报错中包含$relea 阅读全文
摘要：
Hadoop是一种用于存储和处理大数据的开源软件框架，它采用分布式文件系统和MapReduce编程模型，可以有效地处理海量数据。在学习Hadoop的过程中，我掌握了许多重要的知识和技能，以下是我的Hadoop学习总结： 首先，我学会了Hadoop的核心概念和架构。Hadoop由HDFS（分布式文件系 阅读全文
摘要：
这一周学习了hadoop，上午上小学期，下午上hadoop，我先了解了学习hadoop的作用以及必要性，学习Hadoop是进入大数据领域的重要一步。Hadoop作为一个开源的分布式存储和计算框架，其强大的数据处理能力和可靠性使其在大数据处理中得到广泛应用。 首先，Hadoop的核心组件包括HDFS和 阅读全文
摘要：
穿梭于《梦断代码》的字里行间，仿若踏入了一段交织着雄心与遗憾的数字之旅。这不仅是一册软件发展史的沉甸甸记录，更是对科技乌托邦梦想碎裂后残骸的一次温柔拾掇。它不吝笔墨地描绘了一个个宏大构想如何从繁星点点的愿景坠落至现实的尘埃，每一场挫败，都是对“理想丰满，现实骨感”这一铁律的生动注解。 书中尤为引人瞩 阅读全文