07 2024 档案
第七周总结
摘要：本周我着眼于大数据技术的未来发展趋势。随着技术的进步，Hadoop生态系统也在不断发展和完善。新的工具和技术不断涌现，例如Apache Flink、Apache Kafka等，它们提供了更高效的数据处理能力。此外，机器学习和人工智能的发展也对大数据技术产生了深远影响。越来越多的企业开始利用大数据技术
阅读全文
第八周总结
摘要：这周，我开始了对Hadoop的学习之旅。Hadoop是一个开源软件框架，用于分布式存储和处理大型数据集，它以一种可靠、可扩展且高效的方式工作。起初，我对它的了解仅仅停留在这是一个能够处理大数据的工具上，但随着深入学习，我发现它远不止如此。 周一的时候，我首先从理解Hadoop的基本概念开始，包括它的
阅读全文
Could not find artifact jdk.tools:jdk.tools:jar:1.7 at specified path D:/develop/openjdk-22.0.2/../lib/tools.jar 怎么解决
摘要：更换更高版本的hive和hadoop，然后重新加载pom.xml
阅读全文
springboot连接hive无法启动
摘要：<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc
阅读全文
vue快捷开发（组件的使用）
摘要：可以写一个主界面的view，在左侧侧边栏加一个导航栏，通过导航栏的按钮点击来切换不同的界面， 组件的使用小细节 (1)在view代码中 ①在导航栏上面加上按钮，点击按钮实现组件的展示（此处的showContent就是在界面右侧展示出组件） ②在script中导入不同的内容组件 注意组件的导入方式 ③
阅读全文
学习hadoop
摘要：1. 理解Hadoop的基本概念 在开始学习之前，首先要理解Hadoop的核心概念。Hadoop主要由两个部分组成：HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一个分布式文件系统，它将大型数据集分散存储在多个机器上。MapReduce是一种
阅读全文
第三周总结
摘要：本周我专注于深入理解Hadoop的架构及其实现大规模数据处理的核心机制。开始于周一，我通过阅读官方文档，掌握了HDFS和MapReduce的基本概念。随后，在我的Ubuntu虚拟机上搭建了Hadoop的伪分布式环境，这一过程涉及JDK和SSH的安装配置，以及Hadoop核心配置文件的编辑。 周三成功
阅读全文
第四周总结
摘要：本周我深入了解了Hadoop的核心组件——HDFS和MapReduce。HDFS采用主从架构，NameNode作为主节点管理文件系统的命名空间和客户端对文件的访问，DataNode作为从节点存储实际的数据块。HDFS设计有多个副本以确保数据的可靠性。MapReduce则是一种分布式计算模型，它通过M
阅读全文
第五周总结
摘要：本周我专注于学习如何部署和管理Hadoop集群。首先，我了解了Hadoop集群的不同部署模式，包括单机模式、伪分布式模式以及完全分布式模式。接着，我学习了如何配置Hadoop环境，包括设置Hadoop的环境变量、配置core-site.xml等配置文件。我还学习了如何监控和管理集群的性能，例如使用H
阅读全文
第六周总结
摘要：本周我进一步探索了Hadoop生态系统中的其他工具和技术。除了核心的HDFS和MapReduce之外，我还学习了Hive、Pig和Spark等工具。Hive提供了SQL-like查询语言HiveQL，使用户能够轻松进行数据提取、转换和加载（ETL）。Pig则提供了一种脚本语言Pig Latin，用于
阅读全文
二维码生成
摘要：import com.google.zxing.WriterException; import com.google.zxing.common.BitMatrix; import com.google.zxing.qrcode.QRCodeWriter; import com.google.zxin
阅读全文
springboot连接hive数据库的依赖配置
摘要：<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc
阅读全文
搭建vue
摘要：1.win+R打开cmd 输入vue create [项目名字] 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.将生成的文件（myvue）在vscode中打开，输入 npm run serve即可成功。 全过程https://blog.csdn.net/Syyynb/article/
阅读全文
第二周总结
摘要：在第二周，我开始深入探索Hadoop生态系统中其他组件的功能，以拓宽我的知识面并提升对大数据处理的理解。除了HDFS和MapReduce这两个核心组件外，Hadoop还包括一些重要的工具，如YARN、Hive和Pig等，它们各自发挥着重要的作用，共同构建起一个完整的大数据处理平台。 我首先深入学习了
阅读全文
