07 2023 档案
暑假第四周总结
摘要：本周花在学习上的时间大概为22小时，花在代码上的时间大概为12小时。花在解决问题上的时间大概为4小时。本周，我用大数据技术进行了具体的实践，包括需求分析、加载数据、ETL数据清洗转换、指标统计以及用BI进行可视化展示。
暑假第三周总结
摘要：本周花在学习上的时间大概为21小时，花在代码上的时间大概为11小时。花在解决问题上的时间大概为4小时。本周，我学习了hive数据库的使用及外部客户端(DataGrip)链接hive，包括创建数据库，删除数据库，数据库和hdfs的关系，创建表的语法，数据类型，内部表，外部表，数据的导入和导出，分区表，
启动Hadoop时需要进行的操作
摘要：首先切换到hadoop用户 su - hadoop 启动hdfs集群 start-dfs.sh 启动yarn集群 start-yarn.sh 启动hive 首先切换到hive文件夹 cd /export/server/hive 然后再运行下述命令 #先启动metastore服务 然后启动hivese
暑假第二周总结
摘要：本周花在学习上的时间大概为23小时，花在代码上的时间大概为11小时。花在解决问题上的时间大概为4小时。本周学习到的内容有HDFS集群启停命令，如何使用命令操作HDFS文件系统，并在DataGrip中安装了图形化Big Data Tools插件用于对HDFS中文件的操作，HDFS的存储原理及数据的读写
yarn : 无法加载文件 E:\nodejs\yarn.ps1，因为在此系统上禁止运行脚本。问题解决
摘要：1.在电脑的开始菜单中，搜索 PowerShell , 然后以管理员身份运行，如下所示： 2.以管理员身份运行后，会出现命令窗口，接下来，输入命令 get-ExecutionPolicy 查看权限, 会看到它的返回值是 Restricted , 意思是 当前是禁用的。 3.执行命令：set-Exec
Hadoop中hive的使用
摘要：启动元数据管理服务（必须启动，否则无法工作） 前台启动：bin/hive --service metastore 后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 & 启动客户端 Hive Shell方式（可以直接写
Hadoop中web ui页面
摘要：hdfs: node1:9870 yarn: node1:8088 Spark: Spark master:node1:8081(8080端口被zookeeper占用) Spark History Server:node1:18080
Hadoop中YARN集群启停命令
摘要：一键启停脚本 # 一键启动yarn集群 start-yarn.sh # 一键关闭yarn集群 stop-yarn.sh 单进程启停 start和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程 yarn --daemon start|
暑假第一周总结
摘要：本周花在学习上的时间大概为22小时，花在代码上的时间大概为12小时。花在解决问题上的时间大概为4小时。本周完成了对Linux系统的学习，安装了vm虚拟机，配置了3个centos虚拟机，完成了虚拟机之间的免密登录等一系列的操作，虚拟机配置了java环境，hadoop环境，部署了HDFS集群。了解了大数
