06 2023 档案

10操作手册
摘要：# HDFS伪分布式集群搭建 ```shell tar -zxvf hadoop-2.7.7.tar.gz echo $JAVA_HOME /root/software/jdk1.8.0_221 #查看loaclhost vim /root/software/hadoop-2.7.7/etc/had 阅读全文
posted @ 2023-06-10 00:42 Cuckoo~ 阅读(113) 评论(0) 推荐(0) 编辑
chatgpt
摘要：# CHATGPT ``` https://talk.hyjack.top/ chat.hywwwlove.top/?code=9kCB https://chat.jubianxingqiu.com/#/chat/1002 https://shdily.com/#/chat/666 ``` 阅读全文
posted @ 2023-06-10 00:37 Cuckoo~ 阅读(506) 评论(0) 推荐(0) 编辑
爬虫
摘要：# 爬虫 ```python import requests from bs4 import BeautifulSoup import re from lxml import etree # 获取网页内容 for i in range(1, 1277): # 爬取第2，50页的数据 url = 'h 阅读全文
posted @ 2023-06-10 00:18 Cuckoo~ 阅读(14) 评论(0) 推荐(0) 编辑
网络采集与数据分析1
摘要：# 网络采集与数据分析 ```shell #修改云主机host文件，添加内网IP，对应映射名为hadoop000，实现云主机自身使用root用户ssh访问hadoop000免密登陆 vi /etc/hosts 172.18.39.103 hadoop000 #配置免密################ 阅读全文
posted @ 2023-06-09 23:24 Cuckoo~ 阅读(69) 评论(0) 推荐(0) 编辑
官方数据分析1
摘要：# 大数据处理与应用hive ```shell #修改云主机host文件，添加内网IP，对应映射名为hadoop000，实现云主机自身使用root用户ssh访问hadoop000免密登陆 vi /etc/hosts 172.18.39.103 hadoop000 hostnamectl set-ho 阅读全文
posted @ 2023-06-09 23:24 Cuckoo~ 阅读(51) 评论(0) 推荐(0) 编辑
12
摘要：# 12.WordCount示例编写（三） ## 任务目的 - 掌握 MapReduce 程序运行模式 - 理解 Combiner 的作用和使用方式 ## 任务清单 - 任务1：MapReduce 程序运行模式 - 任务2：MapReduce 三大组件（一）：Combiner ## 详细任务步骤 # 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(68) 评论(0) 推荐(0) 编辑
11
摘要：# 11.WordCount示例编写 ## 任务目的 - 理解 WordCount 示例的业务逻辑 - 掌握 MapReduce Reduce 端编程规范 - 理解 WordCount 示例 Reduce 端的自定义业务逻辑的编写 - 熟记 MapReduce Driver 端编程规范 ## 任务清 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(26) 评论(0) 推荐(0) 编辑
10
摘要：# 10.WordCount示例编写（一） ## 任务目的 - 理解 WordCount 示例的业务逻辑 - 掌握 MapReduce Map 端编程规范 - 理解 WordCount 示例 Map 端的自定义业务逻辑的编写 ## 任务清单 - 任务1：WordCount 的业务逻辑 - 任务2：W 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(20) 评论(0) 推荐(0) 编辑
9
摘要：# 9.Java API 操作 HDFS 文件（三） ## 任务目的 - 学会使用 Java API 删除指定的 HDFS 文件或目录 - 学会使用 Java API 查看指定 HDFS 目录下所有文件信息和对应块信息 ## 任务清单 - 任务1：删除文件/目录 - 任务2：查看指定路径中文件和块信 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(7) 评论(0) 推荐(0) 编辑
8
摘要：# 8.Java API 操作 HDFS 文件（二） ## 任务目的 - 学会使用 Java API 将 HDFS 文件下载到本地指定位置 - 掌握对 HDFS 文件或目录重命名的使用方法 - 学会使用 Java API 查看指定 HDFS 中某个目录下所有的文件或文件夹 ## 任务清单 - 任务1 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(6) 评论(0) 推荐(0) 编辑
7
摘要：# 7.Java API 操作 HDFS 文件（一） ## 任务目的 - 了解 junit 的作用和常用注解 - 掌握使用 Java API 在 HDFS 上创建目录的方法 - 学会使用 Java API 将本地文件上传到 HDFS 指定位置 ## 任务清单 - 任务1：创建目录 - 任务2：上传文 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(19) 评论(0) 推荐(0) 编辑
6
摘要：# 6.Eclipse 连接 Hadoop ## 任务目的 - 掌握在 Linux 下 Eclipse 连接 Hadoop 的详细步骤 - 掌握获取 fs 对象的两种方式 ## 任务清单 - 任务1：Linux 下 Eclipse 连接 Hadoop - 任务2：FileSystem 实例获取 ## 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(52) 评论(0) 推荐(0) 编辑
5
摘要：# 5.HDFS 的 Shell 操作（二） ## 任务目的 - 掌握查看 HDFS 文本内容的相关命令 - 学会往 HDFS 文件中追加内容和合并下载 HDFS 的多个文件到本地文件系统 - 掌握修改 HDFS 文件权限和拥有者的相关命令 - 掌握统计指定目录和文件系统信息的方法 - 学会使用 H 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(20) 评论(0) 推荐(0) 编辑
4
摘要：# 4.HDFS 的 Shell 操作（一） ## 任务目的 - 掌握 Hadoop 集群管理脚本的使用方式 - 学会使用 `help` 命令查看指定命令的帮助信息 - 掌握操作 HDFS 文件或目录常用命令的使用方式 ## 任务清单 - 任务1：Hadoop 集群管理脚本 - 任务2：HDFS 管 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(11) 评论(0) 推荐(0) 编辑
3
摘要：# 3.HDFS 架构 ## 任务目的 - 理解 HDFS 存储架构 - 熟知 HDFS 4个组成部分的主要职责 ## 任务清单 - 任务1：HDFS 存储架构图 - 任务2：HDFS 组成结构 ## 详细任务步骤 ### 任务1：HDFS 存储架构图 HDFS采用主从架构（Master/Slave 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(10) 评论(0) 推荐(0) 编辑
2
摘要：# 2.YARN伪分布式集群搭建 ## 任务目的 - 重点掌握 YARN 集群的相关配置 - 学会启动和关闭 YARN 集群的两种方式 - 能够使用 jps 命令查看进程的启动情况 - 能够通过 UI 查看 YARN 集群的运行状态 ## 任务清单 - 任务1：YARN 集群主要配置文件讲解 - 任 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(14) 评论(0) 推荐(0) 编辑
1HDFS伪分布式集群搭建
摘要：# 1.HDFS伪分布式集群搭建 ## 任务目的 - 了解 Hadoop 集群的组成和规划 - 重点掌握 HDFS 集群的相关配置 - 掌握格式化文件系统的命令 - 学会启动和关闭 HDFS 集群的两种方式 - 能够使用 jps 命令查看进程的启动情况 - 能够通过 UI 查看 HDFS 集群的运行 阅读全文
posted @ 2023-06-09 22:44 Cuckoo~ 阅读(39) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示