03 2022 档案

hadoop面试重点
摘要：一.常用端口号 hadoop 3.x HDFS Namenode 内部常用端口：8020/9000/9820 HDFS Namenode 对用户的查询端口：9870 Yarn 查看任务运行情况的：8088 历史服务器：19888 hadoop 2.x HDFS Namenode 内部常用端口：802 阅读全文
posted @ 2022-03-29 20:37 不落微笑 阅读(32) 评论(0) 推荐(0) 编辑
hadoop基础
摘要：一.常用端口号 hadoop 3.x HDFS Namenode 内部常用端口：8020/9000/9820 HDFS Namenode 对用户的查询端口：9870 Yarn 查看任务运行情况的：8088 历史服务器：19888 hadoop 2.x HDFS Namenode 内部常用端口：802 阅读全文
posted @ 2022-03-26 14:15 不落微笑 阅读(53) 评论(0) 推荐(0) 编辑
hadoop全分布式集群搭建
摘要：hadoop全分布集群(master) 安装JDK环境 tar -zxvf /opt/software/jdk-8u301-linux-x64.tar.gz -C /opt/module 修改配置文件 vi /etc/profile.d/my_env.sh my_env.sh #JAVA_HOMEe 阅读全文
posted @ 2022-03-26 10:57 不落微笑 阅读(47) 评论(0) 推荐(0) 编辑
关于Hadoop启动和结束脚本
摘要：Hadoop启动结束 对hdfs ,yarn,historyserver服务的启动，结束 #!/bin/bash​if [ $# -lt 1 ]then echo "No Args Input..." exit;fi​case $1 in"start") echo " 启动 Hadoop集群 "​ 阅读全文
posted @ 2022-03-25 21:49 不落微笑 阅读(91) 评论(0) 推荐(0) 编辑
rsync
摘要：rsync集群分发脚本 需求：循环复制文件到所有节点的相同目录下 脚本代码如下： #!/bin/bash #1. 判断参数个数 # 判断参数是否小于1if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi ​#2. 遍历集群所有机器 # 对所 阅读全文
posted @ 2022-03-25 16:07 不落微笑 阅读(242) 评论(0) 推荐(0) 编辑
hadoop集群测试
摘要：参考博客：https://www.cnblogs.com/dmyu/p/4641531.html 阅读全文
posted @ 2022-03-23 19:42 不落微笑 阅读(18) 评论(0) 推荐(0) 编辑
python代码出现：SyntaxError: Non-ASCII character '\xe5' in file JDK.py on line 8, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details解决办法
摘要：一、在文件头部添加如下注释码： # coding=<encoding name> 例如，可添加# coding=utf-8 二、在文件头部添加如下两行注释码： #!/usr/bin/python # -*- coding: <encoding name> -*- 例如，可添加# -*- coding 阅读全文
posted @ 2022-03-17 16:36 不落微笑 阅读(331) 评论(0) 推荐(0) 编辑
miniconda安装以及下载jupyter notebook
摘要：1.miniconda 安装以及下载jupyter notebook(远程连接) 下载miniconda（官方源） wget https://repo.anaconda.com/miniconda/Miniconda3-py38_4.10.3-Linux-x86_64.sh 运行下载文件 sh Mi 阅读全文
posted @ 2022-03-17 14:59 不落微笑 阅读(933) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示