04 2023 档案
摘要：原文：https://www.cnblogs.com/dyh-air/p/7709684.html 把lg配置成： git config --global alias.lg "log --color --graph --pretty=format:'%Cred%h%Creset -%C(yellow
阅读全文
摘要：用户向ResourceManager中提交应用程序，其中包括ApplicationMaster程序。 ResourceManager为ApplicationMaster分配一个 Container（分配后Container由NodeManager创建），然后NodeManager在 Containe
阅读全文
摘要：配置ssh免密登录是为了将配置好的应用或文件直接分发到其他节点，不然 一台一台的配置太慢了。此外，Hadoop有很多脚本要依赖于ssh执行 1 在每台主机上生成公钥和私钥 在所有节点上运行如下命令，运行ssh-keygen后一直回车就行，运行完成后会在用户家目录下的.ssh目录下生成id_rsa（私
阅读全文
摘要：查看防火墙状态 systemctl status firewalld 开启防火墙 systemctl start firewalld 关闭防火墙 systemctl stop firewalld 查看防火墙是否开机自启 systemctl is-enabled firewalld 开启开机自启 sy
阅读全文
摘要：编辑网卡配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=static #修改ip为静态,这是已有的配置，修改就好 IPADDR=你想设置的ip #静态ip地址 NETMASK=你的子网掩码 #子网掩码 GATEWAY=你的网
阅读全文
摘要：1 下载Sqoop 下载地址：https://archive.apache.org/dist/sqoop/ 2 安装Sqoop 将Sqoop包上传，这里使用了Xftp 进入Sqoop安装包目录，安装 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 为了方
阅读全文
摘要：进入Hive元存储数据库，这里为MySQL 修改字段注释字符集 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; 修改表注释字符集 alter table TABLE_PARAMS modify
阅读全文
摘要：0 准备工作 启动了Hadoop 启动了Hive元存储数据库 1 开启Hive远程连接服务 nohup hiveserver2 1>/dev/null 2>&1 & nohup：用户即使退出，程序也会在后台运行 1：标准输出 2：错误输出 /dev/null：Linux中的黑洞,表示不存储信息 &：
阅读全文
摘要：解决方法： 在hadoop配置文件core-site.xml添加，将root替换为你的用户名 使用通配符值 * 来允许来自任何主机或任何用户的模拟。例如，通过在core-site.xml中指定如下，从任何主机访问的名为 oozie 的用户都可以模拟属于任何组的任何用户。 <property> <na
阅读全文
摘要：0 准备工作 搭建Hadoop完全分布式集群：Hadoop完全分布式集群搭建 下载安装MySQL：CentOS7 MySQL安装 1 下载Hive Hive官网：https://hive.apache.org/general/downloads/ 找到适配自己Hadoop版本的Hive 找到后进入下
阅读全文
摘要：0 准备工作 yum换源：https://www.cnblogs.com/lgjb/p/17293111.html 1 下载yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noar
阅读全文
摘要：1 备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2 下载新的 CentOS-Base.repo 到 /etc/yum.repos.d/ CentOS 6 curl -o /etc/y
阅读全文
摘要：DLLs：python的动态链接库，跟编译器有关，和python 编程关系不大。 Doc：python的参考书，有很多实例。 lnclude：python编译器的C语言源码。 Lib：这个库很重要，是python的标准库，你扩充的库都安装在这里面。 libs：python的内置库，语法存在的地方。
阅读全文
摘要：Namenode默认端口： | 端口 | 介绍 | | | | | 9820 | NameNode默认的内部端口 | | 9870 | NameNode的web访问（http访问）端口 | | 9871 | NameNode的web访问（https访问）端口 | Secondary Namenode
阅读全文
摘要：1 检查当前系统中是否已安装JDK yum list installed | grep java 2 卸载Java，若未检测出jdk则跳过 yum remove 检测出的包 3 安装JDK 3.1 选择到jdk官网上下载你想要的jdk版本。 下载地址：https://www.oracle.com/j
阅读全文
摘要：0 准备工作 首先需要准备三台虚拟机：CentOS7下载安装 三台虚拟机都配置了静态IP：CentOS7 静态IP配置 三台虚拟机都关闭了防火墙，且设置了开机不自启：CentOS7 防火墙操作 三台虚拟机都配置了IP-主机名映射：CentOS7 配置IP-主机名映射 三台虚拟机都配置了ssh免密登录
阅读全文
摘要：/bin：bin 是 Binaries (二进制文件) 的缩写, 这个目录存放着最经常使用的命令。 /boot： 这里存放的是启动 Linux 时使用的一些核心文件，包括一些连接文件以及镜像文件。 **/dev ：**dev 是 Device(设备) 的缩写, 该目录下存放的是 Linux 的外部设
阅读全文
摘要：linux有内核版本，就相当于安卓，有发行版本，相当于MIUI，Flyme，EMUI等 Linux内核版本 Linux内核版本号有两种 第一种： 内核主版本号.内核次版本号.内核修订版本号 第二种： 主版本号.次版本号.补丁包数或次版本的修改次数-编译（或构建）的次数.当前版本的特殊信息.当前版本的
阅读全文
摘要：各分区简介： /boot ：存放开机文件，一般为100M左右（50M~200M）。 swap ：swap是交换分区、可以看成一种虚拟的内存扩展，内存不够是，可以将内存程序移入，需要时再取出，会比从硬盘读取快。 /：linux根目录的分区。 各设备类型简介： 标准分区：标准分区可以包含文件系统或交换空
阅读全文
摘要：桥接模式: 桥接模式下的虚拟机得到和主机同一网段的一个ip，接入该网段的网络，相当于一台独立的设备，但是桥接模式容易占用该网段的ip。 NAT模式: 有一些网段被划分为私有地址，私有地址无法被公网转发，所以需要NAT（网络地址转换）来将其转换为合法的公网ip， 如下为私网网段： A类地址：10.0.
阅读全文
摘要：0 准备工作 下载安装好VMware Workstation Pro：VMware Workstation Pro下载安装 - 来个煎饼 - 博客园 (cnblogs.com) 1 下载centos7 下载地址：centos安装包下载_开源镜像站-阿里云 (aliyun.com) 可以自行选择需要的
阅读全文
摘要：1 下载VMware 下载地址：下载 VMware Workstation Pro 进入下载地址，往下滑，选择对应版本，点击立即下载 2 安装VMware Workstation Pro 下载完成之后双击运行exe文件，点击下一步。 勾选我接受许可协议，点击下一步。 默认安装路径是C盘，可以修改也可
阅读全文
