摘要：
转：http://www.cnblogs.com/mululu/p/6398483.html 博客园 首页 新随笔 联系 管理 订阅 ! done 随笔 76 文章 1 评论 2 ! end: blogStats ! end: navigator 博客导航栏 阅读全文
摘要：
1、查看当前系统使用的字符编码 2、查看当前系统支持的字符集 3、查看locale文件 解决： 1、执行locale-gen zh_CN.UTF-8拉取中文编码(需要root权限) 2、查看现在系统支持的字符集，发现多了zh_*等中文字符集 3、修改文件/etc/default/locale（必须要 阅读全文
摘要：
比较粗略的一个脚本：主要监控系统磁盘、CPU、内存、网络流量、tcp连接数等 代码如下： [root@test system_monitor_shell_script]# cat system_monitor.sh #!/bin/bash #. /home/hduser/modify_system_ 阅读全文
摘要：
pssh命令是一个python编写可以在多台服务器上执行命令的工具，同时支持拷贝文件，是同类工具中很出色的，类似pdsh，个人认为相对pdsh更为简便，使用必须在各个服务器上配置好密钥认证访问。 以下操作以centos为例 1、安装（源码和yum方式） 2、查看如何使用？ 3、使用 阅读全文
摘要：
脚本1：需要机器之间免密 方法2：这种方式可以不用免密，但是需要在执行命令的机器用户名和密码一致 方法3、从文件读取ip、username、passwd 借鉴：https://www.jb51.net/article/119541.htm 阅读全文
摘要：
1： 当通过ssh连接远程服务器的时候，可能会出现以下繁琐场景，需要手工输入yes： ssh username@ip 这对于某些分布式集群来说是不行的，甚至导致集群都不能启动成功，对于像pssh，pscp这样的自动化工具来说，也不希望这一步的验证，如何在连接的时候不提示这个信息呢： 2：远程执行服务 阅读全文
摘要：
hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, Hbase, Hive, ZooKe 阅读全文
摘要：
[root@runstone yum.repos.d]# pwd /etc/yum.repos.d [root@runstone yum.repos.d]# cat aliBase.repo #镜像源 [aliBase] name=aliBase baseurl=https://mirrors.aliyun.com/centos/$releasever/os/$basearch/ enabled... 阅读全文
摘要：
场景：我想在公司内部用一台服务器A访问客户内网的机器C。在公司和客户之间有一台中间服务器B，我只能先连接到中间服务器，然后通过中间服务器跳转才能到客户C机器。 上面场景的连接策略：A->B->C 说明 A：本地机器(也就是公司内部机器)，B：中间服务器(相当于代理服务器)，C：目标服务器(客户现场) 阅读全文
摘要：
介绍：安装完mysql，启动mysql以后，发现mysql监听的是ipv6地址，现在想让mysql监听ipv4. 系统：centos7 关闭ipv6方法： 方法1：编辑/etc/sysctl.conf文件，添加如下两行到文件 如果想只关闭某个网卡的ipv6地址呢，比如说关闭eth0的ipv6地址：还 阅读全文
摘要：
操作系统：centos 7 mysql版本：5.7 下载地址：https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz 说明：以下都是root用户操作的。 一、数据库安装 1、查看 阅读全文
摘要：
脚本信息： 错误： test.sh: line 7: warning: here-document at line 3 delimited by end-of-file (wanted `YJT')test.sh: line 8: syntax error: unexpected end of fi 阅读全文
摘要：
环境介绍： 系统：centos7 软件包： apache-phoenix-4.14.0-HBase-1.4-bin.tar.gz 下载链接：http://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-4.14.1-HBase-1.4/bin/apac 阅读全文
摘要：
该脚本主要是是批量修改文件名，然后传输文件到服务器#!/bin/bash #脚本名:sftp.sh while true do num=`cat test.txt|wc -l` for ((a=1;a<=$num;a++)) do port=$(awk -v i=$a 'NR==i{print $1 阅读全文
摘要：
系统环境：Centos7 这里使用源码包安装，因为centos7默认已经安装了python2.7，所以这里就不用安装了，否则需要安装python2.7或者以上版本。当然，最简单的还是yum安装：yum install ansible -y 1、下载ansible源码包 2、解压 3、安装 安装过程中 阅读全文
摘要：
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。 zookeeper的几种模式： 1、单点模式 2、分布式集群模式，节点运行在多台机器 3、单点多实例 在这里只介绍单点多实例安装。 下载jdk和zookeeper软件包 jdk-8u181-linux-x64.tar.gz，zoo 阅读全文
摘要：
住：该脚本不适用于python3，如果要适用于python3，需要适当的修改该脚本，博客里面有关于使用python3监控系统信息的脚本，有需要请查看。 阅读全文
摘要：
错误提示： 这种情况是由于在使用yum安装东西的时候，强制退出yum或者yum异常退出造成的，再次使用yum时就会提示上述的错误：解决： 1、安装yum-complete-transaction，这个工具是在yum-utils这个包里面，所以，需要先安装yum-utils才能使用yum-comple 阅读全文
摘要：
ifconfig命令可以查看Linux系统中正在使用的网卡，包括物理网卡和虚拟网卡，如果想要查看Linux系统中全部的网卡，可以查看/proc/net/dev文件，那如何区分网卡是虚拟还是物理的呢？ 查看/sys/devices/virtual/net/这个文件 这些目录就代表的是虚拟网卡对应的目录 阅读全文
摘要：
注：该脚本也适用于python2，当然，需要安装psutil模块，或者已安装anaconda 阅读全文
摘要：
#!/usr/bin/env python3 #create at 2018-12-04 'this is a system monitor scripts' __author__="yjt" import os import time import sys import datetime import socket #用于获取主机名 import psutil #用于获取CPU等信息 i... 阅读全文
摘要：
或者： 阅读全文
摘要：
什么是jq？jq是Linux下面把文本字符串格式化成json格式的工具 系统环境：centos 7 一、安装 （1）yum安装 a、安装epel源 # wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm 阅读全文
摘要：
系统环境：hadoop + hive已经配置完成 1、下载presto：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.167/presto-server-0.167.tar.gz 2、解压安装 # tar -zx 阅读全文
摘要：
解决： iptables -t nat -A DOCKER -p tcp --dport ${YOURPORT_1} -j DNAT --to-destination ${CONTAINERIP}:${YOURPORT_2} iptables -t nat -A POSTROUTING -j MAS 阅读全文
摘要：
# wget -0 /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo # yum cleal all 阅读全文
摘要：
在线安装 Docker 在 CentOS/RHEL 中安装 Docker 在终端中运行下面的命令安装 Docker。 sudo yum install -y yum-utils sudo yum-config-manager \ --add-repo \ https://download.daocl 阅读全文
摘要：
在使用docker搭建hadoop分布式集群的时候，需要各容器之间相互免密登录，传统的方式我想或许会很麻烦，特别是当容器达到几百上千台的时候，这时就需要有一种方式来更简单实现免密登录了。 环境介绍： 宿主机：centos 7 docker 版本：18.09.0 镜像版本：ubuntu：14.04（官 阅读全文
摘要：
（以下操作都是在root用户） 方法如下： （1）显示所有容器，过滤出状态为Exited的容器id，然后删除。 # for i in `docker ps -a |grep Exited |awk '{print $1}'`;do docker rm $i;done 或者 docker rm $(d 阅读全文
摘要：
在学习Python的时候，如果学习python3的版本，那么需要重新安装pytho3，因为系统默认的Python版本是python2，当然，有的可能需要同时保留两个版本，这里来试着使用一下anaconda 1、下载安装包： # wget https://repo.continuum.io/archi 阅读全文
摘要：
系统环境：centos 6 软件包： hbase版本：hbase-1.4.8-bin.tar.gz 下载地址：wget http://mirror.bit.edu.cn/apache/hbase/stable/hbase-1.4.8-bin.tar.gz jdk版本：jdk-8u181-linux- 阅读全文
摘要：
debconf-set-selections命令 debconf-set-selections命令 1.功能作用 在debconf database中插入默认值 2.位置 /usr/bin/debconf-set-selections 3.格式用法 debconf-set-selections [- 阅读全文
摘要：
Docke官方提供了Docker Hub网站来作为一个公开的集中仓库。然而，本地访问Docker Hub速度往往很慢，并且很多时候我们需要一个本地的私有仓库只供网内使用。Docker仓库实际上提供两方面的功能，一个是镜像管理，一个是认证。前者主要由docker registry项目来实现，通过htt 阅读全文
摘要：
错误1：刚搭建的新集群，启动journalnode以后，格式化namenode节点，出现如下错误 注意其中划红线的地方。 出现这个错误的原因是journalnode节点还没有准备好，而namenode就已经把尝试次数用完了。修改配置文件core-site.xml 修改core-site.xml中的i 阅读全文
摘要：
刚安装docker-io，在启动的时候报如下错误： Error starting daemon: SELinux is not supported with the overlay2 graph driver on this kernel. Either boot into a newer kern 阅读全文
摘要：
错误1： ssh连接云主机： ssh root@39.106.xx.xx 报错：THE AUTHENTICITY OF HOST XX CAN’T BE ESTABLISHED 解决办法： ssh -o StrictHostKeyChecking=no root@39.106.xx.xx 输入密码， 阅读全文
摘要：
在docker里面安装hadoop HA 在启动或者停止的时候报ssh不能解析问题。 问题现象： 发现图片不清晰：把问题现象粘贴如下： root@master:/usr/local/hadoop-2.9.1# start-dfs.sh Starting namenodes on [2018-10-1 阅读全文
摘要：
问题现象： 由于最近在docker上部署hadoop，最开始搭建完以后，ssh是正常的，当我重启系统以后就出现了上面的这个问题 解决： 修改配置文件：/etc/ssh/sshd_config 把PermitRootLogin改为yes，把UsePAM改为no 然后重新启动ssh服务 /etc/ini 阅读全文
摘要：
解决： 1、通过以下脚本进行检查，查看到底哪个目录下面的文件最多，依次定位到最终最大的那个目录 for i in /*; do echo $i; find $i | wc -l; done 或者 du --max-depth=1 -h 2、将大文件删掉，如果直接用rm -rf 会报错/bin/rm 阅读全文