北漂-boy

2018年9月18日

docker容器里面执行top报“TERM environment variable not set.”

摘要：解决： [hadoop@master ~]$ docker exec -ti 6eca7d27a988 /bin/bashroot@6eca7d27a988:/# topTERM environment variable not set. root@6eca7d27a988:/# echo $TER 阅读全文

posted @ 2018-09-18 11:54 北漂-boy 阅读(1068) 评论(0) 推荐(0) 编辑

docker安装ubuntu以后无ifconfig命令解决办法

摘要：解决： 1、apt-get update 2、apt install net-tools #ifcongig 3、apt install iputils-ping # ping 阅读全文

posted @ 2018-09-18 11:07 北漂-boy 阅读(1233) 评论(0) 推荐(0) 编辑

免sudo使用docker

摘要：前沿：通过root安装完docker，在普通用户下执行docker相关命令的时候，报权限不足：查看sock文件的权限： [hadoop@slave1 monitor]$ ll /var/run/docker.sock srw-rw 1 root docker 0 Sep 17 12:07 /var 阅读全文

posted @ 2018-09-18 10:00 北漂-boy 阅读(195) 评论(0) 推荐(0) 编辑

2018年9月12日

centos6下安装docker

摘要：安装docker对内核版本的要求很高，需要内核3.10以上。一、docker卸载查看内核版本：如果不升级内核到3.10安装docker，后面会有很多奇怪的问题，像我就是拉取不到镜像。以下我是root用户执行的，如果你是普通用户请切换到root或者使用sudo。 [root@master ~] 阅读全文

posted @ 2018-09-12 19:02 北漂-boy 阅读(940) 评论(0) 推荐(0) 编辑

2018年9月6日

Hadoop Aggregate Resource Allocation解释

摘要： 1、在hadoop里面运行程序的时候，查看某个任务的具体信息如下： [hadoop@master monitor]$ yarn application -list 如上图，这里面的Aggregate Resource Allocation : 38819 MB-seconds, 104 vcore- 阅读全文

posted @ 2018-09-06 09:41 北漂-boy 阅读(6447) 评论(0) 推荐(0) 编辑

2018年8月31日

[] 与[[]]的区别

摘要：区别： 1.在使用-n或者-z判断变量是否为空时，[]里面的变量需要加双引号，二[[]]则不用 2.&& || 可以放在[[]]的里面或者外面，如： 3.在使用-a或者-o时，不能使用[[]]连接 4.使用[]时，-a或者-o只能使用在里面，不能使用于两个条件之间，如： 5.使用[]十，&&或者|| 阅读全文

posted @ 2018-08-31 15:54 北漂-boy 阅读(960) 评论(0) 推荐(0) 编辑

2018年8月30日

awk如何传递外部变量？

摘要：第一种： [root@master yjt]# var=1 [root@master yjt]# echo |awk -v value=$var '{print value}' 1 第二种： [root@master yjt]#var1=2 [root@master yjt]#var2=3 [roo 阅读全文

posted @ 2018-08-30 17:55 北漂-boy 阅读(2219) 评论(0) 推荐(0) 编辑

如何利用awk累加第一列的值？

摘要：以下是一个五行文件的例子： 1、[root@master yjt]# seq 5 |awk 'BEGIN{sum=0;print "总和:"}{if(NR<=4)printf $1"+";sum+=$1; if(NR==5)printf $1 "="}END{print sum}'总和:1+2+3+ 阅读全文

posted @ 2018-08-30 17:36 北漂-boy 阅读(9174) 评论(0) 推荐(0) 编辑

如何利用awk计算文件某一列的平均值？

摘要： [root@master yjt]# cat yjt.sh #!/bin/bash awk -v field="$1" '{sum+=$field; n++;}END {if (n > 0) print sum/n;else {print 'error' > "/tmp/.stderr"; exit 阅读全文

posted @ 2018-08-30 16:35 北漂-boy 阅读(2053) 评论(0) 推荐(0) 编辑

如何利用shell或者awk二维数组实现9x9乘法表？

摘要：第一种：利用shell for循环来实现。 for i in `seq 1 9`do for j in `seq 1 9` do if [ $i -ge $j ] then echo -en "$i x $j = $(($i*$j)) " fi doneecho ' 'doneecho 第二种：利用阅读全文

posted @ 2018-08-30 15:58 北漂-boy 阅读(641) 评论(0) 推荐(0) 编辑

2018年8月29日

Linux 如何通过某一台服务器调用执行多台远程服务器上的脚本，结果显示在本地？

摘要：现在都流行自动化运维了，可能目前技术不够，很多自动化工具还不怎么会用，所以本次只是通过ssh来实现功能。说明：自己写的一个简单脚本，只是实现了基础功能，还有待优化。一共三台机器： master：192.168.4.91 slave1：192.168.4.45 slave2：192.168.4.9 阅读全文

posted @ 2018-08-29 18:17 北漂-boy 阅读(1214) 评论(0) 推荐(0) 编辑

2018年8月23日

Yarn状态机

摘要： 1 概述为了增大并发性，Yarn采用事件驱动的并发模型，将各种处理逻辑抽象成事件和调度器，将事件的处理过程用状态机表示。什么是状态机？如果一个对象，其构成为若干个状态，以及触发这些状态发生相互转移的事件，那么此对象称之为状态机。处理请求作为某种事件发送到系统中，由一个中央调度器传递给对应的事件阅读全文

posted @ 2018-08-23 16:36 北漂-boy 阅读(780) 评论(0) 推荐(0) 编辑

Hadoop hadoop(2.9.0)---uber模式(小作业“ubertask”优化)

摘要：前言：在有些情况下，运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大，如果此时的任务分片很多，那么为每个map任务或者reduce任务频繁创建Container，势必会增加Hadoop集群的资源消耗，并且因为创建分配Container本身的开销，还会增加这些任务的运行时延阅读全文

posted @ 2018-08-23 14:22 北漂-boy 阅读(1838) 评论(0) 推荐(0) 编辑

2018年8月21日

Linux--系统调优

摘要：建议看看：https://www.cnblogs.com/yinzhengjie/p/9994207.html 一、关闭swap交换分区 Linux swapoff命令用于关闭系统交换区(swap area)。 swapoff实际上为swapon的符号连接，可用来关闭系统的交换区。 1、swapof 阅读全文

posted @ 2018-08-21 11:19 北漂-boy 阅读(310) 评论(0) 推荐(0) 编辑

2018年8月20日

Hadoop Capacity调度器概念及配置

摘要：在Yarn框架中，调度器是一块很重要的内容。有了合适的调度规则，就可以保证多个应用可以在同一时间有条不紊的工作。最原始的调度规则就是FIFO，即按照用户提交任务的时间来决定哪个任务先执行，但是这样很可能一个大任务独占资源，其他的资源需要不断的等待。也可能一堆小任务占用资源，大任务一直无法得到适当的资阅读全文

posted @ 2018-08-20 14:05 北漂-boy 阅读(1439) 评论(2) 推荐(1) 编辑

hadoop(10)---hdfs配置文件详解

摘要：以下只是简单的对hdfs（hdfs.site.xml）配置文件做一个简单的说明。 <configuration><property><name>dfs.nameservices</name><value>ns1</value> 阅读全文

posted @ 2018-08-20 13:47 北漂-boy 阅读(4522) 评论(1) 推荐(0) 编辑

yarn-site.xml 基本配置参考

摘要：以下只是对yarn配置文件（yarn.site.xml）简单的一个配置补充： 1、yarn监控nodemanager的运行状况 Hadoop提供了一种机制，管理员可以通过该机制定期运行管理员提供的脚本以确定节点是否健康。管理员可以通过在脚本中执行对其选择的任何检查来确定节点是否处于正常状态。如果阅读全文

posted @ 2018-08-20 13:45 北漂-boy 阅读(5969) 评论(0) 推荐(0) 编辑

iptables----sport、dport解释

摘要：以前一直对iptables的sport、dport不清楚，所以这里记录一下。（1）清理防火墙： iptables -F iptables -X iptables -Z （2）iptables命令选项输入顺序： iptables -t 表名 <-A/I/D/R> 规则链名 [规则号] <-i/o 网阅读全文

posted @ 2018-08-20 10:57 北漂-boy 阅读(21010) 评论(0) 推荐(1) 编辑

2018年8月17日

NTP服务器搭建

摘要： ntp服务器搭建 1、准备：一共两台（centos 7.x），一台服务器，一台客户端。服务器做本地ntp，不与上层时间服务器同步；机器ip：服务器：10.1.40.232，客户端：10.1.40.233；两台机器都安装ntp服务；yum install ntp。 2、服务端：修改配置文件：vim 阅读全文

posted @ 2018-08-17 11:07 北漂-boy 阅读(2230) 评论(0) 推荐(0) 编辑

Hadoop 构建HA

摘要：什么是HA？ HA的意思是High Availability高可用，指当当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。 HA方式安装部署才是最常见的生产环境上的安装部署方式。Hadoop HA是Hadoop 2.x中新添加的特性，包括Name 阅读全文

posted @ 2018-08-17 10:50 北漂-boy 阅读(1057) 评论(0) 推荐(0) 编辑

2018年8月16日

Hadoop(1)---运行Hadoop自带的wordcount出错问题。

摘要：在hadoop2.9.0版本中，对namenode、yarn做了ha，随后在某一台namenode节点上运行自带的wordcount程序出现偶发性的错误（有时成功，有时失败），错误信息如下：分析与解决：网上对类似问题解决办法，主要就是添加对应的classpath，测试了一遍，都不好使，说明上诉问阅读全文

posted @ 2018-08-16 18:37 北漂-boy 阅读(12173) 评论(2) 推荐(0) 编辑

如何查看Linux cpu核数、版本等信息

摘要： CPU总核数 = 物理CPU个数 * 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数 1、查看CPU信息（型号）： [root@iZ2ze1rl2qyewq63peun8vZ ~]# cat /proc/cpuinfo | grep name | c 阅读全文

posted @ 2018-08-16 17:50 北漂-boy 阅读(4894) 评论(0) 推荐(0) 编辑

2018年8月15日

MapReduce 基本优化相关参数

摘要： MapReduce优化优化（1）资源相关参数：以下参数是在自己的 MapReduce 应用程序中配置就可以生效 mapreduce.map.memory.mb: 一个 Map Task 可使用的内存上限（单位:MB），默认为 1024。如果 Map Task 实际使用的资源量超过该值，则会被强制杀死阅读全文

posted @ 2018-08-15 18:03 北漂-boy 阅读(13594) 评论(0) 推荐(0) 编辑

Hadoop（4）MapReduce 任务的推测(speculative)执行

摘要： Straggle（掉队者）是指那些跑的很慢但最终会成功完成的任务。一个掉队的Map任务会阻止Reduce任务开始执行。 Hadoop不能自动纠正掉队任务，但是可以识别那些跑的比较慢的任务，然后它会产生另一个等效的任务作为备份，并使用首先完成的那个任务的结果，此时另外一个任务则会被要求停止执行。这种技阅读全文

posted @ 2018-08-15 15:19 北漂-boy 阅读(1861) 评论(0) 推荐(0) 编辑

Hadoop mapreduce过程分析

摘要：原理图：中间结果的排序与溢出(spill)流程图 map分析： (1)、输入分片(input split):在进行mapreduce之前，mapreduce首先会对输入文件进行输入分片(input split)操作，每一个输入分片针对一个map任务，输入分片（input split）存储的并非数据阅读全文

posted @ 2018-08-15 11:01 北漂-boy 阅读(1485) 评论(0) 推荐(0) 编辑

2018年8月14日

mapred-site.xml 基本配置参考

摘要：说明：这是hadoop2.x版本的参数。下面的value都是参数默认值。常用配置：配置文件常用配置：阅读全文

posted @ 2018-08-14 18:41 北漂-boy 阅读(11035) 评论(0) 推荐(0) 编辑

Hadoop 安装之本地模式与分布式模式

摘要：一、安装环境说明 1、版本说明 1、操作系统使用centos系列，建议不要使用ubuntu系列，在生成环境中，使用ubuntu系统，系统会莫名的卡死，看大数据相关的进程，发现进程处于D状态(也就是不可中断状态),处于这种模式的话，基本上除了修改内核，打补丁，只能重启系统，这对于业务来说还是很有影响的阅读全文

posted @ 2018-08-14 10:06 北漂-boy 阅读(762) 评论(0) 推荐(0) 编辑

2018年8月13日

hadoop(1)---hadoop的介绍和几种模式。

摘要：一、什么是hadoop？ Hadoop软件库是一个开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用程序层的故障，从而在计算机集群之上提供高可用性服务，每阅读全文

posted @ 2018-08-13 16:27 北漂-boy 阅读(1935) 评论(0) 推荐(0) 编辑

我的博客之旅。

摘要：作为一个刚参加工作没多久的菜鸟，在工作当中对于所遇到的问题，所学到的知识，并没有一个统一的归纳、整合。从来都是这个文件夹放一点，其他文件夹放一点，慢慢的随着时间的流逝，或许已经忘记曾经写过的笔记。当某一天在出现类似的问题，或许我还是得重新去网上一遍一遍的过滤我所需要的内容，想来，或许真的非常不方便。阅读全文

posted @ 2018-08-13 15:40 北漂-boy 阅读(126) 评论(0) 推荐(0) 编辑

人生就是一场自己与自己决斗的战场！

公告