北漂-boy

2020年7月3日

摘要：使用select count(*) 出现如下错误： Error: Task org.apache.phoenix.job.JobManager$InstrumentedJobFutureTask@6e91893 rejected from org.apache.phoenix.job.JobMana 阅读全文

posted @ 2020-07-03 15:29 北漂-boy 阅读(1395) 评论(0) 推荐(0) 编辑

hive 数据归档问题

摘要： 1、对数据进行归档 alter table tableName archive partition(current='2020-07-02'); 报错如下： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.e 阅读全文

posted @ 2020-07-03 15:27 北漂-boy 阅读(1264) 评论(0) 推荐(0) 编辑

2020年7月2日

docker 重启容器异常

摘要：问题现象部署的docker容器运行一端时间以后，由于需要修改配置，需要重启容器，但是重启的时候，报如下错误： Error response from daemon: Cannot restart container rsnmp_v4: OCI runtime create failed: cont 阅读全文

posted @ 2020-07-02 11:52 北漂-boy 阅读(4895) 评论(0) 推荐(0) 编辑

2020年7月1日

mapreduce 之 shuffle错误

摘要：错误信息 reduce容器报的错误信息如下： 2020-07-01 14:06:19,276 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : org.apache.hadoop.mapreduce.t 阅读全文

posted @ 2020-07-01 15:22 北漂-boy 阅读(1901) 评论(0) 推荐(0) 编辑

2020年6月30日

数据的导入和导出

摘要：数据加载到表非分区表方式1：假设当前已经存在一张非分区表，那么可以直接通过拷贝的方式把数据拷贝到hdfs上面的对应目录 eg 1、创建测试表 hive (r_db2)> create table input_test(id int, name string); 2、创建测试数据 [hduser 阅读全文

posted @ 2020-06-30 17:22 北漂-boy 阅读(384) 评论(0) 推荐(0) 编辑

hive 数据定义语言(DDL)

摘要：一、数据库操作 1、创建数据库语法格式： CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [MANAGEDLOCATION hdfs_pat 阅读全文

posted @ 2020-06-30 14:38 北漂-boy 阅读(409) 评论(0) 推荐(0) 编辑

2020年6月29日

hive 获取系统相关的信息以及客户端的简单操作

摘要： hive 随笔 1、获取当前hive的所有变量信息，包括hiveconf、hivevar、system、env等的信息 hive -S -e "set" > hive.cmd hive -S -e "set -v" > hive.cmd #可以获取hadoop相关的属性 2、自定义变量 ① 在进入h 阅读全文

posted @ 2020-06-29 16:22 北漂-boy 阅读(393) 评论(0) 推荐(0) 编辑

hive查询结果如何以csv的格式存储到本地磁盘

摘要：方式一 INSERT OVERWRITE LOCAL DIRECTORY '/tmp/data.csv' select books from table; 或者存储到hdfs INSERT OVERWRITE DIRECTORY '/user/data.csv' select books from 阅读全文

posted @ 2020-06-29 11:38 北漂-boy 阅读(1047) 评论(0) 推荐(0) 编辑

hive 空值判断

摘要： hive中空值判断基本分两种一、NULL 与 \N hive在底层数据中如何保存和标识NULL，是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的比如： 1、设置 alter tab 阅读全文

posted @ 2020-06-29 11:32 北漂-boy 阅读(2692) 评论(0) 推荐(0) 编辑

判断某个值是否在数组里面

摘要： 1、定义一个字典变量 declare -A dict [hduser@yjt hive]$ dict['a']=1 [hduser@yjt hive]$ dict['b']=2 [hduser@yjt hive]$ dict['c']=3 2、判断某个值是否存在于字典的key集合里面 ① 使用循环阅读全文

posted @ 2020-06-29 10:06 北漂-boy 阅读(2390) 评论(0) 推荐(0) 编辑

使用java将ip地址与数字进行相互转换

摘要：一、将ip地址转成long数值将IP地址转化成整数的方法如下： 1、通过String的split方法按.分隔得到4个长度的数组 2、通过左移位操作（<<）给每一段的数字加权，第一段的权为2的24次方，第二段的权为2的16次方，第三段的权为2的8次方，最后一段的权为1 二、将数值转换为ip地址将十阅读全文

posted @ 2020-06-29 09:46 北漂-boy 阅读(6559) 评论(2) 推荐(1) 编辑

2020年6月23日

etcd使用

摘要：一、概述 ETCD是一个开源的、分布式的键值对数据存储系统，由Go语言实现，用于存储key-value键值对，同时不仅仅是存储，主要用途是提供共享配置及服务发现，使用Raft一致性算法来管理高度可用的复制日志。有下面特点简单：定义明确，面向用户的API（gRPC）安全：具有可选客户端证书身份验证阅读全文

posted @ 2020-06-23 18:07 北漂-boy 阅读(3657) 评论(0) 推荐(0) 编辑

2020年6月12日

解决hbase频繁掉的问题

摘要： 1、情况说明，测试集群，6台hdfs，一台hbase 在使用hbase的时候，出现hbase总是挂掉问题 2、错误现象： 2020-06-05 15:28:27,670 WARN [RS_OPEN_META-bb-cc-aa:16020-0-MetaLogRoller] wal.ProtobufLo 阅读全文

posted @ 2020-06-12 12:44 北漂-boy 阅读(2175) 评论(0) 推荐(0) 编辑

2020年6月11日

hue集成hbase

摘要：一、配置hbase 1、修改hbase-site.xml 添加如下配置： <property> <name>hbase.thrift.support.proxyuser</name> <value>true</value> </property> <property> <name>hbase.reg 阅读全文

posted @ 2020-06-11 12:25 北漂-boy 阅读(873) 评论(0) 推荐(0) 编辑

hive集成mysql

摘要：一、修改hue配置 1、配置修改如下 [librdbms] [[databases]] [[[mysql]]] # 记得打开注释，否则web界面可能报invalid literal for int() with base 10: 'Possible misconfiguration' nice_na 阅读全文

posted @ 2020-06-11 11:37 北漂-boy 阅读(270) 评论(0) 推荐(0) 编辑

hue 集成hive

摘要：一、hive 1、修改hive配置在hive-site.xml文件添加如下信息： <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.serv 阅读全文

posted @ 2020-06-11 11:09 北漂-boy 阅读(1389) 评论(0) 推荐(0) 编辑

hue集成hadoop和yarn

摘要：一、配置hadoop配置文件这里修改分为两种模式，一种是hdfs HA模式，一种是hdfs Non HA模式 1.1 非HA模式配置使用webhdfs方式 1）修改hdfs-site.xml文件，添加如下配置： <property> <name>dfs.webhdfs.enabled</name 阅读全文

posted @ 2020-06-11 09:55 北漂-boy 阅读(1158) 评论(0) 推荐(0) 编辑

2020年6月10日

Hue安装部署

摘要：一、hue介绍 HUE是一个开源的Apache Hadoop UI系统，早期由Cloudera开发，后来贡献给开源社区。它是基于Python Web框架Django实现的。通过使用Hue我们可以通过浏览器方式操纵Hadoop集群。例如put、get、执行MapReduce Job等等官方网站：ht 阅读全文

posted @ 2020-06-10 14:52 北漂-boy 阅读(7687) 评论(0) 推荐(0) 编辑

Ganglia 监控hadoop

摘要：一、Ganglia基本概述 Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个阅读全文

posted @ 2020-06-10 11:11 北漂-boy 阅读(333) 评论(0) 推荐(0) 编辑

2020年6月3日

namenode由于jn写入超时异常

摘要： namenode异常信息： 2020-06-03 04:44:42,313 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: flush failed for required journal (JournalAndStre 阅读全文

posted @ 2020-06-03 10:04 北漂-boy 阅读(1562) 评论(0) 推荐(0) 编辑

2020年5月28日

source : not found 原因及解决办法

摘要： ubuntu中shell脚本无法使用source的原因及解决方法现象： shell脚本中source aaa.sh时提示 source: not found 原因： ls -l `which sh` 提示/bin/sh -> dash 这说明是用dash来进行解析的。改回方法：命令行执行：su 阅读全文

posted @ 2020-05-28 09:35 北漂-boy 阅读(15729) 评论(0) 推荐(2) 编辑

2020年5月27日

hdfs 数据坏块导致datanode不能正常上报数据块

摘要：生产集群上，有一台datanode节点磁盘数量飙升，其中五块盘容量已经使用达到100%了，其他磁盘也基本达到90%以上。运行balancer不生效，数据还是疯长，看balancer日志，貌似balancer没有进行大量的块移动。问题现象： 2020-05-25 22:13:47,459 INFO 阅读全文

posted @ 2020-05-27 18:31 北漂-boy 阅读(1975) 评论(0) 推荐(0) 编辑

hadoop 基准测试

摘要：利用hadoop自带的测试程序测试集群性能使用TestDFSIO、mrbench、nnbench、Terasort 、sort 几个使用较广的基准测试程序测试程序在： ${HADOOP_HOME}/share/hadoop/mapreduce/ 一、查看工具 $ hadoop jar hadoo 阅读全文

posted @ 2020-05-27 15:47 北漂-boy 阅读(2534) 评论(0) 推荐(1) 编辑

2020年5月8日

exec_copy

该文被密码保护。阅读全文

posted @ 2020-05-08 16:46 北漂-boy 阅读(0) 评论(0) 推荐(0) 编辑

使用docker 制作mysql镜像2

该文被密码保护。阅读全文

posted @ 2020-05-08 16:27 北漂-boy 阅读(0) 评论(0) 推荐(0) 编辑

2020年4月30日

Linux yum 安装mysql的时候指定安装版本

摘要： 2020-04-30 1、说明本次安装的mysql版本为5.7.30，在三天前官方推出了最新的mysql5.7.30版本，而在项目中使用的mysql版本分别为5.7.28以及5.7.29(制作的docker镜像)，但是在镜像漏洞扫描的时候，扫描出来漏洞了，所以需要进行mysql的升级。本次为了在制阅读全文

posted @ 2020-04-30 13:09 北漂-boy 阅读(2175) 评论(0) 推荐(0) 编辑

2020年4月29日

如何从头构建一个只有bash的镜像

摘要：说明：本次生成的镜像是centos7版本的从官网下载对应的脚本： https://github.com/moby/moby/blob/master/contrib/mkimage-yum.sh 上面这个脚本就是centos官网用于创建docker镜像的 1、脚本具体的信息如下： #!/usr/bi 阅读全文

posted @ 2020-04-29 18:00 北漂-boy 阅读(436) 评论(0) 推荐(0) 编辑

2020年4月28日

创建自己的基础镜像

摘要： 1、把当前的环境打包 # tar --numeric-owner --exclude=/proc --exclude=/sys -cvf centos7-base.tar / 2、制作镜像把打包的tar包通过docker import 命令生成镜像，镜像名字为centos7_test # cat 阅读全文

posted @ 2020-04-28 17:09 北漂-boy 阅读(319) 评论(0) 推荐(0) 编辑

2020年4月27日

go学习（2）变量

摘要： 1、命名规范 go语言中的变量名、函数名、、方法名、包名、类型名字等所有的标识符命名，都遵循统一的规则：以unicode字母或者_下划线开头，后接任意的unicod字符、数字、下划线，就是说不能以数字开头，同时区分大小写； go语言里面的编码格式统一为utf8；以大写字母开头的，表示对外可见(在阅读全文

posted @ 2020-04-27 14:29 北漂-boy 阅读(147) 评论(0) 推荐(0) 编辑

Go学习（1）go安装

摘要：时间：2020-04-27 一、Linux安装 1、下载go安装包（1）下载地址 https://golang.google.cn/dl/ （2）下载Linux对应的安装包 2、解压与安装（1）解压 # tar zxvf go1.14.1.linux-amd64.tar.gz -C /data1 阅读全文

posted @ 2020-04-27 11:55 北漂-boy 阅读(205) 评论(0) 推荐(0) 编辑

2020年4月13日

spark on yarn 错误

摘要：使用spark on yarn跑任务的时候，出现了异常错误，错误如下： hduser@xxx:/data1/hadoop/spark/bin$ ./spark-shell --master yarn --deploy-mode client 2020-04-13 10:04:25 WARN Nati 阅读全文

posted @ 2020-04-13 11:43 北漂-boy 阅读(1129) 评论(0) 推荐(0) 编辑

2020年4月9日

mysqld: File './mysql-bin.index' not found (Errcode: 13 - Permission denied)

摘要：我们通过yum方式安装mysql,会生成mysql:mysql用户组和用户，启动mysql默认是使用mysql用户。如果我们开启了慢log日志，而且我们使用service mysqld start启动mysql,会报如题所示的错误，根据提示我们知道在my.cnf默认配置指定的/var/lib/mys 阅读全文

posted @ 2020-04-09 15:50 北漂-boy 阅读(6861) 评论(0) 推荐(0) 编辑

2020年4月7日

hbase 写入大量数据到datanode失败

摘要： 1、hbase regionserver 错误日志 2020-04-07 15:53:36,604 WARN [hadoop01:16020-0.append-pool2-t1] wal.FSHLog: Append sequenceId=3897, requesting roll of WAL j 阅读全文

posted @ 2020-04-07 16:31 北漂-boy 阅读(1181) 评论(0) 推荐(0) 编辑

2020年3月23日

个人记录

摘要：一、搜索引擎 haystack solr es whoosh 阅读全文

posted @ 2020-03-23 10:12 北漂-boy 阅读(111) 评论(0) 推荐(0) 编辑

expect 实例

摘要：实例一：拷贝远程ssh_config文件到/etc/ssh下 #!/bin/bash while read ip do ip=$ip /usr/bin/expect <<EOF set timeout 1 spawn ssh -t username@$ip sudo mv /home/deploye 阅读全文

posted @ 2020-03-23 09:56 北漂-boy 阅读(136) 评论(0) 推荐(0) 编辑

2020年3月18日

Ubuntu安装docker

摘要：注：本次安装基于联网的方式来源：docker入门与精通一、手动安装 1、查看内核版本 # uname -r # cat /proc/version 2、安装aufs存储的支持软件包 # apt-get update # apt-get install -y linux-image-extra-$ 阅读全文

posted @ 2020-03-18 11:22 北漂-boy 阅读(365) 评论(0) 推荐(0) 编辑

2020年3月14日

centos7.6 使用yum安装mysql5.7

摘要： 1、下载yum源的rmp包 # wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm 2、安装yum源 # yum -y localinstall mysql57-community-release-el 阅读全文

posted @ 2020-03-14 15:34 北漂-boy 阅读(880) 评论(0) 推荐(0) 编辑

2020年3月9日

解决hadoop本地库问题

摘要：执行hadoop的相关命令时，总提示如下： ]$ hadoop fs -ls / 2020-03-09 16:09:39,384 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 阅读全文

posted @ 2020-03-09 16:11 北漂-boy 阅读(396) 评论(0) 推荐(0) 编辑

2020年3月3日

docker-compose 启动警告

摘要：现象：启动docker-compose的时候，出现 WARNING: Some services (mysql, rsnmp) use the 'deploy' key, which will be ignored. Compose does not support 'deploy' configu 阅读全文

posted @ 2020-03-03 15:00 北漂-boy 阅读(5541) 评论(0) 推荐(0) 编辑

docker 安装zabbix5.0 界面乱码问题解决

摘要： zabbix图形界面乱码如下：解决： docker部署zabbix-web和源码安装zabbix-web一样，字体都是存储在/usr/share/zabbix/assets/fonts/ 1、从windown拷贝simkai.ttf(楷体)文件到docker的zabbix-web里面 1、字体存在阅读全文

posted @ 2020-03-03 11:43 北漂-boy 阅读(1934) 评论(0) 推荐(0) 编辑

人生就是一场自己与自己决斗的战场！

公告