北漂-boy

2020年3月2日

摘要：问题1、zabbix proxy 与 server不能正常发送数据 zabbix-server容器报错如下： 158:20200302:075118.359 cannot accept connection from proxy "log1" at "172.17.0.1", allowed add 阅读全文

posted @ 2020-03-02 15:58 北漂-boy 阅读(2578) 评论(1) 推荐(1) 编辑

zookeeper 超时问题

摘要：问题1： 2020-03-01 16:04:06,085 [myid:1] - INFO [QuorumPeer[myid=1]/0.0.0.0:2181:ZooKeeperServer@694] - Established session 0x10635fe2a6368f1 with negoti 阅读全文

posted @ 2020-03-02 11:07 北漂-boy 阅读(9548) 评论(1) 推荐(0) 编辑

2020年2月27日

hbase regionserver异常宕机

摘要：原因分析：线上hbase，在凌晨1点左右，发现某一台regionserver进行了重启(regionserver加了守护线程) 1、查看master日志： 2020-02-27 01:04:57,001 ERROR [RpcServer.FifoRWQ.default.read.handler=2 阅读全文

posted @ 2020-02-27 10:39 北漂-boy 阅读(2822) 评论(0) 推荐(0) 编辑

2020年2月22日

(转载)hadoop 滚动升级

摘要： hadoop2.0 支持HA,基于这个功能可进行在线升级不需要停HDFS服务注意，滚动升级只支持Hadoop 2.4.0以后的版本。JNs相对稳定，在大多数情况下升级HDFS时不需要升级，在这里描述的滚动升级过程中，只考虑NNs和DNs，而不考虑JNs和ZKNs本次测试是非联邦集群，有kerbero 阅读全文

posted @ 2020-02-22 18:06 北漂-boy 阅读(1095) 评论(0) 推荐(0) 编辑

2020年2月14日

hadoop Requested data length 86483783 is longer than maximum configured RPC length

摘要：错误： hadoop Requested data length 86483783 is longer than maximum configured RPC length 解决：修改NameNode的hdfs-site.xml配置文件，添加以下配置： <property> <name>ipc.m 阅读全文

posted @ 2020-02-14 17:28 北漂-boy 阅读(1178) 评论(0) 推荐(0) 编辑

2020年1月13日

zkfc 异常退出问题，报错Received stat error from Zookeeper. code:CONNECTIONLOSS

摘要： 2019-12-10 01:13:14,305 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server log41/10.190.7.5:2181. Will not attempt to authentic 阅读全文

posted @ 2020-01-13 09:55 北漂-boy 阅读(1674) 评论(0) 推荐(0) 编辑

2020年1月2日

hdfs异常

摘要： java.io.IOException: Requested data length 67889237 is longer than maximum configured RPC length 67108864. RPC came from 10.162.3.12 解决：修改NameNode的hd 阅读全文

posted @ 2020-01-02 13:33 北漂-boy 阅读(1024) 评论(0) 推荐(0) 编辑

2019年12月20日

hive select 出现问题 SemanticException

摘要：由于把hadoop的以下配置项 <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> 改为 <property> <name>fs.defaultFS</name> <value>h 阅读全文

posted @ 2019-12-20 19:45 北漂-boy 阅读(4231) 评论(0) 推荐(0) 编辑

2019年12月13日

kvm错误：failed to initialize KVM: Permission denied

摘要：错误1：启动kvm容器报错： # virsh start hadoop-test error: Failed to start domain hadoop-testerror: internal error: process exited while connecting to monitor: 阅读全文

posted @ 2019-12-13 11:31 北漂-boy 阅读(3878) 评论(0) 推荐(0) 编辑

2019年12月9日

docker不能正常使用cron任务

摘要：基于centos7的docker不能正常使用cron任务问题修改docker centos7镜像对应的容器的/etc/pam.d/crond文件把required 修改成sufficient，如下： account sufficient pam_access.so account include 阅读全文

posted @ 2019-12-09 16:17 北漂-boy 阅读(1092) 评论(0) 推荐(0) 编辑

2019年12月6日

hadoop jps不显示信息

摘要：使用kvm做了一个hadoop组件的镜像，使用该镜像启动，在使用jps的时候，没有任何信息显示。解决：删除/tmp下的hsper开头文件，哪个用户没有权限就删除对应的hsper**_username**文件阅读全文

posted @ 2019-12-06 15:30 北漂-boy 阅读(971) 评论(0) 推荐(1) 编辑

hbase xxx

该文被密码保护。阅读全文

posted @ 2019-12-06 11:49 北漂-boy 阅读(1) 评论(0) 推荐(0) 编辑

2019年12月4日

hadoop jps 出现空指针错误

摘要：在hadoop中安装jdk软件以后出现如下问题：错误描述 [xxx@localhost jdk1.8.0_181]$ ./bin/jps Exception in thread "main" java.lang.NullPointerException at sun.jvmstat.perfdat 阅读全文

posted @ 2019-12-04 19:30 北漂-boy 阅读(613) 评论(0) 推荐(0) 编辑

2019年11月29日

使用docker 基于centos7制作mysql镜像

该文被密码保护。阅读全文

posted @ 2019-11-29 17:05 北漂-boy 阅读(260) 评论(0) 推荐(0) 编辑

2019年11月26日

centos6 启动docker报错

摘要： 1、启动docker报错： # service docker stop Stopping docker: [ OK ] [root@RSING data2]# service docker start Starting cgconfig service: Error: cannot mount cp 阅读全文

posted @ 2019-11-26 17:53 北漂-boy 阅读(965) 评论(0) 推荐(0) 编辑

2019年11月22日

ranger 使用外置的solr

摘要：一、solrcloud部署 1、下载部署 1)、下载二进制包 #wget http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/8.3.0/solr-8.3.0-src.tgz #下载最新版 2)、解压 #tar zxvf solr-8.3.0 阅读全文

posted @ 2019-11-22 16:39 北漂-boy 阅读(1916) 评论(0) 推荐(0) 编辑

2019年11月19日

ranger整合kerberos

摘要：一、生成主体在kerberos服务器生成用于ranger的用户主体： # kadmin.local addprinc -randkey HTTP/manager1@HADOOP.COM addprinc -randkey rangadmin/manager1@HADOOP.COM ktadd -n 阅读全文

posted @ 2019-11-19 11:12 北漂-boy 阅读(2011) 评论(0) 推荐(0) 编辑

2019年11月13日

统计一个域名的访问量

摘要：文件如下： [root@manager1 bin 17:26:53]#cat mm.txt www.baidu.com|1|192.168.1.2|23 www.google.com|1|192.168.2.3|12 www.baidu.com|1|192.168.1.2|37 www.baidu. 阅读全文

posted @ 2019-11-13 17:30 北漂-boy 阅读(809) 评论(0) 推荐(0) 编辑

2019年11月11日

hbase 整合ranger

摘要：一、安装hbase插件 1、解压安装插件从target目录下拷贝ranger-2.1.0-SNAPSHOT-hbase-plugin.tar.gz到hbase集群，你的这个包的版本可能跟我不一致。在hbase集群解压hbase插件包 # tar zxvf ranger-2.1.0-SNAPSHO 阅读全文

posted @ 2019-11-11 19:15 北漂-boy 阅读(2827) 评论(1) 推荐(1) 编辑

hive 整合ranger

摘要：一、安装hive插件 1、解压安装 # tar zxvf ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz -C /data1/hadoop/ 2、修改install.properties POLICY_MGR_URL=http://192.168.4.50:6080 阅读全文

posted @ 2019-11-11 19:12 北漂-boy 阅读(6447) 评论(0) 推荐(0) 编辑

hdfs、yarn集成ranger

摘要：一、安装hdfs插件从源码安装ranger的服务器上拷贝hdfs的插件到你需要安装的地方 1、解压安装 # tar zxvf ranger-2.1.0-hdfs-plugin.tar.gz -C /data1/hadoop 2、修改插件配置文件，如下 # cd /data1/hadoop/rang 阅读全文

posted @ 2019-11-11 19:12 北漂-boy 阅读(3145) 评论(5) 推荐(0) 编辑

(转载)ranger原理

摘要：文章目录一、业务背景现状&&需求二、大数据安全组件介绍与对比1、Kerberos2、Apache Sentry3、Apache Ranger4、为什么我们选择Ranger三、Apache Ranger系统架构及实践1、架构介绍2、组件介绍3、权限模型4、权限实现Hdfs实现原理Hbase实现原理Hi 阅读全文

posted @ 2019-11-11 19:02 北漂-boy 阅读(3705) 评论(0) 推荐(1) 编辑

Ranger部署

摘要：一、Apache Ranger是什么？ Apache Ranger是一个框架，Hadoop上对于保护数据数据安全性的安全框架。用于在整个Hadoop平台上启用，监视和管理全面的数据安全性。二、特性 Apache Ranger具有以下特性：集中式安全管理，可在中央UI或使用REST API管理所有阅读全文

posted @ 2019-11-11 18:37 北漂-boy 阅读(5237) 评论(1) 推荐(0) 编辑

2019年11月8日

Apache ranger整合hive报错记录

摘要：版本信息如下： hadoop2.9.2 hive 2.x ranger 最新版2.1.0 在hive端部署完ranger 插件以后，在使用beeline连接查询数据库时报错，报错信息如下： verbose: on 0: jdbc:hive2://192.168.0.9:10000> show dat 阅读全文

posted @ 2019-11-08 20:29 北漂-boy 阅读(2576) 评论(1) 推荐(0) 编辑

2019年11月6日

solr(一) 单节点安装部署

摘要：一、solr简介 1、什么是solr？ Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。 2、solr特阅读全文

posted @ 2019-11-06 15:44 北漂-boy 阅读(556) 评论(0) 推荐(0) 编辑

2019年10月31日

presto集成kerberos以及访问集成了kerberos的hive集群

摘要： 1、创建主体注： 192.168.0.230 为单节点集群 192.168.4.50为kdc服务器 192.168.0.9为客户端 1.1、Kdc服务器创建主体 # kadmin.local -q ‘addprinc -randkey presto’ #kadmin.local -q ‘addpr 阅读全文

posted @ 2019-10-31 10:02 北漂-boy 阅读(2488) 评论(2) 推荐(0) 编辑

spark集成kerberos

摘要： 1、生成票据 1.1、创建认证用户登陆到kdc服务器，使用root或者可以使用root权限的普通用户操作： # kadmin.local -q “addprinc -randkey spark/yjt” 1.2、生成密钥文件生成spark密钥文件 # kadmin.local -q “xst - 阅读全文

posted @ 2019-10-31 10:01 北漂-boy 阅读(4168) 评论(0) 推荐(0) 编辑

hive集成kerberos

摘要： 1、票据的生成 kdc服务器操作，生成用于hive身份验证的principal 1.1、创建principal # kadmin.local -q “addprinc -randkey hive/yjt” 1.2、创建秘钥文件 # kadmin.local -q “xst -norankey -k 阅读全文

posted @ 2019-10-31 09:57 北漂-boy 阅读(5752) 评论(0) 推荐(0) 编辑

zookeeper、hbase集成kerberos

摘要： 1、KDC创建principal 1.1、创建认证用户登陆到kdc服务器，使用root或者可以使用root权限的普通用户操作： # kadmin.local -q “addprinc -randkey hbase/yjt” # kadmin.local -q “addprinc -randkey 阅读全文

posted @ 2019-10-31 09:55 北漂-boy 阅读(4726) 评论(0) 推荐(0) 编辑

hdfs、yarn集成kerberos

摘要： 1、kdc创建principal 1.1、创建认证用户登陆到kdc服务器，使用root或者可以使用root权限的普通用户操作： # kadmin.local -q “addprinc -randkey hdfs/yjt” # kadmin.local -q “addprinc -randkey y 阅读全文

posted @ 2019-10-31 09:52 北漂-boy 阅读(3244) 评论(2) 推荐(0) 编辑

2019年10月24日

kerberos(一) 详解

摘要： pass 阅读全文

posted @ 2019-10-24 19:24 北漂-boy 阅读(408) 评论(0) 推荐(0) 编辑

Kerberos(一) 安装

摘要： 1、服务器基本信息操作系统：centos7 数量：2 主机名映射关系 2、安装ntp服务 NTP服务搭建 3、安装kerber 3.1、安装 server端： client端如果想源码编译安装，可下载：https://kerberos.org/dist/index.html 配置kerberos 阅读全文

posted @ 2019-10-24 18:39 北漂-boy 阅读(4464) 评论(0) 推荐(2) 编辑

2019年10月18日

kerberos 配置错误记录

摘要：服务端错误记录： 1、服务端在创建数据库的时候报如下错误：错误提示：kdb5_util: Improper format of Kerberos configuration file while initializing Kerberos code 原因以及解决办法：这是由于/etc/krb5.c 阅读全文

posted @ 2019-10-18 18:12 北漂-boy 阅读(10968) 评论(0) 推荐(0) 编辑

2019年10月9日

安装虚拟环境

摘要：安装虚拟环境1、pip install virtualenv2、pip install virtualenvwrapper3、修改.bashrc配置文件，添加如下信息到文件夹export WORKER_HOME=${HOME}/.virtualenvssource /data/anaconda3/b 阅读全文

posted @ 2019-10-09 22:50 北漂-boy 阅读(127) 评论(0) 推荐(0) 编辑

hbase 由于zookeeper问题导致连接失败问题

摘要：问题现象：使用hbase shell 连接报如下问题： 2019-10-09 10:37:18,855 ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper exists failed after 4 attempts2019-10-09 1 阅读全文

posted @ 2019-10-09 10:55 北漂-boy 阅读(9978) 评论(0) 推荐(0) 编辑

2019年9月25日

Python 判断文件/目录是否存在

摘要：使用os模块 1、判断是否是文件 2、判断是否是目录 3、判断路径是否存在使用pathlib模块使用payhlib模块也可以判断磁盘是否损坏借鉴：https://shockerli.net/post/python-study-note/ 阅读全文

posted @ 2019-09-25 17:22 北漂-boy 阅读(5589) 评论(0) 推荐(0) 编辑

2019年9月23日

mysql5.7设置默认的字符集

摘要：修改/etc/my.cnf文件一、在[mysqld]下添加： default-storage-engine=INNODB character-set-server=utf8 collation-server=utf8_general_ci 二、在[mysql]下添加 default-charact 阅读全文

posted @ 2019-09-23 10:09 北漂-boy 阅读(4182) 评论(0) 推荐(1) 编辑

2019年9月10日

mysql 提示ssl问题

摘要：问题信息如下：上诉问题是在使用hive链接mysql报出来的问题，解决办法在上述的信息中也提供了，修改hive的配置文件hive-site.xml 阅读全文

posted @ 2019-09-10 17:45 北漂-boy 阅读(1012) 评论(0) 推荐(0) 编辑

Ubuntu 安装MySQL报共享库找不到

摘要：错误信息1：解决办法：安装改库继续安装，报错，错误如下解决，安装libnuma1 接下来就可以正常初始化了。阅读全文

posted @ 2019-09-10 17:19 北漂-boy 阅读(918) 评论(0) 推荐(0) 编辑

2019年9月6日

hbase 监控指标项

摘要：名词解释 JMX：Java Management Extensions，用于用于Java程序扩展监控和管理项 GC：Garbage Collection，垃圾收集，垃圾回收机制指标项来源主机名 url 192.168.20.10 http://192.168.20.10:60010/jmx 19 阅读全文

posted @ 2019-09-06 17:48 北漂-boy 阅读(2012) 评论(0) 推荐(0) 编辑

人生就是一场自己与自己决斗的战场！

公告