别先生 - 博客园

2017年12月12日

Caused by: org.xml.sax.SAXParseException; systemId: file:/home/hadoop/hive-0.12.0/conf/hive-site.xml; lineNumber: 5; columnNumber: 2; The markup in the document following the root element must be well

摘要： 1：Hive安装的过程（Hive启动的时候报的错误），贴一下错误，和为什么错，以及解决方法： 2：我的错误主要是配置Hive-site.xml的时候少写了开头和结尾的<configuration></configuration>，导致的错误，下面贴一下这个配置文件易错的地方：停更...... 天霸阅读全文

posted @ 2017-12-12 15:33 别先生阅读(7215) 评论(0) 推荐(0) 编辑

2017年12月10日

[ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

摘要： 1：出现此种错误应该是jar版本包冲突了，启动hive的时候，由于hive依赖hadoop，启动hive，会将hadoop的配置以及jar包等等导入到hive中，导致jar包版本冲突，下面贴一下错误，然后贴一下解决方法： 2：hive里面的这个jar包是jline-2.12.jar，而hadooo 阅读全文

posted @ 2017-12-10 11:11 别先生阅读(3675) 评论(0) 推荐(0) 编辑

Caused by: java.net.ConnectException: Call From master/192.168.199.130 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.

摘要： 1：安装好hive，准备启动的时候出现下面的错误（由于hive是基于Hadoop的，所以必须先将你的集群启动起来，我就是没有启动集群，直接启动hive导致的错误）： 2：启动你的集群，然后再启动你的hive再次尝试： 3：启动完集群以后再次启动hive的时候依旧还报错，不过是新的错误，如下所示，解决阅读全文

posted @ 2017-12-10 11:02 别先生阅读(8805) 评论(0) 推荐(0) 编辑

2017年12月9日

file /usr/share/mysql/charsets/README from install of MySQL-server-5.1.73-1.glibc23.i386 conflicts with file from package mysql-libs-5.1.73-8.el6_8.i686

摘要： 1：也许之前的机器安装过Mysql，但是自己不知道，账号密码也忘记了，又执行安装操作，导致Mysql不兼容问题。Linux上安装MySQL时出现不兼容的解决办法，错误如下所示： 2：出现问题了，就解决呗，原因是系统已经安装了其他版本的mysql-libs包导致不兼容。可以使用命令查看yum lis 阅读全文

posted @ 2017-12-09 23:44 别先生阅读(3364) 评论(1) 推荐(0) 编辑

大数据平台网站日志分析系统

摘要： 1：大数据平台网站日志分析系统，项目技术架构图： 2：大数据平台网站日志分析系统，流程图解析，整体流程如下： ETL即hive查询的sql; 但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统BI完全不同: 1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 阅读全文

posted @ 2017-12-09 22:52 别先生阅读(6604) 评论(0) 推荐(2) 编辑

The authenticity of host 'slaver2 (192.168.199.132)' can't be established. RSA key fingerprint is cc:4e:23:01:ca:97:52:21:85:78:bc:29:ca:b3:12:52.

摘要： 1：ssh登录　The authenticity of host 192.168.199.132 can't be established.　的问题问题出现了，总要解决吧，百度一下，详细介绍的很多，这里不做多叙述，使用百度的方法可以很好解决问题，这里脑补一下： ssh -o StrictHostK 阅读全文

posted @ 2017-12-09 17:48 别先生阅读(3509) 评论(0) 推荐(0) 编辑

Hadoop集群最迅速的配置免密码登陆方法

摘要： 1：多台机器互相免密登陆的思路（默认你的linux操作系统已经安装好ssh）：第一步：在各自的机器上面生成密钥：在第1台机器上生产一对钥匙： ssh-keygen -t rsa 在第2台机器上生产一对钥匙： ssh-keygen -t rsa 在第3台机器上生产一对钥匙： ssh-keygen 阅读全文

posted @ 2017-12-09 16:30 别先生阅读(1363) 评论(0) 推荐(0) 编辑

2017年11月30日

前后台交互经常使用的技术汇总（后台：Java技术，前台：Js或者Jquery）

摘要： 1：由于针对特定的前后台交互用到的知识总结，所以不大量贴代码，主要给出思路，方便自己以后脑补和技术总结，当然也希望可以帮助到别人。后台Json和其他格式转化，之前总结过Json和对象，集合，字符串的转化或者互相转化，这里我想网上有很多demo。 servlet，或者strtus2或者SpringM 阅读全文

posted @ 2017-11-30 16:50 别先生阅读(16696) 评论(1) 推荐(1) 编辑

2017年11月25日

java.lang.NullPointerException at java.lang.ProcessBuilder.start(Unknown Source) at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)

摘要： 1：问题出现的原因，部署好的hadoop-2.6.4进行window10操作hadoop api出现的错误，具体错误是我向hdfs上传文件，还好点，之前解决过，这里不叙述，这里说一下从hdfs下载文件出现的错误：详细错误如下所示：确实如很多网友说的：出现原因：缺少hadoop.dll或winut 阅读全文

posted @ 2017-11-25 17:28 别先生阅读(3677) 评论(0) 推荐(0) 编辑

2017年11月24日

17/11/24 05:08:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

摘要： 2017-11-24 21:20:25 1：什么叫失望，什么叫绝望。总之是一脸懵逼的继续...... 之前部署的hadoop都是hadoop-2.4.1.tar.gz，这几天换成了hadoop-2.6.4.tar.gz，部署老生常谈，启动就不一样了，本来吧，也就是warn，不是error，启动hdf 阅读全文

posted @ 2017-11-24 21:58 别先生阅读(2341) 评论(0) 推荐(0) 编辑

2017年11月18日

org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /eclipse20171118

摘要： 1：如果有一天，你有幸看到了这个错误，也许你像我一样low，因为此时，你已经准备开发Zookeeper程序了，却还没有把Zookeeper的服务启动起来。解决办法，启动你的Zookeeper。记得启动起来以后进行查看。如果你的Zookeeper启动起来了，还报这个错误，那么就是关闭防火墙即可。阅读全文

posted @ 2017-11-18 17:13 别先生阅读(5370) 评论(1) 推荐(0) 编辑

java.net.UnknownHostException: master

摘要： 1：如果你报这个错误，第一反应应该是本地的host文件没有配置服务器名称和对应的ip地址，这个反应就对了。贴一下错误和解决方法： windows下开发大数据相关的应用程序，HBase部署在linux环境中，在运行调试时可能会出现无法找到主机，类似异常信息如上所贴：解决办法如下：在C:\WINDOWS 阅读全文

posted @ 2017-11-18 17:09 别先生阅读(7797) 评论(1) 推荐(0) 编辑

2017年11月17日

Give root password for maintenance(or type control -D to continue)

摘要： 2017-09-30 18:12:08 1：错误如图，本来开机准备用一下虚拟机，就出现一个这，为啥记录一下呢，因为网上好多不是很靠谱。原因可能是之前关闭虚拟机的时候不小心出现异常了： 2：解决办法：个人根据自己的磁盘分区情况，进行修复即可； 2017-09-30 18:14:50 阅读全文

posted @ 2017-11-17 18:16 别先生阅读(2226) 评论(0) 推荐(0) 编辑

2017年11月16日

软件自动化部署脚本

摘要： 2017-11-16 20:19:53 1：设计思路：（1）软件自动化部署脚本，即在一台虚拟机运行脚本，就将其他虚拟机上面的软件安装好了；（2）而前提是自己的机器搭建好了yum网络版仓库（本地yum仓库的安装配置，如果没网了，做一个局域网内的yum仓库），这样在一台机器上面运行脚本，其他机器可以阅读全文

posted @ 2017-11-16 22:29 别先生阅读(6111) 评论(0) 推荐(0) 编辑

2017年11月13日

关于yum网络版仓库（本地yum仓库的安装配置，如果没网了，做一个局域网内的yum仓库）

摘要： 2017-11-13 22:49:48 1：两种方式： a、每一台机器都配一个本地文件系统上的yum仓库 file:///packege/path/ b、在局域网内部配置一台节点(server-base)的本地文件系统yum仓库，然后将其发布到web服务器中，其他节点就可以通过http://serv 阅读全文

posted @ 2017-11-13 23:55 别先生阅读(2274) 评论(0) 推荐(0) 编辑

2017年11月12日

一脸懵逼学习keepalived（对Nginx进行热备）

摘要： 1：Keepalived的官方网址：http://www.keepalived.org/ 2：Keepalived：可以实现高可靠；高可靠的概念： HA(High Available), 高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。 3：高可阅读全文

posted @ 2017-11-12 22:25 别先生阅读(2179) 评论(0) 推荐(1) 编辑

一脸懵逼学习Nginx及其安装，Tomcat的安装

摘要： 1：Nginx的相关概念知识： 1.1：反向代理：反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。 1.2：负载阅读全文

posted @ 2017-11-12 17:27 别先生阅读(1121) 评论(1) 推荐(0) 编辑

2017年11月8日

一脸懵逼学习Linux的Shell编程

摘要： 1：什么是Shell？？？（1）Shell是用户与内核进行交互操作的一种接口，目前最流行的Shell称为bash Shell（2）Shell也是一门编程语言<解释型的编程语言>，即shell脚本（3）一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shel 阅读全文

posted @ 2017-11-08 20:19 别先生阅读(398) 评论(0) 推荐(0) 编辑

2017年11月3日

一脸懵逼学习KafKa集群的安装搭建--（一种高吞吐量的分布式发布订阅消息系统）

摘要： 1：KafKa的官方网址：http://kafka.apache.org/ 开发流程图，如： 2：KafKa的基础知识： 2.1：kafka是一个分布式的消息缓存系统。2.2：kafka集群中的服务器都叫做broker。2.3：kafka有两类客户端，一类叫producer（消息生产者），一类叫做c 阅读全文

posted @ 2017-11-03 15:48 别先生阅读(2532) 评论(0) 推荐(0) 编辑

2017年11月1日

一脸懵逼学习Storm的搭建--（一个开源的分布式实时计算系统）

摘要： Storm的官方网址：http://storm.apache.org/index.html 1:集群部署的基本流程(基本套路)：集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群; 1：安装一个zookeeper集群，之前已经部署过，这里省略，贴一下步骤；安装配置zooe 阅读全文

posted @ 2017-11-01 09:31 别先生阅读(637) 评论(0) 推荐(1) 编辑

代码改变世界，你改变代码===>你改变世界。老铁，没毛病。Date：2017/11/22

爱生活，爱工作。