摘要：
一个简单的例子！环境：CentOS6.5Hadoop集群、Hive、R、RHive，具体安装及调试方法见博客内文档。 线性回归主要用来做预测模型。 1、准备数据集： 2、确定线性回归函数：Y = β0 + β1X + ε 其中β0 + β1X 表示Y随X的变化而线性变化的部分；ε是随机误差，是一切不 阅读全文
随笔档案-2016年05月
大数据工具比较：R 语言和 Spark 谁更胜一筹？
2016-05-25 14:26 by 猎手家园, 1130 阅读, 收藏, 编辑
摘要：
本文有两重目的，一是在性能方面快速对比下R语言和Spark，二是想向大家介绍下Spark的机器学习库 背景介绍 由于R语言本身是单线程的，所以可能从性能方面对比Spark和R并不是很明智的做法。即使这种比较不是很理想，但是对于那些曾经遇到过这些问题的人，下文中的一些数字一定会让你很感兴趣。 你是否曾 阅读全文
数据分析与挖掘 - R语言：贝叶斯分类算法（案例三）
2016-05-25 14:04 by 猎手家园, 7744 阅读, 收藏, 编辑
摘要：
案例三比较简单，不需要自己写公式算法，使用了R自带的naiveBayes函数。 代码如下： 预测结果为： 和原数据一样！ *********************************这里是分割线************************************** 我们再拿这个方法来预测 阅读全文
数据分析与挖掘 - R语言：贝叶斯分类算法（案例二）
2016-05-25 13:43 by 猎手家园, 4244 阅读, 收藏, 编辑
摘要：
接着案例一，我们再使用另一种方法实例一个案例 直接上代码： 预测结果为： 可见该苹果的口味为：bad *********************************************这里是分割线************************************************ 阅读全文
数据分析与挖掘 - R语言：贝叶斯分类算法（案例一）
2016-05-25 13:31 by 猎手家园, 8864 阅读, 收藏, 编辑
摘要：
一个简单的例子！环境：CentOS6.5Hadoop集群、Hive、R、RHive，具体安装及调试方法见博客内文档。 名词解释： 先验概率：由以往的数据分析得到的概率, 叫做先验概率。 后验概率：而在得到信息之后，再重新加以修正的概率叫做后验概率。贝叶斯分类是后验概率。 贝叶斯分类算法步骤： 第一步 阅读全文
数据分析与挖掘 - R语言：KNN算法
2016-05-25 11:50 by 猎手家园, 3891 阅读, 收藏, 编辑
摘要：
一个简单的例子！环境：CentOS6.5Hadoop集群、Hive、R、RHive，具体安装及调试方法见博客内文档。 KNN算法步骤：需对所有样本点（已知分类+未知分类）进行归一化处理。然后，对未知分类的数据集中的每个样本点依次执行以下操作：1、计算已知类别数据集中的点与当前点（未知分类）的距离。2 阅读全文
R语言的scale函数
2016-05-19 10:47 by 猎手家园, 22232 阅读, 收藏, 编辑
摘要：
1、数据的中心化 所谓数据的中心化是指数据集中的各项数据减去数据集的均值。 例如有数据集1, 2, 3, 6, 3，其均值为3 那么中心化之后的数据集为1-3,2-3,3-3,6-3,3-3，即：-2,-1,0,3,0 2、数据的标准化 所谓数据的标准化是指中心化之后的数据在除以数据集的标准差，即数 阅读全文
R安装package报ERROR: a 'NAMESPACE' file is required
2016-05-18 11:09 by 猎手家园, 1674 阅读, 收藏, 编辑
摘要：
R安装package报错： 解决方案： 安装成功！ 阅读全文
极限存储之拉链表
2016-05-17 15:23 by 猎手家园, 876 阅读, 收藏, 编辑
摘要：
在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 1. 数据量比较大; 2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态， 比如，查看某一个用户在过去某一段时间 阅读全文
CentOS6.5安装sqoop2
2016-05-17 11:39 by 猎手家园, 412 阅读, 收藏, 编辑
摘要：
1、下载软件：http://archive.cloudera.com/cdh5/cdh/5/ 2、解压：tar -zxvf mysofts/sqoop2-1.99.5-cdh5.6.0.tar.gz 3、配置环境变量 4、拷贝mysql驱动包到 $SQOOP2_HOME/server/lib下 驱动 阅读全文
CentOS6.5 安装Kafka集群
2016-05-17 11:34 by 猎手家园, 1399 阅读, 收藏, 编辑
摘要：
1、安装zookeeper 参考文档：http://www.cnblogs.com/hunttown/p/5452138.html 2、下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tg 阅读全文
CentOS6.5 安装Storm集群
2016-05-17 11:26 by 猎手家园, 743 阅读, 收藏, 编辑
摘要：
1、首先安装依赖包 2、安装 zeromq 下载：http://download.zeromq.org/zeromq-4.1.2.tar.gz 解压：tar xzf zeromq-4.1.2.tar.gz 编译安装： 3、安装 jzmq (先安装JDK） 安装git： 或 如果不安装git，则使用w 阅读全文
CentOS6.5 安装Spark集群
2016-05-17 11:14 by 猎手家园, 1613 阅读, 收藏, 编辑
摘要：
一、安装依赖软件Scala（所有节点） 1、下载Scala：http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 2、解压： 3、配置scala环境变量 4、测试scala运行环境 二、安装spark 1、下载spark：http://ar 阅读全文
Linux下修改MySQL数据库字符编码为UTF-8解决中文乱码
2016-05-17 11:00 by 猎手家园, 5390 阅读, 收藏, 编辑
摘要：
由于MySQL编码原因会导致数据库出现乱码。 解决办法： 修改MySQL数据库字符编码为UTF-8，UTF-8包含全世界所有国家需要用到的字符,是国际编码。 具体操作： 1、进入MySQL控制台 2、修改mysql配置文件 3、重启MySQL服务 MySQL数据库字符集编码修改完成！ 参数说明： c 阅读全文
ODS与DW之间的关系
2016-05-13 09:22 by 猎手家园, 7152 阅读, 收藏, 编辑
摘要：
1、什么是数据仓库？ 数据仓库是面向主题的、集成的、相对稳定的、反应历史变化的数据集合，主要用于决策支持和信息的全局共享。 时效：T+1 2、什么是ODS？ ODS全称为Operational Data Store，即操作型数据存储，是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合 阅读全文
如何使用Hive&R从Hadoop集群中提取数据进行分析
2016-05-12 16:02 by 猎手家园, 7267 阅读, 收藏, 编辑
摘要：
一个简单的例子！ 环境：CentOS6.5 Hadoop集群、Hive、R、RHive，具体安装及调试方法见博客内文档。 1、分析题目 --有一个用户数据样本（表名huserinfo）10万数据左右；--其中有一个字段：身份证号（id_card）--身份证号前两位代表：省，例如：11北京，12天津， 阅读全文
CentOS6.5下实现R绘图
2016-05-12 13:31 by 猎手家园, 1956 阅读, 收藏, 编辑
摘要：
1、首先安装R的绘图包Cairo 下载地址：http://www.rforge.net/Cairo/files/ 2、检查 兼容性的检查Cairo支持的图形输出格式： 支持：png、jpeg、pdf、svg、ps、x11(Linux桌面)、raster 不支持：tiff、win（windows桌面） 阅读全文
Util.FSUtils: Waiting for dfs to exit safe mode
2016-05-08 16:15 by 猎手家园, 4262 阅读, 收藏, 编辑
摘要：
有好几次，启动Hadoop和HBase之后，执行jps命令，已经看到有HMaster的进程， 但是进入到HBase的shell，执行一个命令，会出现下面的错误： 进入到logs目录查看master的日志：发现一直显示下面的内容： 原来是Hadoop在刚启动的时候，还处在安全模式造成的。 可等Hado 阅读全文
Reported time is too far out of sync with master. Time difference of 52692ms > max allowed of 30000ms
2016-05-08 16:13 by 猎手家园, 1936 阅读, 收藏, 编辑
摘要：
RegionServer与Master的时间不一致造成的。由错误内容可以看出两台机器之间最大的误差时间为30000ms,一旦超过这个值便无法启动。 解决办法：同步RegionServer与Master的时间，最好周期性同步，具体方法请参考Linux时间同步设置： http://www.cnblogs 阅读全文
Please add or free up more resources then turn off safe mode manually.
2016-05-08 16:12 by 猎手家园, 464 阅读, 收藏, 编辑
摘要：
解决方案：硬盘满了，释放硬盘空间。 阅读全文
Permission denied: user=root, access=WRITE, inode="/":hadoopuser:supergroup:drwxr-xr-x
2016-05-08 16:11 by 猎手家园, 1445 阅读, 收藏, 编辑
摘要：
提示往HDFS写文件是不容许的。 在conf/hdfs-site.xml中加入： 阅读全文
Hadoop重新格式化HDFS的方法
2016-05-08 16:10 by 猎手家园, 9097 阅读, 收藏, 编辑
摘要：
1、查看hdfs-site.xml： 将 dfs.name.dir所指定的目录删除、dfs.data.dir所指定的目录删除 2、查看core-site.xml： 将Hadoop.tmp.dir所指定的目录删除。 3、重新执行命令：hadoop namenode -format 格式化完毕。 注意： 阅读全文
Hadoop2.6的DataNode启动不了
2016-05-08 15:59 by 猎手家园, 623 阅读, 收藏, 编辑
摘要：
从日志上看，加粗的部分说明了问题： datanode的clusterID 和 namenode的clusterID 不匹配。 解决办法： 根据日志中的路径，cd /home/hadoop/tmp/dfs 能看到 data和name两个文件夹， 将name/current下的VERSION中的clus 阅读全文
ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper create failed after 4 attempts
2016-05-08 15:55 by 猎手家园, 1562 阅读, 收藏, 编辑
摘要：
从问题看出你可能走入了一个误区——认为Hbase启动或安装出现问题。 从原理上讲，在集群中Zookeeper中会通过投票方式选举出一个Zookeeper为主，其余类似于主的热备， 而主Zookeeper会指定Hmaster，并由指定的Hmaster来进行Hbase的操作。 现在报错是ZooKeepe 阅读全文
CentOS6.5安装RHive
2016-05-08 15:54 by 猎手家园, 558 阅读, 收藏, 编辑
摘要：
1、安装RServe软件包（各个节点都要安装） 2、设置环境变量 3、创建Rserv.conf $R_HOME的目录下创建Rserv.conf文件，写入``remote enable''保存并退出。 4、拷贝文件 5、所有节点启动Rserve 如果没有Rserve请先建立软链： 启动： 验证： 6、 阅读全文
CentOS6.5安装RHBase
2016-05-08 15:42 by 猎手家园, 572 阅读, 收藏, 编辑
摘要：
1、安装依赖包 2、安装Thrift软件包 3、配置环境变量 在/etc/profile中设置环境变量PKG_CONFIG_PATH： 验证设置的正确性，在shell下输入pkg-config --cflags thrift如结果如下所示： -I/usr/local/include/thrift # 阅读全文
CentOS6.5安装RHadoop
2016-05-08 14:54 by 猎手家园, 646 阅读, 收藏, 编辑
摘要：
1、首先安装依赖包（各个节点都要安装） 2、下载RHadoop相关软件包 3、安装R语言（各个节点都要安装） 其中readline-devel、libXt-devel在编译R的时候需要，而--enable-R-shlib是安装R的共享库，在安装Rstudio需要。 4、确认Java环境变量 RHad 阅读全文
CentOS6.5安装HBase集群及多HMaster配置
2016-05-08 14:47 by 猎手家园, 834 阅读, 收藏, 编辑
摘要：
1、配置SSH免登录 请参考：http://www.cnblogs.com/hunttown/p/5470357.html 服务器配置： Hadoop-NN-01 主Hadoop-NN-02 备Hadoop-DN-01 RegionServerHadoop-DN-02 RegionServerHad 阅读全文
Linux du命令详解
2016-05-08 14:25 by 猎手家园, 11440 阅读, 收藏, 编辑
摘要：
1、命令：du 2、命令功能：显示每个文件和目录的磁盘使用空间。 3、命令参数 4、实例 显示目录或者文件所占空间： 显示指定文件所占空间： 查看指定目录的所占空间： 显示多个文件所占空间： 只显示总和的大小： 以方便阅读的格式显示： 阅读全文
Linux df命令详解
2016-05-08 14:16 by 猎手家园, 1782 阅读, 收藏, 编辑
摘要：
1、命令：df 2、命令功能：显示指定磁盘文件的可用空间。 3、命令参数： 4、实例： 显示磁盘使用情况： 显示指定类型磁盘： 以易读的方式显示目前磁盘空间和使用情况： 阅读全文
Linux date命令详解
2016-05-08 14:04 by 猎手家园, 35165 阅读, 收藏, 编辑
摘要：
1、命令：date 2、命令功能：date 可以用来显示或设定系统的日期与时间。 3、命令参数 4、日期格式字符串列表 5、实例 格式化输出： 输出昨天日期： 2秒后输出： 传说中的 1234567890 秒： 普通转格式： apache格式转换： 格式转换后时间： 加减操作： 设定时间： 检查一组 阅读全文
Linux tcpdump命令详解
2016-05-08 13:48 by 猎手家园, 770 阅读, 收藏, 编辑
摘要：
1、命令：tcpdump 2、命令参数 3、实例 也可以使用wireshark来进行抓包。 阅读全文
Linux scp命令详解
2016-05-08 13:28 by 猎手家园, 13243 阅读, 收藏, 编辑
摘要：
1、命令：scp不同的Linux之间copy文件常用有3种方法：第一种就是ftp，也就是其中一台Linux安装ftp Server，这样可以另外一台使用ftp的client程序来进行文件的copy。第二种方法就是采用samba服务，类似Windows文件copy 的方式来操作，比较简洁方便。第三种就 阅读全文
Linux配置SSH免登录
2016-05-08 12:57 by 猎手家园, 360 阅读, 收藏, 编辑
摘要：
-I 表示 input~/.ssh/id_rsa.pub 表示哪个公钥组 省略写法为： 测试： 阅读全文
Linux awk命令详解
2016-05-08 12:47 by 猎手家园, 562 阅读, 收藏, 编辑
摘要：
awk语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息。 一、awk的三种调用方式 1.命令行方式 其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是 阅读全文
Linux修改SSH登录端口
2016-05-08 10:54 by 猎手家园, 1060 阅读, 收藏, 编辑
摘要：
Linux的默认登录端口为：22，为系统安全运维都会将端口改成其它端口。 假如我们修改的端口为：3000 1、首先要配置防火墙，允许此端口通行。 /sbin/iptables -A INPUT -p tcp --dport 6000 -j ACCEPT/etc/rc.d/init.d/iptable 阅读全文
Linux系统查看日志信息总结
2016-05-08 10:21 by 猎手家园, 676 阅读, 收藏, 编辑
摘要：
命令： cat tail -f #系统日志文件存放路径： /var/log/message #系统启动后的信息和错误日志 /var/log/secure #与安全相关的日志信息 /var/log/maillog #与邮件相关的日志信息 /var/log/cron #与定时任务相关的日志信息 /var 阅读全文
Centos6.5建立本地YUM源
2016-05-06 21:57 by 猎手家园, 470 阅读, 收藏, 编辑
摘要：
很多情况下公司的服务器是不允许连外网的，那么安装软件的时候就很不方便了，这里就需要建立一个本地YUM源了。 文件位置：/etc/yum.repos.d/ 后缀一定是.repo结束。 下面我们搭建自己的yum源，所以可以把之前的都删除了。 下面配置自己的YUM源： 保存退出！ 然后清除重新建立一下缓存 阅读全文
国内外部分开源软件镜像站和部分软件官方网站
2016-05-02 22:27 by 猎手家园, 3591 阅读, 收藏, 编辑
摘要：
一、国内外部分开源软件镜像站 1、网易开源软件镜像站（ISO）：http://mirrors.163.com/ 2、上海交大开源软件镜像站（ISO）：http://ftp.sjtu.edu.cn/ 3、阿里开源软件镜像站：https://developer.aliyun.com/mirror/ 4、 阅读全文
数据分析与挖掘 - R语言：K-means聚类算法
2016-05-02 22:07 by 猎手家园, 10221 阅读, 收藏, 编辑
摘要：
一个简单的例子！环境：CentOS6.5Hadoop集群、Hive、R、RHive，具体安装及调试方法见博客内文档。 1、分析题目--有一个用户点击数据样本（husercollect）--按用户访问的时间（时）统计--要求：分析时间和点击次数的聚类情况2、数据准备 3、评估K值 评估结果： 由上图可 阅读全文
电商大数据学习笔记：用户画像
2016-05-02 21:50 by 猎手家园, 1035 阅读, 收藏, 编辑
摘要：
1、用户画像：用户信息标签化。 2、用户画像可以做什么？ ——内容正在整理中 3、show命令用法 show tables 显示所有表 例：show table like ‘…_pre_food’; show partitions 显示所有分区 例：show partitions fdm_prd_f 阅读全文
电商大数据学习笔记：实战
2016-05-02 17:17 by 猎手家园, 568 阅读, 收藏, 编辑
摘要：
1、YARN：将资源管理和作业调度/监控分成两个独立的进程。 包含两个组件：ResourceManager和ApplicationMaster 2、YARN的特性： 1）可扩展性；2）高可用性（HA）；3）兼容性（1.0版本的作业也可以执行）；4）提高集群利用率； 5）支持MapReduce编程范式 阅读全文
电商大数据学习笔记：理论
2016-05-02 16:16 by 猎手家园, 823 阅读, 收藏, 编辑
摘要：
1、大数据部门：数据中心、数据平台、数据部…… 2、每个部门都有：架构人员、数据分析人员、开发人员、运营人员…… 3、团队：数据仓库组、BI组、架构组、数据专家组…… 4、团队分的更细：需求组、推荐组、情报组、挖掘组、数据组、营销组…… 5、大数据有哪些重要的项目： 1）数据仓库建设； 2）经营分析 阅读全文
R语言学习笔记：基础知识
2016-05-02 16:00 by 猎手家园, 2262 阅读, 收藏, 编辑
摘要：
1、数据分析金字塔 2、【文件】-【改变工作目录】 3、【程序包】-【设定CRAN镜像】 【程序包】-【安装程序包】 4、向量 c() 例：x=c(2,5,8,3,5,9) 例：x=c(1:100) 表示把1 - 100的所有数字都给x这个变量 5、查看x的类型：>mode(x) 6、查看x的长度： 阅读全文
Hive学习笔记：基础语法
2016-05-02 15:44 by 猎手家园, 918 阅读, 收藏, 编辑
摘要：
Hive基础语法 1、创建表 – 用户表 hive目前支持三种方式： 1）就是最普通的textfile，数据不做压缩，磁盘开销大，解析开销也大 2）SquenceFIle,hadoop api提供的一种二进制API方式，其具有使用方便、可分割、可压缩等特点。 3）rcfile行列存储结合的方式，它会 阅读全文
Hive数据倾斜
2016-05-02 14:06 by 猎手家园, 464 阅读, 收藏, 编辑
摘要：
倾斜的原因： 使map的输出数据更均匀的分布到reduce中去，是我们的最终目标。由于Hash算法的局限性，按key Hash会或多或少的造成数据倾斜。大量经验表明数据倾斜的原因是人为的建表疏忽或业务逻辑可以规避的。 解决思路: Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage 阅读全文
Windows常用快捷键
2016-05-02 13:45 by 猎手家园, 273 阅读, 收藏, 编辑
摘要：
桌面： Windows键+D 显示桌面 Windows键+E 打开我的电脑 Windows键+L 锁定计算机或切换用户 Windows键+M 最小化所有窗口 Windows键+SHIFT+M 还原最小化的窗口 Windows键+R 打开“运行”对话框 运行中： notepad 打开记事本 cmd 打 阅读全文
Linux PS命令详解
2016-05-02 13:41 by 猎手家园, 49025 阅读, 收藏, 编辑
摘要：
命令：ps 命令格式：ps [options] [--help] 命令功能：显示瞬间行程 (process) 的动态 命令参数：ps的参数非常多, 在此仅列出几个常用的参数并大略介绍含义 -A 列出所有的进程 -w 显示加宽可以显示较多的资讯 -au 显示较详细的资讯 -aux 显示所有包含其他使用 阅读全文
Linux netstat命令详解
2016-05-02 13:40 by 猎手家园, 405 阅读, 收藏, 编辑
摘要：
命令：netstat 命令参数： -a (all)显示所有选项，默认不显示LISTEN相关 -t (tcp)仅显示tcp相关选项 -u (udp)仅显示udp相关选项 -n 拒绝显示别名，能显示数字的全部转化成数字。 -l 仅列出有在 Listen (监听) 的服務状态 -p 显示建立相关链接的程序 阅读全文
Linux开机自启配置
2016-05-02 13:39 by 猎手家园, 368 阅读, 收藏, 编辑
摘要：
1、将自己写好的脚本或命令写入/etc/rc.local文件中。系统会根据该文件来启动所指定的脚本或命令。 例：我有一个脚本：/root/usr/local/scripts/1234.sh 那么直接将其写入/etc/rc.local文件中就可实现开机启动。 2、使用chkconfig mysql o 阅读全文
Linux编辑器vim键盘详解
2016-05-02 13:38 by 猎手家园, 1200 阅读, 收藏, 编辑
摘要：
下面的这张图，一看就明白了，从此，学习变的不再艰难！ 补注：图中没有关于查找和替换的，应该用下面的。自上而下的查找操作 /word小写的n和N自下而上的查找操作 ?word小写的n和N普通替换操作 :s/old/new当前行进行匹配和替换、命令替换当前行中第一个匹配的字符行内全部替换操作:s/old 阅读全文
HTop依赖包
2016-05-02 13:33 by 猎手家园, 666 阅读, 收藏, 编辑
摘要：
htop 是一个 Linux 下的交互式的进程浏览器，可以用来替换Linux下的top命令。 1、安装HTop时需要先安装依赖包：rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm 2、然后使用yum安装即可： 3、编译安装下载地址：http://hisham.hm 阅读全文
Hive错误：Unable to load native-hadoop library for your platform
2016-05-02 13:30 by 猎手家园, 779 阅读, 收藏, 编辑
摘要：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableStarting namenodes on 阅读全文
Hive的安装与配置
2016-05-02 13:28 by 猎手家园, 890 阅读, 收藏, 编辑
摘要：
1、因为我使用MySQL做为Hive的元数据库，所以先安装MySQL。 参考：http://www.cnblogs.com/hunttown/p/5452205.html 登录命令：mysql -h主机地址 -u用户名 －p用户密码 修改密码 格式：mysqladmin -u用户名 -p旧密码 pa 阅读全文
Linux CentOS6.5下编译安装MySQL 5.6
2016-05-02 13:09 by 猎手家园, 504 阅读, 收藏, 编辑
摘要：
检查：卸载掉原有MySql 因为mysql数据库在Linux上实在是太流行了，所以目前下载的主流Linux系统版本基本上都集成了mysql数据库在里面，我们可以通过如下命令来查看我们的操作系统上是否已经安装了mysql数据库 [root@CentOS6.5 ~]# rpm -qa | grep my 阅读全文
Hadoop集群安装-CDH5（3台服务器集群）
2016-05-02 12:22 by 猎手家园, 6583 阅读, 收藏, 编辑
摘要：
CDH5包下载：http://archive.cloudera.com/cdh5/ 主机规划： IP Host 部署模块 进程 192.168.107.82 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverController 阅读全文
Hadoop集群安装-CDH5（5台服务器集群）
2016-05-02 12:08 by 猎手家园, 9279 阅读, 收藏, 编辑
摘要：
CDH5包下载：http://archive.cloudera.com/cdh5/ 架构设计： 主机规划： IP Host 部署模块 进程 192.168.254.151 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverCont 阅读全文
CentOS6.5安装Twemproxy集群
2016-05-02 11:33 by 猎手家园, 870 阅读, 收藏, 编辑
摘要：
Twemproxy,也叫Nutcraker。是一个Twtter开源的一个Redis和Memcache代理服务器。 Redis作为一个高效的缓存服务器，非常具有应用价值。但是当使用比较多的时候，就希望可以通过某种方式 统一进行管理。避免每个应用每个客户端管理连接的松散性，同时在一定程度上变得可以控制。 阅读全文
Haproxy启动故障：Starting proxy:cannot bind socke
2016-05-02 11:23 by 猎手家园, 5055 阅读, 收藏, 编辑
摘要：
Haproxy启动时提示失败： [ALERT] 146/132210 (3443) : Starting frontend Redis: cannot bind socket [0.0.0.0:6379] 这个问题，其实就是因为你的haproxy没有得到VIP的原因，而你的配置文件又绑定了VIP地址 阅读全文
Redis日常使用随笔
2016-05-02 11:18 by 猎手家园, 362 阅读, 收藏, 编辑
摘要：
Redis常用配置：1、采用master与slave互为主从的方式，两条重要命令：redis 127.0.0.1:6379> SLAVEOF NO ONEredis 127.0.0.1:6379> SLAVEOF 10.10.51.236 63792、修改为后台进程方式：daemonize yes3 阅读全文
Keepalived安装后出现的问题总结
2016-05-02 11:11 by 猎手家园, 1248 阅读, 收藏, 编辑
摘要：
1. 在配好主从备份之后，发现虚拟IP能ping通，但是访问虚拟IP对应机器上的服务(不是apache或者mysql之类的公用软件)却不成功，这是因为要访问的服务绑定了主机上的一个实体IP不是INADDR_ANY地址，所以连接不上。2.记得设置防火墙，添加VRRP通讯支持： 3、保存和重启 原理说明 阅读全文
Keepalived+HAproxy实现高可用负载均衡
2016-05-02 00:52 by 猎手家园, 8614 阅读, 收藏, 编辑
摘要：
总概： Keepalived是一个类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web 阅读全文
CentOS.56安装Redis监控工具RedisLive
2016-05-01 21:58 by 猎手家园, 480 阅读, 收藏, 编辑
摘要：
RedisLive是一款开源的基于WEB的reids的监控工具，以WEB的形式展现出redis中的key的情况，实例数据等信息！ RedisLive在github上的地址：https://github.com/nkrode/RedisLive 一、安装配置： RedisLive是使用Python语言 阅读全文
Redis+Keepalived主从热备秒级切换
2016-05-01 21:48 by 猎手家园, 651 阅读, 收藏, 编辑
摘要：
当 Master 与 Slave 均运作正常时, Master负责服务，Slave负责Standby； 当 Master 挂掉，Slave 正常时, Slave接管服务，同时关闭主从复制功能； 当 Master 恢复正常，则从Slave同步数据，同步数据之后关闭主从复制功能，恢复Master身份，于 阅读全文
CentOS6.5安装Redis数据库
2016-05-01 19:49 by 猎手家园, 368 阅读, 收藏, 编辑
摘要：
1、以安装redis2.8.19为例 下载安装包：http://redis.io 如果编译出错：error: jemalloc/jemalloc.h: No such file or directory 解决方案： 2、递归创建文件夹 3、移动文件 4、查看配置文件是否已移动 5、修改配置 6、运行 阅读全文
Java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory 解决方案
2016-05-01 17:20 by 猎手家园, 5887 阅读, 收藏, 编辑
摘要：
解决方案：缺少 commons-logging.jar，也可以添加commons-logging-1.0.4.jar，建议使用后者或者更新版本。 阅读全文
ElasticSearch安装ik分词插件
2016-05-01 15:48 by 猎手家园, 799 阅读, 收藏, 编辑
摘要：
一、IK简介 IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化 阅读全文
Elasticsearch分布式搜索集群配置
2016-05-01 15:34 by 猎手家园, 500 阅读, 收藏, 编辑
摘要：
配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你便可以进行配置。 所有的配置都可以使用环境变量，例如：node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。 下面列举一下elasti 阅读全文
Elasticsearch集群监控工具bigdesk插件安装
2016-05-01 15:32 by 猎手家园, 1589 阅读, 收藏, 编辑
摘要：
bigdesk是elasticsearch的一个集群监控工具，可以通过它来查看es集群的各种状态，如：cpu、内存使用情况，索引数据、搜索情况，http连接数等。 项目git地址： https://github.com/lukas-vlcek/bigdesk。和head一样，它也是个独立的网页程序， 阅读全文
Elasticsearch集群管理工具head插件安装
2016-05-01 15:17 by 猎手家园, 3567 阅读, 收藏, 编辑
摘要：
Elasticsearch-head是一个elasticsearch的集群管理工具，它是完全由html5编写的独立网页程序，你可以通过插件把它集成到es。或直接下载源码，在本地打开index.html运行它。该工具的git地址是： https://github.com/Aconex/elastics 阅读全文
CentOS6.5安装Elasticsearch1.7.5
2016-05-01 15:01 by 猎手家园, 871 阅读, 收藏, 编辑
摘要：
1、 首页到官方网站下载最新安装包 https://www.elastic.co/downloads/elasticsearch elasticsearch-1.7.5.tar.gz 2、 将软件包上传到 /usr/local/mypackages/ 目录下。 3、 将软件解压到 /usr/loca 阅读全文
CentOS6.5安装Maven3.2.5
2016-05-01 14:26 by 猎手家园, 862 阅读, 收藏, 编辑
摘要：
1、首先从官网下载最新的安装包http://maven.apache.org/download.cgi apache-maven-3.2.5-bin.tar.gz 2、上传安装包到 /usr/local/mypackages/ 文件夹下。 3、将软件包解压到 /usr/local 下。 4、将文件夹 阅读全文
CentOS6.5安装Tomcat8.0
2016-05-01 14:22 by 猎手家园, 484 阅读, 收藏, 编辑
摘要：
1、首先从官网下载最新的安装包 http://tomcat.apache.org/ apache-tomcat-8.0.20.tar.gz 2、上传安装包到 /usr/local/mypackages/ 文件夹下。 3、将软件包解压到 /usr/local 下。 4、将文件夹重新命名 apache- 阅读全文
CentOS6.5安装JDK1.8
2016-05-01 14:16 by 猎手家园, 2980 阅读, 收藏, 编辑
摘要：
1、查看Linux自带的JDK是否已安装（如果安装则卸载CentOS已安装的低版本） 安装好的CentOS会自带OpenJdk，用命令 java -version，会有下面的信息： 2、卸载openjdk 先查看 # rpm -qa | grep java显示如下信息： 卸载命令： 如果出现找不到o 阅读全文
CentOS6.5安装VMware Tools
2016-05-01 13:59 by 猎手家园, 611 阅读, 收藏, 编辑
摘要：
1、VMWare – 虚拟机 – 安装VMWare Tools 2-1、如果你使用的是图形服务器，那么把下面的文件拷贝到 /usr/local/packages 文件夹中。 2-1、如果你使用的是命令服务器 3、进入 /usr/local/packages 文件夹中并解压。 4、进入解压出来的文件夹 阅读全文
修改CentOS的IP地址
2016-05-01 13:24 by 猎手家园, 423 阅读, 收藏, 编辑
摘要：
一、临时修改 命令：ifconfig eth0 192.168.1.147 重启或者关机后，iP地址将会恢复到修改之前的状态。 二、永久修改 命令： vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 #网卡 TYPE=Ethernet 阅读全文
VMWare安装CentOS 6.5图解
2016-05-01 12:55 by 猎手家园, 3017 阅读, 收藏, 编辑
摘要：
1、本安装示例所使用的虚拟机：vmware workstation 12 2、从VMWare创建虚拟机开始，打开VMWare。 操作系统：CentOS 6.5 64位 IP地址：192.168.1.210 网关：192.168.1.254 DNS：202.106.2.20 说明：此步可以先不选择光盘 阅读全文
