摘要：
1、首先下载一个Hadoop包，仅Hadoop即可。 http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 2、打开Idea新建一个java项目。 3、项目配置 File Project St 阅读全文
随笔档案-2016年08月
在Hadoop平台跑python脚本
2016-08-26 11:08 by 猎手家园, 5129 阅读, 收藏, 编辑
摘要：
1、开发IDE，我使用的是PyCharm。 2、运行原理 使用python写MapReduce的“诀窍”是利用Hadoop流的API，通过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。我们唯一需要做的是利用Python的sys.stdin读取输入数据，并 阅读全文
Hadoop常用命令
2016-08-26 10:03 by 猎手家园, 1212 阅读, 收藏, 编辑
摘要：
1、查看Hadoop HDFS支持的所有命令 hdfs dfs 2、查看指定目录下内容 hdfs dfs –ls [文件目录] eg：hdfs dfs –ls /user/hive 3、循环列出目录、子目录及文件信息 hdfs dfs –lsr [文件目录] eg：hdfs dfs –lsr /us 阅读全文
CentOS6.5 安装Zookeeper集群
2016-08-25 16:33 by 猎手家园, 1299 阅读, 收藏, 编辑
摘要：
1、下载解压 2、配置环境变量：vi ~/.bashrc 或者 vi /etc/profile 3、修改日志输出 4、修改配置文件 5、设置myid （1）Zookeeper-01： （2）Zookeeper -02： （3）Zookeeper -03： 6、各结点启动： 7、验证 8、状态 9、附 阅读全文
MySQL常用命令
2016-08-24 18:53 by 猎手家园, 270 阅读, 收藏, 编辑
摘要：
一、连接MYSQL格式： mysql -h主机地址 -u用户名 －p用户密码1、连接到本机上的MYSQL。首先打开DOS窗口，然后进入目录mysql\bin，再键入命令mysql -u root -p，回车后提示你输密码.注意用户名前可以有空格也可以没有空格，但是密码前必须没有空格，否则让你重新输入 阅读全文
MongoDB常用命令
2016-08-24 18:44 by 猎手家园, 286 阅读, 收藏, 编辑
摘要：
成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。 1、输入help可以看到基本操作命令： MongoDB没有创建数据库的命令，但有类似的命令。如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（如：db.creat 阅读全文
单机安装HBase
2016-08-24 15:59 by 猎手家园, 5884 阅读, 收藏, 编辑
摘要：
1、首先从官网上下载HBase安装包 http://mirrors.hust.edu.cn/apache/hbase/1.2.2/hbase-1.2.2-bin.tar.gz 2、解压缩到安装目录 /usr/local 3、修改conf/hbase-env.sh 4、修改conf/hbase-sit 阅读全文
编写运行R脚本
2016-08-24 11:07 by 猎手家园, 15088 阅读, 收藏, 编辑
摘要：
1、在后台运行R 1.1 创建file.R文件 1.2 在文件首行键入： 1.3 在下面的行中，键入R代码 1.4 保存(记得有png(),jpeg(),...等函数的代码最后一定要有dev.off()) 1.5 在file.R的工作目录下，在终端中输入以下命令: 1.6 file.R被运行了！！！ 阅读全文
R语言归一化处理
2016-08-24 10:59 by 猎手家园, 18953 阅读, 收藏, 编辑
摘要：
归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。 R语言中的归一化函数：scale 数据归一化包括数据的中心化和数据的标准化。 1. 数据的中心化所谓数据的中心化是指数据集中的各项数据减去数据集的均 阅读全文
HBase 常用Shell命令
2016-08-23 16:17 by 猎手家园, 15563 阅读, 收藏, 编辑
摘要：
1、进入hbase shell console 2、表的管理 3、权限管理 4、表数据的增删改查 5、Region管理 6、配置管理及节点重启 7、坑坑坑，Hbase shell退格键不好使。 用Xshell登陆linux主机后，在hbase shell下死活不能使用backspace和delete 阅读全文
HBase基础知识
2016-08-23 16:00 by 猎手家园, 2007 阅读, 收藏, 编辑
摘要：
一、HBase中的表一般有这样的特点： 1、大：一个表可以有上亿行，上百万列。 2、面向列：面向列(族)的存储和权限控制，列(族)独立检索。 3、稀疏：对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。 二、HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(ro 阅读全文
Tomcat启动脚本
2016-08-11 13:47 by 猎手家园, 1087 阅读, 收藏, 编辑
摘要：
Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。 阅读全文
Nginx配置文件详解
2016-08-11 10:23 by 猎手家园, 98149 阅读, 收藏, 编辑
摘要：
Nginx是一款面向性能设计的HTTP服务器，相较于Apache、lighttpd具有占有内存少，稳定性高等优势。 阅读全文
数据分析常见数学公式（更新中...）
2016-08-10 18:25 by 猎手家园, 7462 阅读, 收藏, 编辑
摘要：
1、方差：就是和中心偏离的程度！用来衡量一批数据的波动大小（即这批数据偏离平均数的大小）并把它叫做这组数据的方差。标准差是方差平方根。 公式： 举例：比如1.2.3.4.5 这五个数的平均数是3 方差就是： 即：1/5[（1-3）²+（2-3）²+（3-3）²+（4-3）²+（5-3）²]=2 2、 阅读全文
数学公式基础知识（更新中...）
2016-08-10 18:18 by 猎手家园, 632 阅读, 收藏, 编辑
摘要：
一、概率 1、定义： 对于古典试验中的事件A，它的概率定义为：P（A）=m/n，其中n表示该试验中所有可能出现的基本结果的总数目。m表示事件A包含的试验基本结果数。 由于频率nA/n总是介于0和1之间，从概率的统计定义可知，对任意事件A，皆有0≤P（A）≤1，P(Ω)=1，P（Φ）=0。其中Ω、Φ分 阅读全文
CentOS6.5安装nginx1.20
2016-08-10 18:06 by 猎手家园, 1590 阅读, 收藏, 编辑
摘要：
1、下载Nginx http://nginx.org/en/download.html nginx-1.20.0.tar.gz （已验证到当前版本） 2、安装依赖 依赖包安装顺序依次为：openssl、zlib、pcre 注：如果没有安装c++编译环境，还得安装，通过yum install gcc- 阅读全文
CentOS6.5安装MongoDB
2016-08-10 15:46 by 猎手家园, 1911 阅读, 收藏, 编辑
摘要：
1、下载MongoDB http://www.mongodb.org/downloads mongodb-linux-x86_64-3.2.8.tgz #目前最新版 2、建议关闭selinux 3、关闭防火墙或都增加MongoDB端口 #清空防火墙 #增加端口 或 4、解压MongoDB 5、创建数 阅读全文
