12 2014 档案

摘要:版本:redis-2.8.19.tar.gz检查下面依赖是否安装,如果没有要先安装,不然会有异常。yum install gcc-c++yum install -y tcl。1、获取安装文件redis-2.8.19.tar.gzhttp://redis.io/download2、解压文件tar -x... 阅读全文
posted @ 2014-12-31 00:13 JamesFan 阅读(148) 评论(0) 推荐(0) 编辑
摘要:此篇文章基于hive官方英文文档翻译,有些不好理解的地方加入了我个人的理解,官方的英文地址为:1.https://cwiki.apache.org/confluence/display/Hive/StorageHandlers2.https://cwiki.apache.org/confluence... 阅读全文
posted @ 2014-12-26 02:21 JamesFan 阅读(495) 评论(0) 推荐(0) 编辑
摘要:hive与hbase数据类型对应关系当hbase中double,int 类型以byte方式存储时,用字符串取出来必然是乱码。在hivd与hbase整合时也遇到这个问题:做法是:#b1.加#bCREATE EXTERNAL TABLE hivebig (key string,CUST_NAME str... 阅读全文
posted @ 2014-12-26 02:20 JamesFan 阅读(848) 评论(0) 推荐(0) 编辑
摘要:列类型Hive支持的数据类型如下:原生类型:TINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGBINARY(Hive0.8.0以上才可用)TIMESTAMP(Hive0.8.0以上才可用)复合类型:arrays:ARRAYmaps:MAPstructs:... 阅读全文
posted @ 2014-12-26 00:09 JamesFan 阅读(939) 评论(0) 推荐(0) 编辑
摘要:hive的启动需要使用到zookeeper, 所以, 要么自己搭建zookeeper, 要么跟其它东西一起使用, 我这里做的是跟hbase一起使用的zookeeper, 因为hbase自带zookeeper, hbase启动就会启动zookeeper, 而hive默认会连接本机的2181端口, 所以... 阅读全文
posted @ 2014-12-25 23:01 JamesFan 阅读(1339) 评论(0) 推荐(0) 编辑
摘要:Impala介绍Impala支持的文件格式Impala可以对Hadoop中大多数格式的文件进行查询。它能通过create table和insert的方式将一部分格式的数据加载到table中,但值得注意的是,有一些格式的数据它是无法写入的(write to)。对于Impala无法写入的数据格式,我们只... 阅读全文
posted @ 2014-12-25 15:27 JamesFan 阅读(776) 评论(0) 推荐(0) 编辑
摘要:本文以ZooKeeper3.4.3版本的官方指南为基础:http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html,补充一些作者运维实践中的要点,围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门,关于这方... 阅读全文
posted @ 2014-12-24 14:49 JamesFan 阅读(743) 评论(0) 推荐(0) 编辑
摘要:导出:bin/hbase org.apache.hadoop.hbase.mapreduce.Export bigtable /user/bigtable_bak/导入:bin/hbase org.apache.hadoop.hbase.mapreduce.Import test_copy hdfs... 阅读全文
posted @ 2014-12-22 16:30 JamesFan 阅读(254) 评论(0) 推荐(0) 编辑
摘要:环境:centos6.5x64 ,cdh5.1.0三个节点:c1:gmeta gmond(gmeta类似于namenode,gmond相当于datanode)主节点c2: gmond (相当于datanode)c3:gmond(相当于datanode)一.Ganglia介绍Ganglia是UC Be... 阅读全文
posted @ 2014-12-14 21:34 JamesFan 阅读(194) 评论(0) 推荐(0) 编辑
摘要:注:地址可能会变RHEL/CentOS 7 64 Bit# wget http://dl.fedoraproject.org/pub/epel/beta/7/x86_64/epel-release-7-0.2.noarch.rpm# rpm -ivh epel-release-7-0.2.noarc... 阅读全文
posted @ 2014-12-14 16:44 JamesFan 阅读(339) 评论(0) 推荐(0) 编辑
摘要:Hbase对Mapreduce API进行了扩展,方便Mapreduce任务读写HTable数据。package taglib.customer;import java.io.IOException; import org.apache.hadoop.conf.Configuration; im... 阅读全文
posted @ 2014-12-11 18:34 JamesFan 阅读(160) 评论(0) 推荐(0) 编辑
摘要:MapReduce相关配置参数分为两部分,分别是JobHistory Server和应用程序参数,Job History可运行在一个独立节点上,而应用程序参数则可存放在mapred-site.xml中作为默认参数,也可以在提交应用程序时单独指定,注 意,如果用户指定了参数,将覆盖掉默认参数。以下这些... 阅读全文
posted @ 2014-12-08 20:11 JamesFan 阅读(230) 评论(0) 推荐(0) 编辑
摘要:name说明mapred.task.profile是否对任务进行profiling,调用java内置的profile功能,打出相关性能信息mapred.task.profile.{maps|reduces}对几个map或reduce进行profiling。非常影响速度,建议在小数据量上尝试mapre... 阅读全文
posted @ 2014-12-08 19:56 JamesFan 阅读(314) 评论(0) 推荐(0) 编辑
摘要:hadoop作业调优参数整理及原理10/22. 20131 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并... 阅读全文
posted @ 2014-12-08 19:52 JamesFan 阅读(270) 评论(0) 推荐(0) 编辑
摘要:-XX:+PrintGC 在eclipse控制台打印简单的GC信息,与-verbose:gc一样-verbose:gc 在eclipse控制台打印简单的GC信息-XX:+PrintGCDetails //打印GC详细信息到控制台-XX:+PrintGCDetails -Xloggc:gc.log /... 阅读全文
posted @ 2014-12-03 23:20 JamesFan 阅读(117) 评论(0) 推荐(0) 编辑
摘要:yum方式安装的mysql1、yum remove mysql mysql-server mysql-libs compat-mysql512、rm -rf /var/lib/mysql3、rm /etc/my.cnf查看是否还有mysql软件:rpm -qa|grep mysql如果存在的话,继续... 阅读全文
posted @ 2014-12-02 20:49 JamesFan 阅读(151) 评论(0) 推荐(0) 编辑
摘要:1. 使用方式:ln [option] source_file dist_file-f 建立时,将同档案名删除.-i 删除前进行询问.ln -s abc cde 建立abc 的软连接ln abc cde 建立abc的硬连接,2. 软链接与硬链接的区别(通俗):硬链接可认为是一个文件拥有两个文件名;而... 阅读全文
posted @ 2014-12-01 21:13 JamesFan 阅读(14415) 评论(0) 推荐(0) 编辑
摘要:测试机器的硬件信息:查看CPU信息(型号)# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c8 Intel(R) Xeon(R) CPU E5410 @ 2.33GHz(看到有8个逻辑CPU, 也知道了CPU型号)www.2cto.com#... 阅读全文
posted @ 2014-12-01 19:37 JamesFan 阅读(2237) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示