恩蒙

摘要： 1 首先安装epel扩展源： sudo yum -y install epel-release 2 然后安装python-pip sudo yum -y install python-pip 3安装完之后别忘了清除一下cache sudo yum clean all 阅读全文

摘要： 1 启动 hiveserver2 服务，启动 beeline -u jdbc:hive2:// 正常 ，启动 beeline -u jdbc:hive2://127.0.0.1:10000 包如下错误 Error: Failed to open new session: java.lang.Runt 阅读全文

摘要： hive 1 table 查看 表show tables;查看表结构desc table_name; 2 database 默认 default 创建databasecreate database_name;查看 databaseshow databases;使用 databaseuse datab 阅读全文

摘要： 转 http://blog.csdn.net/samhacker/article/details/23089157?utm_source=tuicool&utm_medium=referral 一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block s 阅读全文

摘要： mapper数量 reduce数量 combiner 中间值压缩 自定义序列 调整shuffle,减少溢出写 关闭推测执行 任务JVM重用 慢启动reduce 阅读全文

摘要： link from http://www.phpchina.com/portal.php?mod=view&aid=40116 link from http://www.phpchina.com/portal.php?mod=view&aid=40116 摘要：数据库作为业务的核心，在整个基础软件栈 阅读全文

摘要： 首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。其实默认为3个副本已经够用了，设置太多也没什么用。 一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以再上传文件 阅读全文

摘要： 转 http://blog.csdn.net/u012303571/article/details/46913471 查看 nodemanager 日志发下 如下信息 2015-07-16 15:28:58,643 WARN org.apache.hadoop.yarn.server.nodeman 阅读全文

摘要： map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的 阅读全文

摘要： Linux 文件系统设置 文件句柄数 ulimit -n 查看 echo "* - nofile 65536" >> /etc/security/limits.confecho "* soft noproc 65536" >> /etc/security/limits.confecho "* har 阅读全文