随笔分类 - Hadoop
Hadoop相关项目学习
hadoop fs 命令使用
摘要:参考:https://segmentfault.com/a/1190000002672666 命令基本格式: 1.ls 列出hdfs文件系统根目录下的目录和文件 列出hdfs文件系统所有的目录和文件 2.put hdfs file的父目录一定要存在,否则命令不会执行 hdfs dir 一定要存在,否
阅读全文
博士问,如何分割一个大文件为多个文件
摘要:参考:http://www.cnblogs.com/waynechen/archive/2010/07/26/1785097.html split -l 300 large_file.txt new_file_prefix 解决
阅读全文
数据节点-df 无法输出结果
摘要:1. 删除了 a 机器的/opt/data 目录 2.b与c 机器挂载了 a机器的/opt/data 3.df -h 无法输出结果 最后参考:http://blog.csdn.net/lufeisan/article/details/53150319 解决
阅读全文
cloudera-hdfs 告警处理
摘要:查看hadoop源码: 发些是写HDFS 无法写入权限,空间不足引起 参考:http://blog.csdn.net/xueyao0201/article/details/79530130
阅读全文
Hadoop2.2.0多节点分布式安装及测试
摘要:众所周知,hadoop在10月底release了最新版2.2。很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得。这其中主要分为两类:1.单节点配置这个太简单了,简单到只要懂点英语,照着网上说的做就ok了。我这里不谈这个,有兴趣的童鞋可以自己去问度娘和谷哥~2.多节点配置这个就是...
阅读全文
Hadoop本地库
摘要:目的鉴于性能问题以及某些Java类库的缺失,对于某些组件,Hadoop提供了自己的本地实现。 这些组件保存在Hadoop的一个独立的动态链接的库里。这个库在*nix平台上叫libhadoop.so. 本文主要介绍本地库的使用方法以及如何构建本地库。组件Hadoop现在已经有以下compression codecs本地组件:zlibgziplzo在以上组件中,lzo和gzip压缩编解码器必须使用hadoop本地库才能运行。使用方法hadoop本地库的用法很简单:看一下支持的平台.下载预构建的32位i386架构的Linux本地hadoop库(可以在hadoop发行版的lib/native目录下找到
阅读全文
Host key verification failed解决
摘要:SSH 登录失败:Host key verification failed 由于公钥不一样了,所以无法登录,提示信息是 KEY 验证失败。解决方法是: 在 /root/.ssh/known_hosts 文件里面将原来的公钥信息删除即可。# rm -rf /root/.ssh/known_hosts
阅读全文
hadoop2.1.0编译安装教程
摘要:由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的wordcont例子,所以这个错误不会导致hadoop2.1.0的安装和运行失败,此错误引起原因是由于
阅读全文
hadoop2.1.0和hadoop2.2.0编译安装教程
摘要:由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的wordcont例子,所以这个错误不会导致hadoop2.1.0的安装和运行失败,此错误引起原因是由于
阅读全文