随笔分类 - hadoop
摘要：如果已经有了lzo文件，可以采用如下方法添加索引： bin/yarn jar /module/cloudera/parcels/GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27/lib/hadoop/lib/hadoop-lzo-0.4.15-cdh5.4.0.jar com.had
阅读全文
摘要：报错信息： 2016-07-27 10:53:14,102 WARN org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor: Exit code from container exec utor initialization
阅读全文
摘要：配置机架感知 core-site.xml cat $HADOOP_HOME/etc/hadoop/core-site.xml <property> <name>net.topology.script.file.name</name> <value>pathdir/RackAware.py</valu
阅读全文
摘要：执行如下命令启动hive服务：./bin/hive --service hiveserver，报如下错误：Starting Hive Thrift ServerException in thread "main" java.lang.NoSuchMethodError: org.apache.thr
阅读全文
摘要：一个文件，上传到hdfs上时指定的是几个副本就是几个。修改了副本数（dfs.replications），对已经上传了的文件也不会起作用。当然可以在上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=2 -put abc.txt /tmp可以通过命令来更改已经上传...
阅读全文
摘要：com.hadoop hadoop-lzo 0.4.17-SNAPSHOT system D:\\Data\\opscenter\\tools\\bigdata\\hadoop-lzo-0.4.17-SNAPSHOT.jar
阅读全文
摘要：1.读lzo文件需要添加以下代码，并导入lzo相关的jar包job.setInputFormatClass(LzoTextInputFormat.class);2.写lzo文件lzo格式默认是不支持splitable的，需要为其添加索引文件，才能支持多个map并行对lzo文件进行处理如果希望redu...
阅读全文
摘要：NIS & Kerberos配置 所需RPM包列表： krb5-server-1.10.3-42.el6.x86_64.rpm krb5-workstation-1.10.3-42.el6.x86_64.rpm krb5-devel-1.10.3-42.el6.x86_64.rpm ypserv-2
阅读全文
摘要：1 八月 2010 22:07:51关于Kerberos的对话(MIT)雅典娜与宙斯雅典娜与宙斯关于地狱之门守护者的对话Kerberos: Network Authentication ProtocolKerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者” Kerberos 是一...
阅读全文
摘要：当Hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。在坏死的节点上输入如下命令即可：hadoop-daemon.sh start datanodehadoop-daemon.sh start secondarynamenode案例如下：hadoop...
阅读全文
摘要：超详细解说Hadoop伪分布式搭建原文http://www.tuicool.com/articles/NBvMv2原原文 http://wojiaobaoshanyinong.iteye.com/blog/1946817单节点伪分布式Hadoop配置（声明：文档里面需要用户输入的均已斜体表示）第一步...
阅读全文
