MapReduce ----数据去重
摘要：三个文件 2017-03-10 a2017-03-11 b2017-03-12 d2017-03-13 d2017-03-142017-03-15 a 2017-03-10 e2017-03-11 b2017-03-12 c2017-03-132017-03-14 h2017-03-15 a2017
阅读全文
posted @ 2017-03-15 23:56
随笔分类 - Hadoop
MapReduce ----倒排索引
摘要：分别建立三个文件： file1txt file2.txt file3.txt 文件内容分别是： MapReduce is simple 和 MapReduce is powerful is simple 和 Hello MapReduce bye MapReduce 1 2017-03-15 22:
阅读全文
posted @ 2017-03-15 22:30
报错org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit
摘要：报错 java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileS
阅读全文
posted @ 2017-03-15 22:18
Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, do
摘要：继上一篇Hive： Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool
阅读全文
posted @ 2017-03-12 17:38
hive Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
摘要：Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instant
阅读全文
posted @ 2017-03-12 17:11
Flume 1.7.0单机版安装
摘要：下载解压到/usr/local/flume 配置环境变量 在conf里配置flume-env.sh 添加jdk路径 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 验证是否安装成功 root@kali:~# flume-ng version Fl
阅读全文
posted @ 2017-03-09 21:36
2017 Pig-0.16.0安装
摘要：前提：已经装好hadoop2.7.3 单机版本： export PIG_HOME=/usr/local/pig export PATH=PIG_HOME/bin 运行：pig -x local hadoop版本系统配置： export PIG_CLASSPATH=/usr/local/
阅读全文
posted @ 2017-02-28 14:23
apache各种软件以及版本下载地址
摘要：http://archive.apache.org/dist/
阅读全文
posted @ 2017-02-28 02:53
hadoop java上传文件
摘要：import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import ...
阅读全文
posted @ 2017-02-25 13:09
HDFS客户端的权限错误：Permission denied
摘要：报错：Permission denied: user=root, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x 解决方法：放开hdfs上路径权限 例如：user上的权限 或者 系统的环境变量里面添加HADOOP_USER_NAME=
阅读全文
posted @ 2017-02-25 12:59
hadoop fs命令
摘要：1，Hadoop fs –fs [local | ]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop...
阅读全文
posted @ 2017-02-25 11:22
解决Unable to load native-hadoop library for your platform
摘要：使用hadoop fs相应命令时候总是出现 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl
阅读全文
posted @ 2017-02-24 17:48
HBase快速安装
摘要：配置hbase-env.sh 配置hbase-site.xml 附加 hbase.rootdir：Region Servers共享的HBase持久化数据的存储地址。需要使用包含文件系统scheme的完全限定地址。 hbase.cluster.distributed：指定Hbase集群是否以分布式方式
阅读全文
posted @ 2017-02-21 00:38
记一次zookeeper单机伪集群分布
摘要：zookeeper的各版本（历史版本）下载地址：http://apache.org/dist/zookeeper/ 环境》：linux 下载的zookeeper解压成3个 3个（301 、302 、303）都修改conf里面的 zoo.cfg 301的 302 tickTime=2000 dataD
阅读全文
posted @ 2017-02-20 22:26
ZooKeeper使用命令大全
摘要：stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl path acl setquota -n|-b val path history redo
阅读全文
posted @ 2017-02-20 16:39
单纯linux系统下hadoop2.7.3 eclipse，记一次成功的运行wordcount的注意事项
摘要：，不要建output文件夹 或者 好像这两个图片显示不出来了 12:44:34,422 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java cl
阅读全文
posted @ 2017-02-20 13:26
配置正确情况下，hadoop 没有namenode的一个解决方法
摘要：将hdfs里name与data清空，和将tmp清空 然后在hadoop目录下运行 hadoop namenode -format 启动 sbin/start-all.sh
阅读全文
posted @ 2017-02-20 10:15
linux hadoop2.x快速安装
摘要：........ http://blog.csdn.net/se7en_q/article/details/47258007
阅读全文
posted @ 2017-02-19 23:44
