摘要: 前言: ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易 阅读全文
posted @ 2018-04-03 11:41 $影子冷锋^ 阅读(224) 评论(0) 推荐(0) 编辑
摘要: 转自:https://www.cnblogs.com/linjiqin/archive/2013/03/05/2944510.html HiveQL是一种类似SQL的语言, 它与大部分的SQL语法兼容, 但是并不完全支持SQL标准, 如HiveQL不支持更新操作, 也不支持索引和事务, 它的子查询和 阅读全文
posted @ 2018-04-02 18:14 $影子冷锋^ 阅读(267) 评论(0) 推荐(0) 编辑
摘要: 前言: hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行 运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十 阅读全文
posted @ 2018-03-30 16:14 $影子冷锋^ 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 一、hadoop-eclipse-plugin-2.7.3.jar插件下载点击下载 二、把插件放到eclipse的安装目录dropins下 三、eclipse上的配置 3.1 打开Window-->Persperctive-->Other 3.2 选择MAP\/Reduce,点击OK 3.3 点击图 阅读全文
posted @ 2018-02-26 20:56 $影子冷锋^ 阅读(188) 评论(0) 推荐(0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-02-10 17:44 $影子冷锋^ 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 转载自 :http://blog.csdn.net/gis_101/article/details/52679914 1、问题背景 操作系统:CentOS7 64位 Hadoop版本:Hadoop2.7.3 JDK:1.8.0_65 2、问题描述 使用start-all.sh脚本或者先后执行star 阅读全文
posted @ 2018-02-10 14:51 $影子冷锋^ 阅读(307) 评论(0) 推荐(0) 编辑
摘要: 参考文档:https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#df 1. 环境:hadoop-2.6.0 2. 参数说明: hadoop fs[-appendToFi 阅读全文
posted @ 2017-12-15 13:20 $影子冷锋^ 阅读(217) 评论(0) 推荐(0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2017-12-05 17:00 $影子冷锋^ 阅读(3) 评论(0) 推荐(0) 编辑
摘要: (1)出现UnicodeEncodeError –> 说明是Unicode编码时候的问题; (2) ‘gbk’ codec can’t encode character –> 说明是将Unicode字符编码为GBK时候出现的问题;此时,往往最大的可能就是,本身Unicode类型的字符中,包含了一些无 阅读全文
posted @ 2017-11-29 13:12 $影子冷锋^ 阅读(214) 评论(0) 推荐(0) 编辑
摘要: 函数:string.join() Python中有join()和os.path.join()两个函数,具体作用如下: join(): 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串 os.path.join(): 将多个路径组合后返回 一、函数说明1、joi 阅读全文
posted @ 2017-11-29 12:25 $影子冷锋^ 阅读(536) 评论(0) 推荐(0) 编辑