随笔分类 - 01.Hadoop
摘要:上一篇,我们介绍Impala的相关操作。
下面我们开始继续进一步的了解Impala的相关操作。
阅读全文
摘要:上一篇,我们介绍Impala的介绍及安装。
下面我们开始继续进一步的了解Impala的相关操作。
阅读全文
摘要:上一篇,我们讲述了HBase的协处理器。
下面我们开始介绍Impala的介绍及安装。
阅读全文
摘要:在cdh集成的solr cloud中,我们可以通过solr管理界面进行查询,也可以通过java的api进行查询,但查询过程中,如果是时间类型的,可能会存在两者在界面上看上去不一致的问题,两者时间刚好相差本地的时区。
阅读全文
摘要:从0.92版本开始,HBase加入了协处理器(coprocessors),利用协处理器,用户可以编写运行在 HBase Server 端的代码。可以实现“二级索引”,求和、计数、排序、过滤等server端操作。
阅读全文
摘要:上一篇,我们讲述了HBase的数据模型相关操作的上部分。
下面我们开始介绍HBase的数据模型相关操作的下部分。
阅读全文
摘要:上一篇,我们讲述了HBase的介绍及安装,从列图和引用的方式,列举的HBase能做什么及一些特点,也截图了HBase的安装过程。
下面我们开始介绍HBase的数据模型相关操作,该部分内容较多,分成两个部分。
阅读全文
摘要:上一篇,我们讲述了Hive的CLI和JDBC,从编程和使用的角度进入了Hadoop生态。这里就介绍下Hadoop DataBase,简称HBase。
下面我们开始介绍HBase的介绍及安装。
阅读全文
摘要:有时候,在装Linux的时候,看到默认的HostName就像改掉,那能不能随意的改掉了?在一次随意的改动中,体会到这个的痛楚。
下面就这种场景进行描述。
阅读全文
摘要:在实际部署过程中,Hadoop中服务器节点之间需要时间同步,但Hadoop集群可能需要和其他业务系统的时间进行同步,那么就会存在其他偶尔发生的问题。
下面就这种场景进行描述。
阅读全文
摘要:在hadoop开发或者使用中,可能会使用到一些插件或3方软件,比如:Eclipse的Hadoop插件,ETL的Kettle。那么就存在一个hdfs目录权限的问题。
下面就这个权限问题进行阐述。
阅读全文
摘要:该文章主要作为Hadoop技巧系列文章的索引,方便大家阅览。
阅读全文
摘要:上一篇,我们对hive的数据导出,以及集群Hive数据的迁移进行描述。了解到了基本的hive导出操作。这里,我们将对hive的CLI及JDBC这些实用性很强的两个方便进行简要的介绍。
下面我们开始介绍hive的CLI和JDBC。
阅读全文
摘要:上一篇,我们介绍了Hive的数据多种方式导入,这样我们的Hive就有了数据来源了,但有时候我们可能需要纯粹的导出,或者集群Hive数据的迁移(不同集群,不同版本),我们就可以通过这两章的知识来实现。
下面我们开始介绍hive的数据导出,以及集群Hive数据的迁移进行描述。
阅读全文
摘要:上一篇,我们介绍了Hive的表操作做了简单的描述和实践。在实际使用中,可能会存在数据的导入导出,虽然可以使用sqoop等工具进行关系型数据导入导出操作,但有的时候只需要很简便的方式进行导入导出即可
下面我们开始介绍hive的数据导入,导出,以及集群的数据迁移进行描述。
阅读全文
摘要:上一篇,我们介绍了Hive和对其进行了安装,下面我们就初步的使用hive进行讲解。
下面我们开始介绍hive的创建表,修改表,删除表等。
阅读全文
摘要:本系列已经有一个多月没更新了,期间涉及到找相关对应的工作,所幸的事,得到了几个offer,后来综合考虑来到了目前这家工作。希望在接下来的时间里,能融入整个社区中去,做出自己略微的贡献。
上一篇,我们列举了hadoop常用的命令,本应该给大家实战下命令的使用的,后来还是想大家自己下去试验试验,接下来开始初略介绍hadoop生态圈中的hive。
下面我们开始介绍hive的介绍及安装。
阅读全文
摘要:上一篇,我们对Hadoop命令中的HDFS Commands进行了简略的列举,下面我们就MapReduce Commands和Yarn Commands进行简略的列举,官网基本都是英文的,所以只能拙略的翻译下,妄大家见谅。
下面,我们就开始对Hadoop命令下进行讲解。
阅读全文
摘要:上一篇,我们对Hadoop命令进行了简略的列举,但是Hadoop命令特多,还有一部分没有列举完,官网基本都是英文的,所以只能拙略的翻译下,妄大家见谅。
下面,我们就开始对Hadoop命令中进行讲解。
阅读全文
摘要:上一篇,我们从发展历程,架构,MapReduce等方面对比了Hadoop1.x与Hadoop2.x,特别是这这几年,2.x的发展已经可以适合很多的应用场景了。前面我们通过Eclipse插件来进行文件的上传,删除等,下面我们熟悉下Hadoop命令,从而更能直接,强力的对Hadoop进行操作。
下面,我们就开始对Hadoop命令进行粗略的解析。本文有些地方是自己翻译的,翻译的不好望见谅。本章节内容较多,还是分为上下两部分。
阅读全文