随笔 - 368, 文章 - 0, 评论 - 56, 阅读 - 94万
  博客园  :: 首页  :: 联系 :: 管理

随笔分类 -  Sql on hadoop

摘要:转载至 大数据杂谈 (BigdataTina2016),同时参考学习 http://www.cnblogs.com/barrywxx/p/4257166.html 进行整理。 使用SQL 引擎一词是有点随意的。例如Hive 不是一个引擎,它的框架使用MapReduce、TeZ 或者Spark 引擎去 阅读全文

posted @ 2017-09-07 06:58 天戈朱 阅读(7695) 评论(0) 推荐(0) 编辑

摘要:转载至: http://lxw1234.com/archives/2015/04/101.htm mark - 参考学习 环境配置: hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node) hbase-0.94.6-cdh4.3.0 (4 nodes,maxHea 阅读全文

posted @ 2017-09-07 06:56 天戈朱 阅读(548) 评论(0) 推荐(0) 编辑

摘要:HQL DML 主要涉到对Hive表中数据操作,包含有:load、INSERT、DELETE、EXPORT and IMPORT,详细资料参见:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML 目录: Loadin 阅读全文

posted @ 2016-08-16 05:11 天戈朱 阅读(655) 评论(0) 推荐(0) 编辑

摘要:配置 hive 与 hbase 整合的目的是利用 HQL 语法实现对 hbase 数据库的增删改查操作,基本原理就是利用两者本身对外的API接口互相进行通信,两者通信主要是依靠hive_hbase-handler.jar工具类。 但请注意:使用Hive操作HBase中的表,只是提供了便捷性,前面章节 阅读全文

posted @ 2016-08-13 23:39 天戈朱 阅读(10400) 评论(4) 推荐(0) 编辑

摘要:HQL语法基于 SqlLine(http://sqlline.sourceforge.net/),DDL主要包含数据库、函数、视图的创建、修改、删除,参考资料:(https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL), 阅读全文

posted @ 2016-08-13 23:39 天戈朱 阅读(1003) 评论(0) 推荐(0) 编辑

摘要:hive odbc 驱动配置成功后,通过c#访问就变得比较简单了,分为查询与更新操作,直接附上测试代码。在此过程中需要注意c#工程编译的目标平台 读写访问代码示例: public class HiveOdbcClient { /// <summary> /// /// </summary> publ 阅读全文

posted @ 2016-08-12 00:05 天戈朱 阅读(5843) 评论(0) 推荐(0) 编辑

摘要:熟悉了Sqlserver的sqlserver management studio、Oracle的PL/SQL可视化数据库查询分析工具,在刚开始使用hive、phoenix等类sql组件时,一直在苦苦搜寻是否也有类似的工具,不负所望,SQuirrel Sql client 可视化数据库工具基本可满足要 阅读全文

posted @ 2016-08-12 00:04 天戈朱 阅读(10855) 评论(2) 推荐(0) 编辑

摘要:针对Windows 32位和64位的系统对应有多个版本的 Hive ODBC Connector, 在安装的过程中,版本必须完全匹配(即:32位的 connector 只能在32位的系统运行,64位的 connector 只能在 64位系统运行) 参考资料: http://doc.mapr.com/ 阅读全文

posted @ 2016-08-11 22:04 天戈朱 阅读(3645) 评论(1) 推荐(0) 编辑

摘要:Hive是一个基于Hadoop的数据仓库,最初由Facebook提供,使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层,设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据,2008年facebook把Hive项目贡献给Apache。Hive提供了比较完整 阅读全文

posted @ 2016-08-11 21:59 天戈朱 阅读(9684) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示