博客园  :: 首页  :: 联系 :: 管理

2016年8月15日

摘要: 包(package)是多个函数的集合,常作为分享代码的基本单元,代码封装成包可以方便其他用户使用。越来越多的R包正在由世界上不同的人所创建并分发,这些分发的R包,可以从CRAN 或 github 上获取,由于向 CRAN 提交包审核非常严格,有些开发者并没有将自己开发的R包提至CRAN的意向,通过 阅读全文

posted @ 2016-08-15 22:51 天戈朱 阅读(3958) 评论(0) 推荐(0) 编辑

摘要: 结合实际的工作环境,在开始R研究的时候,首先着手收集的就是能以Web方式发布R运行结果的基础框架,无耐的是,R一直以来常使用于个人电脑的客户端程序上,大家习惯性的下载R安装包,在自己的电脑上安装 --> 写算法 --> 运行 --> 以贴图或者文档的形式发表自己的作品。花了较长时间,终于找着了一套框 阅读全文

posted @ 2016-08-15 05:01 天戈朱 阅读(2285) 评论(0) 推荐(0) 编辑

2016年8月14日

摘要: R 是一门拥有统计分析及作图功能的免费软件,主要用于数学建模、统计计算、数据处理、可视化等方向。据 IEEE Spectrum发布的2016年编程语言前10位排名来看,R语言由2015年排名第6位上升级2016年的第5位。目前在CRAN 上发布的算法包已经超过8000+多个。R体系涉及到高等数据、概 阅读全文

posted @ 2016-08-14 11:05 天戈朱 阅读(6398) 评论(0) 推荐(0) 编辑

2016年8月13日

摘要: 配置 hive 与 hbase 整合的目的是利用 HQL 语法实现对 hbase 数据库的增删改查操作,基本原理就是利用两者本身对外的API接口互相进行通信,两者通信主要是依靠hive_hbase-handler.jar工具类。 但请注意:使用Hive操作HBase中的表,只是提供了便捷性,前面章节 阅读全文

posted @ 2016-08-13 23:39 天戈朱 阅读(10375) 评论(4) 推荐(0) 编辑

摘要: HQL语法基于 SqlLine(http://sqlline.sourceforge.net/),DDL主要包含数据库、函数、视图的创建、修改、删除,参考资料:(https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL), 阅读全文

posted @ 2016-08-13 23:39 天戈朱 阅读(998) 评论(0) 推荐(0) 编辑

2016年8月12日

摘要: hive odbc 驱动配置成功后,通过c#访问就变得比较简单了,分为查询与更新操作,直接附上测试代码。在此过程中需要注意c#工程编译的目标平台 读写访问代码示例: public class HiveOdbcClient { /// <summary> /// /// </summary> publ 阅读全文

posted @ 2016-08-12 00:05 天戈朱 阅读(5815) 评论(0) 推荐(0) 编辑

摘要: 熟悉了Sqlserver的sqlserver management studio、Oracle的PL/SQL可视化数据库查询分析工具,在刚开始使用hive、phoenix等类sql组件时,一直在苦苦搜寻是否也有类似的工具,不负所望,SQuirrel Sql client 可视化数据库工具基本可满足要 阅读全文

posted @ 2016-08-12 00:04 天戈朱 阅读(10842) 评论(2) 推荐(0) 编辑

2016年8月11日

摘要: 针对Windows 32位和64位的系统对应有多个版本的 Hive ODBC Connector, 在安装的过程中,版本必须完全匹配(即:32位的 connector 只能在32位的系统运行,64位的 connector 只能在 64位系统运行) 参考资料: http://doc.mapr.com/ 阅读全文

posted @ 2016-08-11 22:04 天戈朱 阅读(3572) 评论(1) 推荐(0) 编辑

摘要: Hive是一个基于Hadoop的数据仓库,最初由Facebook提供,使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层,设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据,2008年facebook把Hive项目贡献给Apache。Hive提供了比较完整 阅读全文

posted @ 2016-08-11 21:59 天戈朱 阅读(9674) 评论(1) 推荐(0) 编辑

2016年8月10日

摘要: 上一章完成了c#访问hbase的sdk封装,接下来以一个具体Demo对sdk进行测试验证。场景:每5秒抓取指定股票列表的实时价格波动行情,数据下载后,一方面实时刷新UI界面,另一方面将数据放入到在内存中模拟的MQ (实际生产情况,可用kafka等集群代替)->存入HBase数据库。提供按指定时间范围 阅读全文

posted @ 2016-08-10 18:50 天戈朱 阅读(3574) 评论(0) 推荐(0) 编辑