上一页 1 ··· 5 6 7 8 9 10 11 12 13 14 下一页
摘要: 本教程记录 spark 1.3.1 版本的thriftserver 的metastore 对接 postgresql postgresql 的编译,参考:http://www.cnblogs.com/chenfool/p/4530925.html 一 启动postgresql 服务 1 首先需要将p 阅读全文
posted @ 2015-05-27 13:11 chenfool 阅读(2015) 评论(0) 推荐(0) 编辑
摘要: 环境 ubuntu 14.04 桌面版 postgresql 源码下载链接,本教程是使用postgresql 9.3.4 进行编译的 http://www.postgresql.org/ftp/source/ 首先我们需要给ubuntu 安装几个包,因为 postgresql 编译时依赖 生成mak 阅读全文
posted @ 2015-05-26 16:42 chenfool 阅读(1076) 评论(0) 推荐(0) 编辑
摘要: 上一篇博客我向大家介绍了如何快速地搭建spark run on standalone,下面我将介绍saprk sql 如何对接 hdfs 我们知道,在spark shell 中操作hdfs 上的数据是很方便的,但是操作也未免过于繁琐,幸好spark 还想用户提供另外两种操作 spark sql 的方 阅读全文
posted @ 2015-05-14 01:15 chenfool 阅读(17933) 评论(0) 推荐(0) 编辑
摘要: 之前已经写过很多次部署spark 的博客,但是之前部署都是照瓢画葫芦,不得其中的细节,并且以前都是部署spark on yarn 部署环境 scala 2.10.2,jdk 1.6,spark 版本1.3.1 下载地址:https://spark.apache.org/downloads.html 阅读全文
posted @ 2015-05-13 21:20 chenfool 阅读(1059) 评论(0) 推荐(0) 编辑
摘要: 实现脚本 这里并没有用到 pack 和 unpack 阅读全文
posted @ 2015-02-28 15:50 chenfool 阅读(753) 评论(0) 推荐(0) 编辑
摘要: 最近需要用到perl 来解析xml 文件,从网上搜索了一下,大部分都建议使用XML::Simple 模块来解析,这里记录一下安装过程 方法一: 直接使用CPAN 来安装模块 方法二: 执行ubuntu 自带的命令安装 方法三: 从CPAN 网站下载源码自己编译安装 1 由于ubuntu 环境缺少了一 阅读全文
posted @ 2015-02-04 18:46 chenfool 阅读(8338) 评论(0) 推荐(0) 编辑
摘要: 环境:suse 11 ,64位的操作系统 unixODBC 版本:2.3.2 PostgreSQL 9.3.4 1 编译安装 unixODBC 下载 unixODBC :http://www.unixodbc.org/download.html 解压编译 安装路径设置在 /opt/unixODBC 阅读全文
posted @ 2015-01-15 16:29 chenfool 阅读(2870) 评论(0) 推荐(0) 编辑
摘要: 参考:http://blog.sina.com.cn/s/blog_4ba5b45e0102e7l2.html 阅读全文
posted @ 2014-12-08 15:02 chenfool 阅读(294) 评论(0) 推荐(0) 编辑
摘要: spark 源码编译 scala 版本2.11.4 os:ubuntu 14.04 64位 memery 3G spark :1.1.0 下载源码后解压 1 准备环境,安装jdk和scala,具体参考:http://www.cnblogs.com/chenfool/p/3858930.html 2 阅读全文
posted @ 2014-11-14 11:46 chenfool 阅读(1071) 评论(0) 推荐(0) 编辑
摘要: 环境:ubuntu 14.04, jdk 1.6, scala 2.11.4, spark 1.1.0, hadoop 2.5.1 一 spark 单机模式 部分操作参考:http://www.cnblogs.com/chenfool/p/3858930.html,我之前写的spark 1.0.1部 阅读全文
posted @ 2014-11-08 23:27 chenfool 阅读(1423) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 12 13 14 下一页