02 2016 档案

摘要:hbase.tmp.dir 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的 线上配置 <property> <name>hbase.tmp.dir</name> <value>/mnt/dfs/11/hbase/hbase-t 阅读全文
posted @ 2016-02-29 16:16 zhanggl 阅读(326) 评论(0) 推荐(0) 编辑
摘要:最新想用爬虫实现抓取五大门户网站(搜狐、新浪、网易、腾讯、凤凰网)和电商数据(天猫,京东,聚美等), 今天第一天先搭建下环境和测试。 采用maven+xpath+ HttpClient+正则表达式。 maven pom.xml配置文件信息 <dependency> <groupId>junit</g 阅读全文
posted @ 2016-02-25 11:20 zhanggl 阅读(2058) 评论(0) 推荐(0) 编辑
摘要:基础环境: 1、安装apach 版本hadoop2.6 2、部署hbase1.0.0 3、下载phoenix-4.6.0-HBase-1.0。下载地址(http://mirror.nus.edu.sg/apache/phoenix/phoenix-4.6.0-HBase-1.0/bin/phoeni 阅读全文
posted @ 2016-02-19 11:18 zhanggl 阅读(2292) 评论(0) 推荐(0) 编辑
摘要:需要先创建表: CREATE TABLE IF NOT EXISTS population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, 阅读全文
posted @ 2016-02-16 10:13 zhanggl 阅读(4969) 评论(1) 推荐(0) 编辑
摘要:1、 下载 squirrel sql client 客户端后 运行 2、复制必要的jar 包到 squirrel sql client 安装目录下 需要jar 包有: phoenix-core-4.6.0-HBase-1.0.jar phoenix-4.6.0-HBase-1.0-client.ja 阅读全文
posted @ 2016-02-14 15:24 zhanggl 阅读(1238) 评论(0) 推荐(0) 编辑
摘要:需要导入的jar 包有: 实现代码: package cn.test; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement 阅读全文
posted @ 2016-02-01 17:42 zhanggl 阅读(2252) 评论(0) 推荐(0) 编辑
摘要:生成随机数包含数字,字母 /** * 生成随机数当作getItemID * n : 需要的长度 * @return */ private static String getItemID( int n ) { String val = ""; Random random = new Random(); 阅读全文
posted @ 2016-02-01 17:37 zhanggl 阅读(19350) 评论(0) 推荐(1) 编辑