02 2016 档案

HBase参数配置及说明（转）
摘要：hbase.tmp.dir 本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的 线上配置 <property> <name>hbase.tmp.dir</name> <value>/mnt/dfs/11/hbase/hbase-t 阅读全文
posted @ 2016-02-29 16:16 zhanggl 阅读(321) 评论(0) 推荐(0) 编辑
爬虫抓取5大门户网站和电商数据day1:基础环境搭建
摘要：最新想用爬虫实现抓取五大门户网站（搜狐、新浪、网易、腾讯、凤凰网）和电商数据（天猫，京东，聚美等）， 今天第一天先搭建下环境和测试。 采用maven+xpath+ HttpClient+正则表达式。 maven pom.xml配置文件信息 <dependency> <groupId>junit</g 阅读全文
posted @ 2016-02-25 11:20 zhanggl 阅读(2049) 评论(0) 推荐(0) 编辑
apach hadoop2.6 集群利用Phoenix 4.6-hbase 批量导入并自动创建索引
摘要：基础环境： 1、安装apach 版本hadoop2.6 2、部署hbase1.0.0 3、下载phoenix-4.6.0-HBase-1.0。下载地址（http://mirror.nus.edu.sg/apache/phoenix/phoenix-4.6.0-HBase-1.0/bin/phoeni 阅读全文
posted @ 2016-02-19 11:18 zhanggl 阅读(2290) 评论(0) 推荐(0) 编辑
phoenix 利用CsvBulkLoadTool 批量带入数据并自动创建索引
摘要：需要先创建表： CREATE TABLE IF NOT EXISTS population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, 阅读全文
posted @ 2016-02-16 10:13 zhanggl 阅读(4949) 评论(1) 推荐(0) 编辑
squirrel sql client 连接phoenix
摘要：1、 下载 squirrel sql client 客户端后 运行 2、复制必要的jar 包到 squirrel sql client 安装目录下 需要jar 包有： phoenix-core-4.6.0-HBase-1.0.jar phoenix-4.6.0-HBase-1.0-client.ja 阅读全文
posted @ 2016-02-14 15:24 zhanggl 阅读(1234) 评论(0) 推荐(0) 编辑
JAVA　实现数据导入Phoenix
摘要：需要导入的jar 包有： 实现代码： package cn.test; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement 阅读全文
posted @ 2016-02-01 17:42 zhanggl 阅读(2250) 评论(0) 推荐(0) 编辑
java 生成随机数字+字母组合 和字母组合
摘要：生成随机数包含数字，字母 /** * 生成随机数当作getItemID * n ： 需要的长度 * @return */ private static String getItemID( int n ) { String val = ""; Random random = new Random(); 阅读全文
posted @ 2016-02-01 17:37 zhanggl 阅读(19304) 评论(0) 推荐(1) 编辑