02 2016 档案
摘要:hbase.tmp.dir 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的 线上配置 <property> <name>hbase.tmp.dir</name> <value>/mnt/dfs/11/hbase/hbase-t
阅读全文
摘要:最新想用爬虫实现抓取五大门户网站(搜狐、新浪、网易、腾讯、凤凰网)和电商数据(天猫,京东,聚美等), 今天第一天先搭建下环境和测试。 采用maven+xpath+ HttpClient+正则表达式。 maven pom.xml配置文件信息 <dependency> <groupId>junit</g
阅读全文
摘要:基础环境: 1、安装apach 版本hadoop2.6 2、部署hbase1.0.0 3、下载phoenix-4.6.0-HBase-1.0。下载地址(http://mirror.nus.edu.sg/apache/phoenix/phoenix-4.6.0-HBase-1.0/bin/phoeni
阅读全文
摘要:需要先创建表: CREATE TABLE IF NOT EXISTS population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state,
阅读全文
摘要:1、 下载 squirrel sql client 客户端后 运行 2、复制必要的jar 包到 squirrel sql client 安装目录下 需要jar 包有: phoenix-core-4.6.0-HBase-1.0.jar phoenix-4.6.0-HBase-1.0-client.ja
阅读全文
摘要:需要导入的jar 包有: 实现代码: package cn.test; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement
阅读全文
摘要:生成随机数包含数字,字母 /** * 生成随机数当作getItemID * n : 需要的长度 * @return */ private static String getItemID( int n ) { String val = ""; Random random = new Random();
阅读全文