上一页 1 2 3 4 5 6 7 ··· 15 下一页
摘要: hbase.tmp.dir 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的 线上配置 <property> <name>hbase.tmp.dir</name> <value>/mnt/dfs/11/hbase/hbase-t 阅读全文
posted @ 2016-02-29 16:16 zhanggl 阅读(326) 评论(0) 推荐(0) 编辑
摘要: 最新想用爬虫实现抓取五大门户网站(搜狐、新浪、网易、腾讯、凤凰网)和电商数据(天猫,京东,聚美等), 今天第一天先搭建下环境和测试。 采用maven+xpath+ HttpClient+正则表达式。 maven pom.xml配置文件信息 <dependency> <groupId>junit</g 阅读全文
posted @ 2016-02-25 11:20 zhanggl 阅读(2058) 评论(0) 推荐(0) 编辑
摘要: 基础环境: 1、安装apach 版本hadoop2.6 2、部署hbase1.0.0 3、下载phoenix-4.6.0-HBase-1.0。下载地址(http://mirror.nus.edu.sg/apache/phoenix/phoenix-4.6.0-HBase-1.0/bin/phoeni 阅读全文
posted @ 2016-02-19 11:18 zhanggl 阅读(2292) 评论(0) 推荐(0) 编辑
摘要: 需要先创建表: CREATE TABLE IF NOT EXISTS population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, 阅读全文
posted @ 2016-02-16 10:13 zhanggl 阅读(4965) 评论(1) 推荐(0) 编辑
摘要: 1、 下载 squirrel sql client 客户端后 运行 2、复制必要的jar 包到 squirrel sql client 安装目录下 需要jar 包有: phoenix-core-4.6.0-HBase-1.0.jar phoenix-4.6.0-HBase-1.0-client.ja 阅读全文
posted @ 2016-02-14 15:24 zhanggl 阅读(1238) 评论(0) 推荐(0) 编辑
摘要: 需要导入的jar 包有: 实现代码: package cn.test; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement 阅读全文
posted @ 2016-02-01 17:42 zhanggl 阅读(2252) 评论(0) 推荐(0) 编辑
摘要: 生成随机数包含数字,字母 /** * 生成随机数当作getItemID * n : 需要的长度 * @return */ private static String getItemID( int n ) { String val = ""; Random random = new Random(); 阅读全文
posted @ 2016-02-01 17:37 zhanggl 阅读(19350) 评论(0) 推荐(1) 编辑
摘要: 安装步骤 . mkdir /usr/java 2. tar -xvf jdk*.tar.gz -C /usr/java/ 记得将* 换成版本即可3. ln -s /usr/java/jdk* /usr/java/default4. 配置环境变量/etc/profile,增加一下两行export JA 阅读全文
posted @ 2016-01-27 15:42 zhanggl 阅读(1765) 评论(0) 推荐(0) 编辑
摘要: 为了测试方便记录下hadoop伪分布式部署:包下载地址:http://archive.cloudera.com/cdh5/cdh/5/我选用的是cdh5.4.5版本etc/profile 配置文件export JAVA_HOME=/home/jdk1.7.0_79export JRE_HOME=/h... 阅读全文
posted @ 2016-01-26 17:37 zhanggl 阅读(306) 评论(0) 推荐(0) 编辑
摘要: java api 实现hdfs 文件操作会出现错误提示:Permission denied: user=hp, access=WRITE, inode="/":hdfs:supergroup:drwxr-最简单的解决办法 在系统的环境变量里面添加HADOOP_USER_NAME=hdfs(HDFS上... 阅读全文
posted @ 2016-01-13 11:06 zhanggl 阅读(174) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 15 下一页