10 2014 档案

Centos搭建Linux测试环境，几个基本的设置项
摘要：一、添加sudo 权限1.su - 切换至root，需要rootmim2.修改 /etc/sudoers 的权限 chmod 644 /etc/sudoers3.vi /etc/sudoers 在root ALL=(ALL) ALL 添加自己的用户名密码，如 oftenlin ALL=(ALL) A... 阅读全文
posted @ 2014-10-25 10:15 oftenlin 阅读(2158) 评论(0) 推荐(0)
kafka 集群安装与安装测试
摘要：一、集群安装1. Kafka下载：wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz解压 tar zxvf kafka_2.9.2-0.8.1.tgzkafka使用scala编写，需要下载scala相关的库2.... 阅读全文
posted @ 2014-10-24 09:43 oftenlin 阅读(12629) 评论(0) 推荐(0)
Kafka 分布式消息队列介绍
摘要：Kafka 分布式消息队列 类似产品有JBoss、MQ一、由Linkedln 开源，使用scala开发，有如下几个特点：（1）高吞吐（2）分布式（3）支持多语言客户端 （C++、Java）二、组成: 客户端是 producer 和 consumer，提供一些API，服务器端是Broker，客户端提供... 阅读全文
posted @ 2014-10-23 15:28 oftenlin 阅读(14938) 评论(1) 推荐(0)
使用sqoop 在关系型数据库和Hadoop之间实现数据的抽取
摘要：（一）从关系型数据库导入至HDFS1.将下面的参数保持为import.scriptimport--connectjdbc:mysql://192.168.1.14:3306/test--username root--password 1234-m1--null-string''--table use... 阅读全文
posted @ 2014-10-22 17:00 oftenlin 阅读(3823) 评论(0) 推荐(0)
HBase Shell 常见操作
摘要：1.一般操作status 查看状态version 查看HBase版本2.DDL操作create 'member','member_id','address','info' 创建了一个member表，包含member_id、address、info三个列族describe 'member' 显示表的详... 阅读全文
posted @ 2014-10-22 15:28 oftenlin 阅读(281) 评论(0) 推荐(0)
Java API 实现HBase的数据添加与过滤查询
摘要：包依赖比较麻烦，找了好久，我用的CDH5.0 现将所依赖的包的列表清单如下：public class EmployeeDao { /** * @param args */ public static Configuration configuration; static { con... 阅读全文
posted @ 2014-10-22 15:07 oftenlin 阅读(5203) 评论(1) 推荐(0)
Hive 实现HBase 数据批量插入
摘要：HBase 数据的插入可以使用Java API 来写Java 程序逐条倒入，但是不是很方便。利用Hive自带的一个Jar包，可以建立Hive和HBase的映射关系 利用Hive 的insert可以将批量数 据导入到HBase中，还可以通过 Hql 语句进行查询。具体的配置方法如下：1、把hive-h... 阅读全文
posted @ 2014-10-17 15:51 oftenlin 阅读(10585) 评论(1) 推荐(0)
利用Hive实现求两条相邻数据时间差
摘要：1.Hive row_number() 函数的高级用法 row_num 按照某个字段分区显示第几条数据select imei,ts,fuel_instant,gps_longitude,gps_latitude,row_number() over (PARTITION BY imei ORDER B... 阅读全文
posted @ 2014-10-16 10:25 oftenlin 阅读(18760) 评论(1) 推荐(0)
HIVE 创建外部分区表--利用HUE不能创建外部表
摘要：Create EXTERNAL table obd_data_2( imei string, ts timestamp, fuel_instant float, gps_speed float, gps_status string, gps_longitude float, ... 阅读全文
posted @ 2014-10-15 11:07 oftenlin 阅读(2373) 评论(0) 推荐(0)
linux 添加新硬盘的方法
摘要：在服务器上把硬盘接好，启动linux，以root登陆。 比如我新加一块SCSI硬盘，需要将其分成三个区：#fdisk/dev/sdb进入fdisk模式：Command(mforhelp):p//查看新硬盘的分区Command(mforhelp):n//创建新分区可以用m命令来看fdisk命令的内部命... 阅读全文
posted @ 2014-10-13 14:11 oftenlin 阅读(554) 评论(0) 推荐(0)