2017年2月9日

摘要: 1 import org.apache.commons.lang.StringUtils; 2 import org.apache.hadoop.conf.Configuration; 3 import org.apache.hadoop.hbase.*; 4 import org.apache.hadoop.hbase.client.*; 5 import org.apac... 阅读全文
posted @ 2017-02-09 21:02 聂政didi 阅读(1211) 评论(0) 推荐(0) 编辑
摘要: 经过网上资料查证以及自身实际测试,对比了一下几种序列化方式:java序列化、json、avro、kryo、protobuff、protostuff,对5144条6KB左右数据进行测试结果 序列化工具 序列化时间(ms) 反序列化时间(ms) 平均每条记录大小(byte) java序列化 225 23 阅读全文
posted @ 2017-02-09 20:52 聂政didi 阅读(310) 评论(0) 推荐(0) 编辑
摘要: import com.fasterxml.jackson.core.JsonProcessingException; import com.fasterxml.jackson.databind.ObjectMapper; import org.apache.commons.lang3.StringUtils; import org.elasticsearch.action.bulk.BulkIt... 阅读全文
posted @ 2017-02-09 20:48 聂政didi 阅读(411) 评论(0) 推荐(0) 编辑
摘要: Protostuff是基于Google protobuff技术的Java版本,直接使用原生的protobuff是需要数据结构的预编译过程,需要编写.proto格式的配置文件,再通过protobuff提供的工具翻译成目标语言代码,而Protostuff动态支持了protobuff的预编译的过程,可以直 阅读全文
posted @ 2017-02-09 20:39 聂政didi 阅读(2133) 评论(0) 推荐(0) 编辑
摘要: kafka的生产者类 阅读全文
posted @ 2017-02-09 20:27 聂政didi 阅读(763) 评论(0) 推荐(0) 编辑
摘要: kafka的configuration 阅读全文
posted @ 2017-02-09 20:23 聂政didi 阅读(723) 评论(0) 推荐(0) 编辑
摘要: 如你要关闭jdk的进程 ps -ef | grep jdk | awk '{print $2}'| xargs kill -9 阅读全文
posted @ 2017-02-09 20:13 聂政didi 阅读(100) 评论(0) 推荐(0) 编辑
摘要: spring定时任务: 1、maven下载spring依赖,在pom.xml下添加如下: 2、编写配置文件applicationContext-*.xml 3、在web.xml的<param-value>下加入applicationContext-*.xml,配置如下 注:spring的时间配置如下 阅读全文
posted @ 2017-02-09 13:00 聂政didi 阅读(277) 评论(0) 推荐(0) 编辑

2017年2月8日

摘要: 1 import kafka.common.*; 2 import kafka.common.OffsetAndMetadata; 3 import kafka.javaapi.*; 4 import kafka.network.BlockingChannel; 5 import org.apache.kafka.common.TopicPartition; 6 impo... 阅读全文
posted @ 2017-02-08 19:37 聂政didi 阅读(2235) 评论(1) 推荐(0) 编辑
摘要: 1 package com.util; 2 3 import java.io.BufferedReader; 4 import java.io.File; 5 import java.io.FileInputStream; 6 import java.io.InputStreamReader; 7 import java.util.*; 8 9 /** 10 * Crea... 阅读全文
posted @ 2017-02-08 18:20 聂政didi 阅读(249) 评论(0) 推荐(0) 编辑

导航