Hbase建模选择

日期

2017年3月17日

HBase建模记录

OLTP 应用场景:

OLAP 应用场景:

语音分析系统的应用场景

基于HBase的建模考虑

1.话单为主来考虑hbaserowkey的生成规则:

1.1 原始语音文件的命名规则

dxaudio_$(ID)_$(CallNum)_$(CalledNum)_$(starttime)_$(stoptime)_$(Type)_$(rec).voc

表示规则:

$(ID)表示通话唯一标识

$(CallNum)表示主叫号码

$(CalledNum)表示被叫号码

$(starttime)为通话开始时间

  • 型如:YYYYmmddHHMMSS,例:20100801120123表示2010年8月1日12点1分23秒创建。

$(stoptime)为通话结束时间,型同$(starttime)

$(datetime)为文件生成时间,型同$(starttime),文件入库时间

$(Type)表示信道类型,见附录B

$(rec)为流水号,从00000至99999循环使用

相同$(datetime)的各个文件的$(rec)不相同

1.2业务上支持的字段

1.3 如何支持一条记录对不同结构的查询

1.4 倒排索引&搜索引擎

关键词查找的方法已经到了极限

互联网上的资料生成索引,总共分为三步

1)把资料编号;

2)把每篇资料内容切分成词

3)把词和资料编号的对应关系处理成 è编号列表的形式

需考虑的问题:

1)资料(网页)收集的全、快、稳、新、

2)建立索引时要考虑质量、效率、赋权、周期、时效性、资源消耗问题

3query的时候要考虑的问题 query分析、排序、筛选、展示、性能、、广告、推荐、个性化、

统计

4)整体上要考虑地域性、容灾、国际化、当地法律、返作弊、垂直需求、移动互联网等

1.5开源搜索引擎技术

1)Lucene,

他不是一个引擎产品而是一个类库,至今开源搜索引擎最好没有之一

使用java语音开发

基本涵盖了搜索引擎中的索引和检索两个核心部分的全部功能

抽象程度较好

2solr

一个完整的搜索引擎产品

底层是基于Lucene

3 elasticSearch

产品级开源项目,

底层基于Lucene

提供Restful API的服务

Restful 就是直接通过HTTP协议收发请求和响应,接口比较清晰简单,是一种架构规则

 

结论:

搜索类应用程序的检索可以通过es来进行检索。

 
 
 
 
 
 
 
 
 
 
posted @ 2017-03-17 18:45  joqk  阅读(282)  评论(0编辑  收藏  举报