摘要:
1:solr中的时间问题 solr中显示的时间默认会比我们本机时间少八个小时,因为时区不一样。 在solr的web页面查看会发现时间少八个小时。 但是使用java代码操作的时候是整成的的,所以在这只需要知道sorl有这个现象就可以了。 可以给这个时间字段添加默认值。添加default字段即可 ... 阅读全文
摘要:
转自:http://www.cnblogs.com/nexiyi/p/hbase_config_94.html目的是看下生产环境配置与默认配置情况。hbase.hregion.max.filesize:100Ghbase.regionserver.hlog.blocksize:512Mhbase.r... 阅读全文
摘要:
转自:http://www.cnblogs.com/fxjwind/p/3806404.html之前对这个的理解有些问题,今天用到有仔细梳理了一遍,记录一下首先开启storm tracker机制的前提是,1. 在spout emit tuple的时候,要加上第3个参数messageid2. 在配置中... 阅读全文
摘要:
转自:http://www.cnblogs.com/fxjwind/p/4689607.html背景相对于传统的Hadoop这样的batch分析平台,流式分析的优点就是实时性, 即可以在秒级别延迟上得到分析结果 。当然缺点是, 很难保证强一致性,即Exactly-Once语义 (在海量数据的前提下,... 阅读全文
摘要:
转自:http://www.cnblogs.com/fxjwind/p/3810740.html?utm_source=tuicool&utm_medium=referral附kafka consumer防止数据丢失:http://www.fwqtg.net/kafka-consumer%E9%98... 阅读全文
摘要:
转自:http://blog.csdn.net/colorant/article/details/8444283==是什么==目标Scope(解决什么问题)为分布式系统提供高可靠性的协同工作机制官方定义ZooKeeper is acentralized service for maintaining... 阅读全文
摘要:
转自:http://blog.csdn.net/colorant/article/details/8645081==是什么==目标ScopeEasyStandard SQL access on top of HBase官方定义ASQL layer over HBase delivered as a ... 阅读全文
摘要:
转自:http://blog.csdn.net/colorant/article/details/9146201==目标问题==下一代的Hadoop框架,支持10,000+节点规模的Hadoop集群,支持更灵活的编程模型==核心思想==固定的编程模型,单点的资源调度和任务管理方式,使得Hadoop ... 阅读全文
摘要:
转自:http://my.oschina.net/frankwu/blog/355298采集层主要可以使用Flume, Kafka两种技术。Flume:Flume是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API.Kafka:Kafka是一个可持久化的分布式的消息队列。Kafka是... 阅读全文
摘要:
转自:http://blog.csdn.net/colorant/article/details/8256039更多云计算相关项目快速理解文档http://blog.csdn.net/colorant/article/details/8255910==是什么==目标Scope(解决什么问题)分布式实... 阅读全文