04 2017 档案
摘要：建议先设置好配置文件/etc/mongod.conf后，每次手动用命令启动 mongod -f /etc/mongod.conf mongod --dbpath=/data0/MongoDB/db --logpath=/data0/mongodb/log/mongodb.log --fork 强制关
阅读全文
摘要：1.3000万数据建立索引，datatime类型占用100m左右，9位string类型占用200m，5位int占160m 2.聚合操作，100-200万数据在2-3s，超过这个值的数据就不能直接做报表输出了，响应速度会很慢 3.16g内存单机每秒1w写入操作，持续36hours，性能不会达到瓶颈 4
阅读全文
摘要：实现类 public class Singleton { private static class LazyHolder { private static final Singleton INSTANCE = new Singleton(); } private Singleton (){} pub
阅读全文
摘要：1.Redis适合做key少value大的计数统计 mongo适合使用聚合做key多value少的计数统计，使用聚合的方式 2.mongo可以直接使用key-value做计数而不是聚合，但是这种方式只试用统计访问总数，而不是访问人次 3.使用mongo聚合的方式统计更加灵活，可以扩充功能。比如统计d
阅读全文
摘要：定义：提供一种方法访问一个容器对象中各个元素，而又不暴露该对象的内部细节。 类型：行为类模式 类图： public static void main(String[] args) { 2 List<Object> list = new ArrayList<Object>(); 3 list.add(
阅读全文
摘要：观察者模式是对象的行为模式，又叫发布-订阅(Publish/Subscribe)模式、模型-视图(Model/View)模式、源-监听器(Source/Listener)模式或从属者(Dependents)模式。 观察者模式定义了一种一对多的依赖关系，让多个观察者对象同时监听某一个主题对象。这个主题
阅读全文
摘要：import java.util.Set; import java.util.TreeSet; public class Person{ private String name; private int age; public Person(String name, int age){ this.n
阅读全文
摘要：更多的关于volatile关键字的介绍参见<深入理解java内存模型> 先补充一下概念：Java 内存模型中的可见性、原子性和有序性。 可见性：(在多核cpu下,是否也可以理解为同时执行volitale修饰的变量,同一时间有且只有一个线程操作,把volitale看成一个锁???) 可见性是一种复杂的
阅读全文
摘要：半年 2.4亿数据跑了36hours，没有spout oom，因为没有设置acker 数据从2016.10-2017.04 主要是从oss读取日志很慢, mongo的update完全跟的上storm的处理速度,update 10000/s 持续36小时没有问题 consumner group重新设置
阅读全文
摘要：kill topology后,spout不再接收消息,但是其发送的消息待处理的会继续在bolt组件中处理 在达到kill 的时间后所有组件停止工作 spout的速度不受bolt处理tuple的速度影响,所以需要处理好spout和bolt的处理速度关系? 各个bolt间的速度是相互影响的,所有的bol
阅读全文
