摘要: 阅读全文
posted @ 2018-03-21 11:13 Mr.Ming2 阅读(417) 评论(0) 推荐(0) 编辑
摘要: 四种实现方式 LRU 1.1. 原理 LRU(Least recently used,最近最少使用)算法根据数据的历史访问记录来进行淘汰数据,其核心思想是“如果数据最近被访问过,那么将来被访问的几率也更高”。 最常见的实现是使用一个链表保存缓存数据,详细算法实现如下: 1. 新数据插入到链表头部; 阅读全文
posted @ 2018-03-21 10:25 Mr.Ming2 阅读(41256) 评论(0) 推荐(4) 编辑
摘要: 劫匪冲进某花园小别墅,端着AK47,向某衰男甩过去一个袋子:说,快,把现金拿出来给我放进去,这个时候劫匪一直跟着衰男去装钱,看钱装满了他就拿走,此时劫匪是阻塞 的,因为劫匪不能干其他的,得看着这个衰男,免得他搞鬼。 想象下,如果劫匪等衰男自己去装钱,在钱装满之前,他自己可以到处翻箱倒柜,找点值钱的首 阅读全文
posted @ 2018-03-20 09:36 Mr.Ming2 阅读(249) 评论(0) 推荐(0) 编辑
摘要: 1 搭建步骤 1.1 到github中下载该项目 项目地址 https://github.com/apache/zookeeper。下载.zip包到本地解压。 解压后文件目录: 1.2 使用ant对源码编译成eclipse工程 上述源码还不是eclipse工程。需要使用ant eclipse命令来转 阅读全文
posted @ 2018-03-15 10:46 Mr.Ming2 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 在使用kafka 和zookeeper 实现实时分析程序时,由于zookeeper部署版本和分析程序导入jar包的版本不一致,导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报错,错误信息如下: 还有一个现象就是:实时分析程序不停的抛出上述的错误。 从错误日志中我们可以发现, 阅读全文
posted @ 2018-03-13 10:46 Mr.Ming2 阅读(6986) 评论(0) 推荐(0) 编辑
摘要: 事务的特性(ACID特性) A:原子性(Atomicity) 事务是数据库的逻辑工作单位,事务中包括的诸操作要么全做,要么全不做。 B:一致性(Consistency) 事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。 数据库状态如何变化? 每一次数据变 阅读全文
posted @ 2018-03-07 18:00 Mr.Ming2 阅读(242) 评论(0) 推荐(0) 编辑
摘要: 概述 考虑这样一种常用的情形:你需要将静态内容(类似图片、文件)展示给用户。那么这个情形就意味着你需要先将静态内容从磁盘中拷贝出来放到一个内存buf中,然后将这个buf通过socket传输给用户,进而用户或者静态内容的展示。这看起来再正常不过了,但是实际上这是很低效的流程,我们把上面的这种情形抽象成 阅读全文
posted @ 2018-03-06 13:55 Mr.Ming2 阅读(286) 评论(0) 推荐(0) 编辑
摘要: A high-throughput distributed messaging system.--Apache Kafka Kafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性 阅读全文
posted @ 2018-03-06 10:42 Mr.Ming2 阅读(3035) 评论(0) 推荐(1) 编辑
摘要: 基准测试Apache Kafka:每秒写入2百万(在三台便宜的机器上) 核心的数据枢纽一定是高效的,可预测的,并且容易扩展。Kafka能够做到在普通的硬件上支撑每秒百万次写入。 Kafka的数据模型非常简单,生产者将数据发送至kafka集群,然后由消费者处理这些数据: 生产者将他们的记录发布到一个主 阅读全文
posted @ 2018-02-09 15:09 Mr.Ming2 阅读(302) 评论(0) 推荐(0) 编辑
摘要: sqoop import -connect jdbc:oracle:thin:@192.168.186.65:1521:orcl -username ultrapower -password 123456 -table BMS_CONGRUENT_COUNT -hive-table tj.BMS_C 阅读全文
posted @ 2018-02-07 09:18 Mr.Ming2 阅读(152) 评论(0) 推荐(0) 编辑