会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Mr.Ming2
博客园
首页
新随笔
联系
订阅
管理
2018年3月21日
大数据智能SOC解决方案
摘要:
阅读全文
posted @ 2018-03-21 11:13 Mr.Ming2
阅读(417)
评论(0)
推荐(0)
编辑
LRU算法 缓存淘汰策略
摘要: 四种实现方式 LRU 1.1. 原理 LRU(Least recently used,最近最少使用)算法根据数据的历史访问记录来进行淘汰数据,其核心思想是“如果数据最近被访问过,那么将来被访问的几率也更高”。 最常见的实现是使用一个链表保存缓存数据,详细算法实现如下: 1. 新数据插入到链表头部;
阅读全文
posted @ 2018-03-21 10:25 Mr.Ming2
阅读(41256)
评论(0)
推荐(4)
编辑
2018年3月20日
同步异步 阻塞非阻塞
摘要: 劫匪冲进某花园小别墅,端着AK47,向某衰男甩过去一个袋子:说,快,把现金拿出来给我放进去,这个时候劫匪一直跟着衰男去装钱,看钱装满了他就拿走,此时劫匪是阻塞 的,因为劫匪不能干其他的,得看着这个衰男,免得他搞鬼。 想象下,如果劫匪等衰男自己去装钱,在钱装满之前,他自己可以到处翻箱倒柜,找点值钱的首
阅读全文
posted @ 2018-03-20 09:36 Mr.Ming2
阅读(249)
评论(0)
推荐(0)
编辑
2018年3月15日
zookeeper源码导入
摘要: 1 搭建步骤 1.1 到github中下载该项目 项目地址 https://github.com/apache/zookeeper。下载.zip包到本地解压。 解压后文件目录: 1.2 使用ant对源码编译成eclipse工程 上述源码还不是eclipse工程。需要使用ant eclipse命令来转
阅读全文
posted @ 2018-03-15 10:46 Mr.Ming2
阅读(361)
评论(0)
推荐(0)
编辑
2018年3月13日
zookeeper 版本不一致导致不断重连
摘要: 在使用kafka 和zookeeper 实现实时分析程序时,由于zookeeper部署版本和分析程序导入jar包的版本不一致,导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报错,错误信息如下: 还有一个现象就是:实时分析程序不停的抛出上述的错误。 从错误日志中我们可以发现,
阅读全文
posted @ 2018-03-13 10:46 Mr.Ming2
阅读(6986)
评论(0)
推荐(0)
编辑
2018年3月7日
事务
摘要: 事务的特性(ACID特性) A:原子性(Atomicity) 事务是数据库的逻辑工作单位,事务中包括的诸操作要么全做,要么全不做。 B:一致性(Consistency) 事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。 数据库状态如何变化? 每一次数据变
阅读全文
posted @ 2018-03-07 18:00 Mr.Ming2
阅读(242)
评论(0)
推荐(0)
编辑
2018年3月6日
Zero-Copy技术
摘要: 概述 考虑这样一种常用的情形:你需要将静态内容(类似图片、文件)展示给用户。那么这个情形就意味着你需要先将静态内容从磁盘中拷贝出来放到一个内存buf中,然后将这个buf通过socket传输给用户,进而用户或者静态内容的展示。这看起来再正常不过了,但是实际上这是很低效的流程,我们把上面的这种情形抽象成
阅读全文
posted @ 2018-03-06 13:55 Mr.Ming2
阅读(286)
评论(0)
推荐(0)
编辑
Kafka 高性能吞吐揭秘
摘要: A high-throughput distributed messaging system.--Apache Kafka Kafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性
阅读全文
posted @ 2018-03-06 10:42 Mr.Ming2
阅读(3035)
评论(0)
推荐(1)
编辑
2018年2月9日
Kafka性能
摘要: 基准测试Apache Kafka:每秒写入2百万(在三台便宜的机器上) 核心的数据枢纽一定是高效的,可预测的,并且容易扩展。Kafka能够做到在普通的硬件上支撑每秒百万次写入。 Kafka的数据模型非常简单,生产者将数据发送至kafka集群,然后由消费者处理这些数据: 生产者将他们的记录发布到一个主
阅读全文
posted @ 2018-02-09 15:09 Mr.Ming2
阅读(302)
评论(0)
推荐(0)
编辑
2018年2月7日
sqoop
摘要: sqoop import -connect jdbc:oracle:thin:@192.168.186.65:1521:orcl -username ultrapower -password 123456 -table BMS_CONGRUENT_COUNT -hive-table tj.BMS_C
阅读全文
posted @ 2018-02-07 09:18 Mr.Ming2
阅读(152)
评论(0)
推荐(0)
编辑
下一页
公告