摘要：
预估方式：一个uid，String类型，最长约50字节，即50Byte，一天100亿PV，则100亿*50Byte，约500G容量存ES中或Hbase中，无法存日志文件中，一个docker磁盘才50G 字节 byte 位 bit bit : 电脑记忆体中最小的单位，在二进位电脑系统中，每一bit 可 阅读全文
摘要：
上下文切换 即使是单核CPU也支持多线程执行代码，CPU通过给每个线程分配CPU时间片来实现这个机制（因为通常一个任务不光cpu上要花时间，io上也要花时间，一个进程在等 io的时候，cpu 是闲置的，另一个进程正好可以利用cpu把cpu该做的事做完。多几个进程一起跑，可以把 io 和 cpu 都跑 阅读全文
摘要：
Concurrent包中的BlockingQueue很好的解决了多线程中如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类，为我们快速搭建高质量的多线程程序带来极大的便利。 通过一个共享的队列，可以使得数据由队列的一端输入，从另外一端输出； 常用的队列主要有以下两种：（当然通过不同的实 阅读全文
摘要：
一种节省空间的概率数据结构 布隆过滤器可以理解为一个不怎么精确的 set 结构，当你使用它的 contains 方法判断某个对象是否存在时，它可能会误判。但是布隆过滤器也不是特别不精确，只要参数设置的合理，它的精确度可以控制的相对足够精确，只会有小小的误判概率。 当布隆过滤器说某个值存在时，这个值可 阅读全文
摘要：
用于排名的数据结构 一般排序为利用堆排序(二叉树)和利用skipList(跳表)的方式 redis中SortedSet利用skipList(跳表)来实现排序，复杂度为O(logn)，利用空间换时间，类二分查找 部分API示例如下： Zincrby Zadd Zrevrange Zrevrangeby 阅读全文
摘要：
RPC:远程过程调用（分布式、微服务间的方法调用） HTTP:无状态，每次请求都要发送一个request，服务器响应之后就断掉（http header中的keep-alive指的是tcp） TCP:面向连接，三次握手保证通信可靠 UDP:非面向连接，不可靠，速度快（可以手动对数据收发进行验证，IM系 阅读全文
摘要：
微服务简介 微服务是一个新兴的软件架构，就是把一个大型的单个应用程序和服务拆分为数十个的支持微服务。一个微服务的策略可以让工作变得更为简便，它可扩展单个组件而不是整个的应用程序。简而言之，微服务架构是一种将单应用程序作为一套小型服务开发的方法，每种应用程序都在其自己的进程中运行，并与轻量级机制（通常 阅读全文
摘要：
Kafka producer在设计上要比consumer简单，不涉及复杂的组管理操作，每个producer都是独立进行工作的，与其他producer实例之间没有关联。Producer的主要功能就是向某个topic的某个分区发送消息，所以首先要确认向topic的哪个分区写入消息——即分区器(parti 阅读全文
摘要：
原因分析： 常见丢包现象如突然掉线、页面卡住、视频卡住、图片加载卡主等，使用Ping测量丢包的最佳方法是向一个IP地址发送大量的Ping命令，然后检查没有应答的那些Ping命令。如果快速地发出了50次Ping命令，可以检查没有没有应答的次数，并把没有应答的次数作为丢包。没有应答的次数超过5%可能就值 阅读全文
摘要：
broker端参数主要在config/server.properties目录下设置： 启动命令：nohup ./kafka-server-start.sh -daemon ../config/server.properties & broker.id参数：Kafka使用唯一的一个整数来标识每个bro 阅读全文