1. Web2.0时代,用户访问量大幅提升,面临的挑战有哪些?
* 应用服务器: CPU/内存压力 ==> 采用集群方式, 部署多台应用服务器(前置负载均衡组件)
* 数据库: IO压力 ==> NoSQL 缓存数据库, 针对不同数据结构类型改用性能优先的存储方式: 列式数据库, 文档数据库
2. 集群环境下的session共享问题有哪些解决方案
* 方案1: 存在cookie里. 不安全
* 方案2: 存在数据库里. 大量的IO效率问题
* 方案3: session复制. 数据冗余, 节点越多浪费越大
* **方案4: 缓存数据库. 完全在内存中, 速度快且数据结构简单**
* 方案5: ip哈希
3. 常见的负载均衡组件有哪些, 各自有什么特点?
* 硬件: F5
* 软件: nginx, haproxy, LVS ==> 详细参考 https://blog.csdn.net/mashuai720/article/details/78625678
- nginx: 工作在网络7层, 安装配置简单, 仅能支持http(s)和Email协议, 对请求异步处理(可以减轻服务器压力), 可以做Web服务器
- haproxy: 支持TCP(4层)/HTTP(7层), 支持虚拟主机, 能够Session保持/Cookie引导等, 不能做Web服务器
- LVS: 工作在网络4层, 稳定可靠, 不支持正则, 不能动静分离, 配置相对复杂
* 总结: 网站建设初期，可以选用Nginx、HAProxy作为反向代理负载均衡(流量不大时，可以不选用负载均衡)，因为其配置简单，性能也能满足一般业务场景。如果考虑到负载均衡器是有单点问题，可以采用Nginx+Keepalived/HAproxy+Keepalived避免负载均衡器自身的单点问题。网站并发到达一定程度后，为了提高稳定性和转发效率，可以使用lvs，毕竟lvs比Nginx/HAProxy要更稳定，转发效率也更高。
* 常见的负载均衡算法
* rr轮询, wrr带权轮询, lc最小连接, wlc带权最小连接, source(原地址保持)
4. 常见的NoSQL数据库有哪些, 简单说明下
* Memcache: 数据都在内存中(一般不持久化), 仅支持简单的key-value模式(支持类型单一)
* Redis: 几乎覆盖了Memcache的绝大部分功能, 支持就持久化, 支持多种数据结构
* MongoDB: 文档型数据库, 数据都在内存(不足时把不常用的保存到磁盘), 虽然是key-value模型, 但是对value(json)提供了丰富的查询功能
* HBase: Hadoop项目中的列式数据库, 目标是处理数据量非常庞大的表, 可以用普通计算机处理超过10亿行数据
* Cassandra: Apache下的列式数据库, 目标在于管理由大量商用服务器构建起来的庞大集群的海量数据集(数据量通常达到PB级别)
* Neo4j: 图关系型数据库, 主要应用在社会关系, 公共交通网络, 地图及网络拓扑
5. 简单说一下Redis的特点
* 开源的key-value数据库
* value支持的类型比较多: string, list, set, zset, hash; 新数据结构: Bitmaps, HyperLogLog, Geospatial
* 支持各种不同方式的排序
* 缓存在内存中的, 会周期性的把更新的数据写入到磁盘(RDB) 或 修改操作写入追加记录(AOF)
* 实现了master-slave主从同步和集群
6. Redis的应用场景有哪些?
- 配合关系型数据库做高速缓存
* 集群下的session共享: Shiro会话, JWT验证
* 高频次, 热点数据的缓存, 降低数据库IO: 比如用户是否为管理员
- 多样的数据结构存储持久化功能
* 最新N个数据: 通过List实现按自然时间排序
* 排行榜(TopN): 利用zset
* 时效性数据(比如手机验证码): Expire过期
* 计数器(秒杀): 原子性, 自增incr, 自减desr
* 去重大量重复数据: 利用set集合
* 构建队列: 利用list集合
* 发布订阅消息: pub/sub模式
- 其他
* 合同生成进度等
* 外部数据访问有效期
7. Redis的命令工具有哪些, 都是做什么的?
- redis-benchmark: 性能测试工具
- redis-check-aof: 修复有问题的AOF文件
- redis-check-dump: 修复有问题的dump文件
- redis-sentinel: 哨兵, 集群使用
- redis-server: 服务启动命令(注意启动目录默认即dump.rdb文件所在位置)
- redis-cli: 客户端, 操作入口
8. Redis的启动关闭与相关知识
- redis-server /etc/redis.conf (daemon改为yes后台启动)
- redis-cli 进入后shutdown 或 直接 kill
- 默认16个库, select <dbid>来切换. dbsize/flushdb/flushall
- 单线程+多路IO复用技术: 使用一个线程来检查多个文件描述符(Socket)的就绪状态
- 原子操作: 指不会被线程调度机制打断的操作
9. Redis的常用数据类型, 操作命令及底层数据结构
- 字符串: 数据结构为简单动态字符串, 采用预分配冗余空间的方式减少内存频繁分配. 小于1M扩容时加倍, 超过1m扩容一次多扩1M. 字符串最大长度为512M
```
设置/获取/删除, 是否存在/查看类型, 设置过期/查看还有多久过期, 总共有哪些key
set/get/del , exists/type, expire/ttl, keys *
unlink key: 根据value选择非阻塞删除(仅将keys从keyspace元数据中删除, 真正删除后续异步操作)
append/strlen/setnx, incr/incrby, decr/decrby
mset/mget/msetnx, getrange/setrange, setex <key> 过期时间, getset: 以新换旧
```
- 列表List: 数据结构为快速链表quicklist. 列表元素较少时使用一块连续内存, 这个结构是ziplist(压缩列表).数据量比较多时才会改为quicklist(普通链表和ziplist组合)
```
lpush/rpush, lpop/rpop, rpoplpush, lrange, lindex, llen, linsert, lrem, lset
值在键在, 值光键亡. -1右边第一个, 0 -1 表示获取所有
```
- 集合Set: 数据结构是dict字典, 字典采用哈希表实现. 添加/删除/查找的复杂度都是O(1)
```
sadd, smembers, sismember, scard, srem, spop, srandmember, smove, sinter, sunion, sdiff
```
- 哈希Hash: 对应的数据结构有两种, ziplist(压缩列表), hashtable(哈希表). 当field-value长度较短且个数较少时使用ziplist, 否则使用hashtable. 特别适用于存储对象.
```
hset/hget, hmset, hexists, hkeys, hvals, hincrby, hsetnx
```
- ZSet: 有序set(SortedSet), 每个成员都关联了一个评分(score). 底层使用了两种数据结构. hash(value和score)和跳跃表(排序)
```
zadd, zrange, zrangebyscore, zrevrangebyscore, zincrby, zrem, zcount, zrank
```
10. Redis的常见配置有哪些?
- 网络: bind, protected-mode, port, timeout, tcp-keepalive
- 通用: daemonize, pidfile, loglevel, logfile, databases
- 安全: requirepass
- 限制: maxclients, maxmemory, maxmemory-policy, maxmemory-samples
11. Redis的发布和订阅
- 订阅: subscribe <channelName>
- 发布: publish <channelName> <message>
12. Redis新数据类型
- Bitmaps: 实际上它就是字符串, 但是可以对字符串的位进行操作. 可以想象为一个以位为单位的数组, 数组的每个单元只能存储0和1, 数组的下标叫做偏移量
```
setbit/getbit, bitcount, bitop and(or/not/xor)
```
- HyperLogLog: 用来做基数统计的算法(独立访客,独立IP数,distinct count). 在输入元素数量或体积非常大时, 计算基数所需的空间总是固定的, 并且是很小的
```
pfadd, pfcount, pfmerge
```
- Geospatial: GEO类型经纬度, 设置/查询/范围查询/距离查询/经纬度Hash等操作
```
geoadd, geoops, geodist, georadius
```
13. Redis事务的使用与说明
- multi, exec, discard: 组队和执行两个阶段
- watch: 监视1个或多个key, 如果事务在执行之前key被其他命令改动, 那么事务将被打断
- Redis事务的特性
* 单独的隔离操作: 不会被其他客户端发送来的命令打断
* 没有隔离级别概念: 提交之前都不会实际被执行
* 不保证原子性: 如果有1条命令执行失败, 其后的命令仍然被执行, 没有回滚
- LUA脚本
14. Redis的持久化
- RDB: (dump.rdb)在指定的时间间隔内将内存中的数据集快照写入磁盘(Snapshot快照), fork子进程进行持久化
- AOF: (appendonly.aof)以日志的形式记录操作写操作(增量保存), 只许追加文件但不可以改写文件. 同时开启默认取AOF的数据
15. Redis的主从复制, 哨兵, 集群
16. Redis应用问题解决
- 缓存穿透: 不存在的key压垮数据库
* 方案1: 对空值缓存
* 方案2: 设置访问白名单
* 方案3: 布隆过滤器
- 缓存击穿: 热点key过期的瞬间压垮数据库
* 方案1: 预热热门数据
* 方案2: 实时调整热门数据的过期时长
* 方案3: 使用锁
- 缓存雪崩: 大量key短期内同时过期
* 方案1: 构建多级缓存架构
* 方案2: 使用锁或队列
* 方案3: 设置过期标志更新缓存
* 方案4: 将缓存失效时间分散开
- 分布式锁: 分布式集群系统后, 需要一种跨JVM的互斥机制来控制共享资源的访问
* 方案1: 基于数据库实现分布式锁
* 方案2: 基于缓存(Redis等), 性能最高
* 方案3: 基于Zookeeper, 可靠性最高
17. Redis6的新功能
- ACL: Access Control List(访问控制权限), 对用户进行更细粒度的权限控制
- 多线程: (默认关闭)指客户端交互部分的网络和IO模块多线程, 执行命令依然是单线程
