摘要： Redis数据结构适用场景 String Hash 主要存放一些对象 ，简单对象的缓存，后续操作直接修改这个对象中某个字段的值 List 有序列表 ，粉丝列表，文章评论，基于redis实现简单的高性能分页（微博下拉分页） Set 无序集合，去重 Sort set 排行榜 Redis线程模型，与mem 阅读全文

摘要： Mysql在B+树上的联合索引 二叉查找树：非叶子节点最多拥有两个子节点；非叶子节点的值大于左边子节点，小于右边子节点；没有值相等重复的节点； 平衡二叉树：为了提高二叉查找树的效率，需要平衡；树的左右两边层级不能超过1；查找一个节点的io次数是树的高度，但是频繁的io是个瓶颈，为了解决问题，提出了局 阅读全文

摘要： Kafka 1. Kafka概述 1.1. 什么是Kafka Apache Kafka是分布式发布-订阅消息系统（消息中间件）。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 简单说明什么是Ka 阅读全文

摘要： 为什么使用flume？ 1.简单方便，对HDFS做了优化 2.实时服务器数据，可以自定义保证不去重复消费 3.filechannel可以保证数据不丢失，数据传输自身有事物，在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个 阅读全文

摘要： SparkOnYarn（cluster） 1.由客户端向ResourceManager提交请求，上传jar包和配置参数到RM分配的HDFS路径 2.ResuurceManager向NodeManager申请资源，创建Spark ApplicationMaster（每一个SparkContext都有一 阅读全文

摘要： Spark内存模型Spark在一个Executor中的内存分为三块，一块是execution内存，一块是storage内存，一块是other内存。Execution内存是执行内存，文档中说join，aggregate都在这部分内存中执行，shuffle的数据也会先缓存在这个内存中，满了再写入磁盘，能 阅读全文

摘要： Spark快于mapreduce Spark基于内存，Spark多个任务之间数据通信是基于内存，而Hadoop是基于磁盘 传统的mapreduce虽然具有自动容错、平衡负载的功能，但是他采用的是非循环式的数据流模型（每次流程都需要读取数据），这使得迭代计算需要大量的磁盘IO，RDD的一个重要特征是， 阅读全文

摘要： _通配符定义的变量需要指定类型 在immutable包下 list指长度和内容都不可变。array长度不可变，内容可变 可变set中，remove的是元素。ListBuffe移除的是下标 用object修饰的对象都是单例的，静态对象。通常会在伴生对象中 定义apply方法，用类名()的方式去调用，该 阅读全文

摘要： hdfs-site.xml 1. hdfs集群公开访问地址 2.namenode保存数据路径 3.datanode保存数据路径 4.secondary 地址 core-site.xml 配置客户端文件上传路径为hdfs(默认为本地) 控制着文件的副本数和文件的切换 hdfs上传文件步骤 注意事项：文 阅读全文