打怪up

摘要： 主要针对的是“有序数组”中查找某个特定元素。 1、二分查找的思想：主要针对的是有序数组，要充分利用数组有序的特性，要是遍历查找，时间复杂度是O（n），就浪费了数组的有序性。其思想就是，每次查找对比的元素都是数组的中间元素，通过比较中间元素和目标元素的大小，进一步的缩小范围，每次比较的范围都缩小为原来 阅读全文

摘要： 1、题目描述： 用两个栈来实现一个队列，完成队列的Push和Pop操作。 队列中的元素为int类型。 2、思路： 栈是先进后出，队列是先进先出。stack1只需要把其中的元素全部导入stack2 ，元素的顺序就变成了先进先出的顺序。但有一点必须考虑，那就是元素导入的时机问题，因为元素入队和出队的时机 阅读全文

摘要： 1、spark shuffle：spark 的 shuffle 主要发生在 DAG 视图中的 stage 和 stage 之间，也就是RDD之间是宽依赖的时候，会发生 shuffle。 补充：spark shuffle在很多地方也会参照mapreduce一样，将它分成两个阶段map阶段、reduce 阅读全文

摘要： 1、Hbase表结构： 可以看成map映射，里面有行键，行键是按照字母顺序排序。行键下面是列族，每个列族可以有不同数量的列甚至是没有列。每个列里面包含着不同时间版本的列的值。 行键：是按照字母的顺序排序的，这样做的好处就是在扫描表的时候感兴趣的项，是在相邻的。给定的行可以在每个列族中有任意数量的列， 阅读全文

摘要： 1、什么是主从复制：在实际生产中，数据库若只在一台服务器上，容易产生单点故障问题。因此一般在多台服务器上部署数据库，将数据复制多分在不同的服务器上，即使一台故障了，其余的也能对外提供服务。主从复制指的是，将这几台服务器就分为主库和从库，其中主库负责读写操作，从库只负责读。主库master，从库sla 阅读全文

摘要： 1、kafka的HA机制：副本机制+消息同步+leader选举。 每个topic有多个partition，每个partition又有多个副本，这些副本当中也存在不同的角色，leader、follower。producer和consumer都只跟leader进行交互，leader进行读写操作。lead 阅读全文

摘要： 目录 一、消息传递语义 二、消息一致性保证方案 三、kafka消息丢失场景 三、kafka消息重复场景 一、消息传递语义： 三种，至少一次，至多一次，精确一次 1、at lest once：消息不丢，但可能重复 2、at most once：消息会丢，但不会重复 3、Exactly Once：消息不 阅读全文

摘要： 1、源码更改场景：如果使用 0.8 版本 Kafka 并配套 1.6 版本 Flume，由于 Flume 1.6 版本没有Taildir Source 组件，因此，需要将 Flume 1.7 中的 Taildir Source 组件源码编译打包后，放入Flume1.6 安装目录的 lib文件目录下。 阅读全文

摘要： 一、拦截器 1、拦截器： 拦截器主要作用在source和channel之间，用于给event设置header消息头，如果没有设置拦截器，则event中只有message。 常见的拦截器有： Timestamp Interceptor 时间拦截器：将时间戳插入到header中。 Host Interc 阅读全文

摘要： 1、什么是Sqoop： Sqoop就是将数据在 关系型数据库（mysql、oracle）和 Hadoop 之间相互转移的工具。底层是用mapreduce来实现的。 2、Sqoop的工作机制： https://blog.csdn.net/RivenDong/article/details/101423 阅读全文