beipiaodiaosi

摘要： 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度 阅读全文

摘要： 分配更多资源：性能调优的王道，就是增加和分配更多的资源，性能和速度上的提升，是显而易见的 1、分配哪些资源？ executor、cpu per executor、memory per executor、driver memory 2、在哪里分配这些资源？ 在我们在生产环境中，提交spark作业时，用 阅读全文

摘要： equals()和==的区别 == 基本类型：对比它们的值是否相等 引用类型：对比它们的内存地址是否相等 == 基本类型：对比它们的值是否相等 引用类型：对比它们的内存地址是否相等 基本类型：对比它们的值是否相等 引用类型：对比它们的内存地址是否相等 equals() 引用类型：默认情况下，对比它们 阅读全文

摘要： 方法重载方法重写 方法重载用于提高程序的可读性 方法重写用于提供已经由其超类提供的方法的特定实现 方法重载在类内执行 方法重写需要继承到在子类中 在方法重载的情况下，参数必须不同 在方法重写的情况下，参数必须相同 方法重载是编译时多态性的例子 方法重写/覆盖是运行时多态性的例子 返回类型任意 子类的方法返回的权限修饰符必须大于等于所覆盖的方法 阅读全文

摘要： instanceof 严格来说是Java中的一个双目运算符，用来测试一个对象是否为一个类的实例，用法为： 其中 obj 为一个对象，Class 表示一个类或者一个接口，当 obj 为 Class 的对象，或者是其直接或间接子类，或者是其接口的实现类，结果result 都返回 true，否则返回fal 阅读全文

摘要： MapTask Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value Collect收集阶段：在用户编写m 阅读全文

摘要： 减少硬盘寻道时间(disk seek time) 假如数据块设置过少，那需要读取的数据块就比较多，由于数据块在硬盘上非连续存储，所以随机寻址较慢，读越多的数据块就增大了总的硬盘寻道时间。当硬盘寻道时间比io时间还要长的多时，那么硬盘寻道时间就成了系统的一个瓶颈。合适的块大小有助于减少硬盘寻道时间，提 阅读全文

摘要： 阅读全文

摘要： 高级 API优点 高级 API 写起来简单 不需要自行去管理 offset，系统通过 zookeeper 自行管理 不需要管理分区，副本等情况，系统自动管理 消费者断线会自动根据上一次记录在 zookeeper 中的 offset 去接着获取数据（默认设置1 分钟更新一下 zookeeper 中存的 阅读全文

摘要： 存储方式 物理上把 topic 分成一个或多个 patition，每个 patition 物理上对应一个文件夹（该文件夹存储该 patition 的所有消息和索引文件） 存储方式 物理上把 topic 分成一个或多个 patition，每个 patition 物理上对应一个文件夹（该文件夹存储该 p 阅读全文