2021年12月11日
【大数据面试】【框架】kafka：组成、台数/参数配置、持久化、ISR队列、宕机、丢数据、重复数据、数据积压、优化各种配置（刷盘、存盘、副本、压缩）、zk、其他
摘要： 一、基本信息 1、组成 生产者 broker 消费者 zookeeper：brokerid、consumer信息（不包含生产者的信息） 2、需要安装多少台 2 * (生产者的峰值生产速率 * 副本 / 100) + 1 = 3 生产环境下，配置副本的数量为2-3个，2个居多 3、副本的优势和劣势 副 阅读全文
posted @ 2021-12-11 22:24 哥们要飞 阅读(486) 评论(0) 推荐(0) 编辑
【每日一题】2021年12月11日-69. Sqrt(x)/x的平方根
摘要： 给你一个非负整数 x ，计算并返回 x 的 算术平方根 。 由于返回类型是整数，结果只保留 整数部分 ，小数部分将被 舍去 。 注意：不允许使用任何内置指数函数和算符，例如 pow(x, 0.5) 或者 x ** 0.5 。 来源：力扣（LeetCode）链接：https://leetcode-cn 阅读全文
posted @ 2021-12-11 21:11 哥们要飞 阅读(34) 评论(0) 推荐(0) 编辑
【大数据面试】【框架】Flume：Source的断点续传、重复数据、Channel选择
摘要： 〇、用途 流式结构 获取磁盘日志，拦截器过滤后，传递指定数据，写入HDFS或kafka 一、组成-Source、Channel、Sink 事务（put/take） 1、Source taildir source： （1）特点：断点续传+多目录（维护offset） 产生自哪个版本-Apache Flu 阅读全文
posted @ 2021-12-11 11:35 哥们要飞 阅读(489) 评论(0) 推荐(0) 编辑
【大数据面试】【框架】Zookeeper作用、半数机制、命令、安装台数
摘要： 〇、作用 存储和管理数据 Zookeeper=文件系统+通知机制 树形结构，每个节点被称为一个Znode（1MB） 一、半数机制 1、注意 安装奇数台（4台） 二、常用命令 ls get create 2、客户端命令行操作 查看子节点：ls path 获得节点的值：get path 递归删除节点：d 阅读全文
posted @ 2021-12-11 10:41 哥们要飞 阅读(168) 评论(0) 推荐(0) 编辑