03 2021 档案
摘要：1、什么是kafka？ Kafka是一种分布式的，基于发布/订阅的消息系统（消息队列）。 2、为什么要用kafka？ 当业务逻辑变得复杂，数据量也会越来越多。此时可能需要增加多条数据线，每条数据线将收集到的数据导入到不同的存储和分析系统中。若仍使用之前的数据收集模式，则会出现以下问题： **1）生产
阅读全文
摘要：1、接收用户输入 #读取用户输入并且将输入保存到input变量中 read -p "请输入：" input #也可以先输出信息再进行读取，这里的-n是为了用户输入和提示在同一行，不会换行 echo -n "请输入：" read input 2、echo打印有颜色的输出 #黑色 echo -e "\0
阅读全文
摘要：1、数据收集层 1）扩展性：灵活适配不同的数据源。 2）可靠性：数据在传输过程中不能丢失。 3）安全性：敏感数据在收集过程中不会有安全隐患。 4）低延迟：能够以较低延迟传输到后端存储系统中 2、数据存储层 1）扩展性：需要灵活增加新机器扩展存储能力。 2）容错性：在机器出现故障不会导致数据丢失。 3
阅读全文
摘要：1、版本控制 版本的更新迭代 版本控制是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史，方便查看更改历史记录，备份以便恢复以前的版本的软件工程技术。 多人开发就必须要使用版本控制，不然代价会比较大。 1）本地版本控制 记录文件每次的更新，可以对每个版本做一个快照，或是记录补丁文件，
阅读全文
摘要：1、为什么docker比VM快？ 1）因为docker有着比VM更少的抽象层。 2）docker利用的是宿主机的内核，VM需要的是Guest OS。 所以说新建一个容器的时候，docker不需要像VM那样重新加载一个操作系统内核，避免引导，省略了复杂的过程，是秒级的。 2、docker常用命令 1）
阅读全文
