bjehp

摘要： Databus系统是微博DIP团队开源的分布式日志传输系统。它是一个分布式、高可用的，用于采集和移动大量日志数据的服务。它基于流式数据的简单而灵活的架构，具备健壮性和容错性，具有故障转移与恢复机制。它采用简单的可扩展的数据投递模型，允许用户自定义扩展传输组件。 主要特性 All-In-One 所有的 阅读全文

摘要： 日常开发中，对于操作ClickHouse中的数据，查询是最常用的功能。本文通过代码示例介绍使用JDBC方式连接ClickHouse查询数据的两种接口：Statement 和 PreparedStatement接口。 1. 引入ClickHouse驱动依赖包 笔者使用idea开发工程，首先创建mave 阅读全文

摘要： EDADS系统包含了众多的时序模型和异常检测模型，这些模型的处理会输入很多参数，若仅使用默认的参数，那么时序模型预测的准确率将无法提高，异常检测模型的误报率也无法降低，甚至针对某些时间序列这些模型将无法使用。 若想有效地使用EGADS系统，那么必须了解EGADS系统的核心算法思想，并据此调优模型参数 阅读全文

摘要： 最近在做异常检测相关的工作，因此调研了业界常用的异常检测系统。通过查阅相关资料，发现业界对雅虎开源的EGADS系统评价比较高，其git项目已有980个star。这周阅读了项目的源码，梳理了系统框架的基本处理流程，整理成这篇文章。现分享给大家，希望对想了解EGADS系统工作原理的同学有所帮助。 1. 阅读全文

摘要： 开发者可以通过三种方式配置日志记录： 调用配置方法的Python代码显式创建记录器、处理程序和格式化程序。 创建日志配置文件并使用fileConfig() 函数读取。 创建配置信息字典并将其传递给dictConfig()函数。 相对第一种，第二种使用配置文件方式更有优势，主要是配置和代码的分离，结构 阅读全文

摘要： Kafka是目前业界使用最广泛的消息队列。数据流转常见这样的业务场景，客户端把采集到的日志推送给Kafka，业务方可以消费Kafka的数据落地HDFS，用于离线分析，也可以使用Spark或Flink消费Kafka中的数据，用于实时计算。Kafka在数据流转过程中发挥着纽带作用，可用于日志采集和数据处 阅读全文

摘要： 大数据技术有着众多系统需要分布式协调服务，比如Hadoop、Kafka系统，其中主从切换、维护命名空间、以及分布式协调通知等场景，需要保证数据的分布式一致性。 Zookeeper是业界最著名的分布式协调系统，下文中简称为ZK。ZK系统的实现基于ZAB协议（Zookeeper Atomic Broad 阅读全文

摘要： 机器学习模型常用Docker部署，而如何对Docker部署的模型进行管理呢？工业界的解决方案是使用Kubernetes来管理、编排容器。Kubernetes的理论知识不是本文讨论的重点，这里不再赘述，有关Kubernetes的优点读者可自行Google。笔者整理的Kubernetes入门系列的侧重点 阅读全文

摘要： Kubernetes集群搭建完成后，开始尝试部署一个"Hello World"的简单应用，据此了解Kubernetes的应用部署流程，熟悉yaml文件的核心配置。本文在Kubernetes集群部署了一个Nginx应用，并使用service把应用暴露给外部访问。以下是具体操作步骤，希望能给初学者提供一 阅读全文

摘要： Kubernetes集群搭建完成后，可以通过命令行方式了解集群资源的使用情况，但是这种方式比较笨拙且不直观，因此考虑给集群安装Dashboard，这样能更直观了解集群状态。本文Dashboard的整体安装流程参考的官网安装文档，但是在图形化界面展示部分，官网介绍的比较零散，参考了知乎的一篇文章后才一 阅读全文