上一页 1 ··· 42 43 44 45 46 47 48 49 50 ··· 106 下一页
摘要: kafka数据可靠传输 再说复制Kafka 的复制机制和分区的多副本架构是Kafka 可靠性保证的核心。把消息写入多个副本可以使Kafka 在发生崩愤时仍能保证消息的持久性。Kafka 的主题被分为多个分区,分区是基本的数据块。分区存储在单个磁盘上,Kafka 可以保证分区里的事件是有序的,分区可以 阅读全文
posted @ 2019-11-12 10:54 小学弟- 阅读(296) 评论(0) 推荐(0) 编辑
摘要: 深入理解kafka 摘自: 《kafka权威指南》 集群间成员关系 Kafka 使用Zoo keeper 来维护集群成员的信息。每个broker 都有一个唯一标识符,这个标识符可以在配置文件里指定,也可以自动生成。在broker 启动的时候,它通过创建临时节点把自己的ID 注册到Zookeeper 阅读全文
posted @ 2019-11-12 10:53 小学弟- 阅读(396) 评论(0) 推荐(0) 编辑
摘要: kafka-python的API简单介绍 在官方文档详细列出了kafka-python的API接口https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html #send方法的详细说明,send用于向主题发送信息sen 阅读全文
posted @ 2019-11-12 10:51 小学弟- 阅读(1052) 评论(0) 推荐(0) 编辑
摘要: kafka实战教程(python操作kafka),kafka配置文件详解 应用往Kafka写数据的原因有很多:用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求:消息是否能丢失?是否容忍重复?消息的吞吐量?消息的延迟? kafka介绍 Kafka属于Apache组织,是一个高性能 阅读全文
posted @ 2019-11-12 10:48 小学弟- 阅读(4884) 评论(0) 推荐(0) 编辑
摘要: # -- coding: UTF-8 import datetime import json import time from kafka import KafkaProducer producer=KafkaProducer(bootstrap_servers='192.168.10.10:909 阅读全文
posted @ 2019-11-11 20:35 小学弟- 阅读(4013) 评论(0) 推荐(0) 编辑
摘要: python操作kafka 一、什么是kafka kafka特性: (1) 通过磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能. (2) 高吞吐量 :即使是非常普通的硬件Kafka也可以支持每秒数百万的消息. (3) 支持通过Kafka服务器和消费机集群来 阅读全文
posted @ 2019-11-11 15:59 小学弟- 阅读(1595) 评论(0) 推荐(0) 编辑
摘要: 一、smtplib模块: 主要通过SMTP类与邮件系统进行交互。使用方法如下: 1.实例化一个SMTP对象: s = smtplib.SMTP(邮件服务地址,端口号) s = smtplib.SMTP_SSL(邮件服务地址,端口号) 2.登陆邮件,权限验证: s.login(用户名,密码) 3.发送 阅读全文
posted @ 2019-10-31 10:02 小学弟- 阅读(633) 评论(0) 推荐(0) 编辑
摘要: harbor搭建及使用 1 系统及软件版本 1.1 系统版本 # uname -a Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 G 阅读全文
posted @ 2019-10-31 08:56 小学弟- 阅读(1484) 评论(0) 推荐(0) 编辑
摘要: 一、E 二、L 启动 三、K 四、filebeat 五、配置文件使用 1、logstash-sample.conf # Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch p 阅读全文
posted @ 2019-10-30 17:14 小学弟- 阅读(272) 评论(0) 推荐(0) 编辑
摘要: ELK技术栈之-Logstash详解 前言 在第九章节中,我们已经安装好Logstash组件了,并且启动实例测试它的数据输入和输出,但是用的是最简单的控制台标准输入和标准输出,那这节我们就来深入的学习Logstash的详细使用。 常用启动参数 我们在上一节中演示了启动Logstash的实例,其中我们 阅读全文
posted @ 2019-10-30 11:46 小学弟- 阅读(1042) 评论(0) 推荐(0) 编辑
上一页 1 ··· 42 43 44 45 46 47 48 49 50 ··· 106 下一页