08 2020 档案
摘要:原文:https://www.cnblogs.com/wxd0108/p/6518782.html 关于Kafka 根据Kafka官方的文档,Kafka可以被认为一个高大上的集群消息中间件,但是读了下以前一个朋友给的部署文档和Kafka的官方的文档。发现Kafka确实不错,真的可以说是集群消息中间件
阅读全文
摘要:原文:https://www.cnblogs.com/wxd0108/p/6518762.html 引言 Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建
阅读全文
摘要:原文:https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547482&idx=1&sn=13675fae5e037d720a9e9fb4a4861afd&scene=21#wechat_redirect 导读:应对高可用及极端峰值,每
阅读全文
摘要:原文:https://segmentfault.com/a/1190000003059871 这是一篇老帖子了,我是来学习的。原文在这里:http://jm-blog.aliapp.com/?p=3483。问题是图片都没有了。我费了很大功夫才把原文的图片给找回来。排版之后重新发布一遍。淘宝的noti
阅读全文
摘要:原文:https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547492&idx=1&sn=be78ff0389fd5a8d8991abc567a191e2&scene=0#wechat_redirect 导读:应对高可用及极端峰值,每个
阅读全文
摘要:原文:https://www.cnblogs.com/wxd0108/p/6420789.html 微服务架构解决了很多问题,但是同时引入了很多问题。本文要探讨的是如何解决下面这几个问题。 有大量的同步 RPC 依赖,如何保证自身的可靠性? 依赖的微服务调用失败了,我应该失败,还是成功。依赖很多外部
阅读全文
摘要:原文:https://www.cnblogs.com/wxd0108/p/6518762.html 一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境,使
阅读全文
摘要:原文:https://www.cnblogs.com/wxd0108/p/6475056.html 目录 一、 kafka简介二、 Kafka架构方案三、 Kafka安装四、 Kafka Client API 4.1 Producers API 4.2 Consumers API 4.3 消息高可靠
阅读全文
摘要:原文:https://www.cnblogs.com/wxd0108/p/6519620.html Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的,而非要实现一套类似于Proto
阅读全文
摘要:一、队列常用命令 #创建topics $ ./kafka-topics.sh --create --zookeeper chenx02:2181 --replication-factor 1 --partitions 1 --topic test#查看队列列表$ ./kafka-topics.sh
阅读全文
摘要:一、队列常用命令 #创建topics $ ./kafka-topics.sh --create --zookeeper chenx02:2181 --replication-factor 1 --partitions 1 --topic test#查看队列列表$ ./kafka-topics.sh
阅读全文
摘要:原文:https://www.cnblogs.com/wxd0108/p/6519973.html 1. Kafka集群partition replication默认自动分配分析 下面以一个Kafka集群中4个Broker举例,创建1个topic包含4个Partition,2 Replication
阅读全文
摘要:原文:https://www.cnblogs.com/wxd0108/p/6519973.html 1. Kafka集群partition replication默认自动分配分析 下面以一个Kafka集群中4个Broker举例,创建1个topic包含4个Partition,2 Replication
阅读全文
摘要:原文:https://www.cnblogs.com/wxd0108/p/6519973.html 1. Kafka集群partition replication默认自动分配分析 下面以一个Kafka集群中4个Broker举例,创建1个topic包含4个Partition,2 Replication
阅读全文
摘要:原文:https://www.cnblogs.com/wxd0108/p/6491632.html Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx
阅读全文
摘要:原文:https://www.cnblogs.com/wxd0108/p/6491632.html Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx
阅读全文
摘要:https://www.cnblogs.com/wxd0108/p/6491612.html 消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、
阅读全文
摘要:原文:RocketMQ原理解析-Broker broker 1. broker的启动 brker的启动 Broker向namesrv注册 1. 获取namesrv的地址列表(是乱序的) 2. 遍历向每个namesrv注册topic的配置信息topicconfig Topic在broker文件上的存储
阅读全文
摘要:原文:https://www.infoq.cn/article/apache-kafka/ 简介 Apache Kafka 是分布式发布 - 订阅消息系统。它最初由 LinkedIn 公司开发,之后成为 Apache 项目的一部分。Kafka 是一种快速、可扩展的、设计内在就是分布式的,分区的和可复
阅读全文
摘要:原文:https://cloud.51cto.com/art/201507/484338.htm 新浪技术分享:我们如何扛下32亿条实时日志的分析处理 目前,新浪服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志。本文作者从201
阅读全文
摘要:原文: https://kb.cnblogs.com/page/569026/ 一、 消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境,使用较多的消息队列有
阅读全文
摘要:github.com/confluentinc/confluent-kafka-dotnet/wiki
阅读全文
摘要:Kafka - 环境搭建 环境搭建(windows) kafka - Confluent.Kafka 基于.net实现kafka的消息队列应用,本文用的是Confluent.Kafka
阅读全文
摘要:原文:https://kafka.apachecn.org/10/documentation/streams/architecture.html Kafka Streams 建立在 Kafka 的 producer 和 consumer 两个库之上以简化应用开发,并利用 Kafka 的原生功能来提供
阅读全文
摘要:原文:https://kafka.apachecn.org/10/documentation/streams/core-concepts.html Kafka Streams 是一个处理和分析 Kafka 系统中的数据的客户端库。 它建立在重要的流处理概念之上,例如能够恰当地区分 event tim
阅读全文
摘要:https://kafka.apachecn.org/documentation.html#networklayer 5.1 网络层 网络层相当于一个 NIO 服务,在此不在详细描述. sendfile(零拷贝) 的实现是通过 MessageSet 接口的 writeTo 方法完成的.这样的机制允许
阅读全文
摘要:原文: https://kafka.apachecn.org/documentation.html#majordesignelements 4. 设计思想 4.1 动机 4.2 持久化 4.3 性能 4.4 生产者 4.5 消费者 4.6 消息分发策略 4.7 备份 4.8 日志压缩 4.9 Quo
阅读全文
摘要:原文:https://data-flair.training/blogs/kafka-cluster/ 1. Objective Today, in this Kafka article, we will see Kafka Cluster Setup. This Kafka Cluster tut
阅读全文
摘要:原文:https://data-flair.training/blogs/kafka-performance-tuning/ 1. Objective In our last Kafka Tutorial, we discussed Kafka load test. Today, we will d
阅读全文
摘要:原文:https://data-flair.training/blogs/kafka-producer/ In our last Kafka Tutorial, we discussed Kafka Cluster. Today, we will discuss Kafka Producer wit
阅读全文
摘要:原文: https://data-flair.training/blogs/kafka-broker/ In this Apache Kafka tutorial, we are going to learn Kafka Broker. Kafka Broker manages the storag
阅读全文
摘要:原文:https://data-flair.training/blogs/kafka-consumer/ 1. Objective In our last article, we discussed Kafka Producer. Today, we will discuss Kafka Consu
阅读全文
摘要:原文:https://data-flair.training/blogs/zookeeper-in-kafka/ 1. Objective Today, we will see the Role of Zookeeper in Kafka. This article contains why Zoo
阅读全文
摘要:原文:https://data-flair.training/blogs/kafka-streams/ 1. Objective In our previous Kafka tutorial, we discussed ZooKeeper in Kafka. Today, in this Kafka
阅读全文
摘要:原文:https://data-flair.training/blogs/advantages-and-disadvantages-of-kafka/ 1. Advantages and Disadvantages of Kafka In our last Kafka Tutorial, we di
阅读全文
摘要:原文:https://data-flair.training/blogs/kafka-use-cases-applications/ 1. Objective In our last Kafka tutorial, we discussed Kafka Pros and Cons. Today, i
阅读全文
摘要:原文: https://data-flair.training/blogs/kafka-architecture/ Kafka Architecture In our last Kafka Tutorial, we discussed Kafka Use Cases and Applications
阅读全文
摘要:原文:https://data-flair.training/blogs/kafka-workflow/ 1. Objective In our last Kafka tutorial, we discussed Kafka Docker. Today, we will discuss Kafka
阅读全文
摘要:原文:https://data-flair.training/blogs/kafka-queuing/ 1. Objective In this Apache Kafka tutorial, we will learn the concept of Apache Kafka Queuing. Bas
阅读全文
摘要:1. Objective In this Apache Kafka tutorial, we will learn the concept of Apache Kafka Queuing. Basically, Queuing in Kafka is one of the models for me
阅读全文
摘要:https://www.cnblogs.com/huangxincheng/p/12866824.html 一:背景 1. 讲故事 在项目中摸爬滚打几年,应该或多或少的见过有人把异常当做业务逻辑处理的情况(┬_┬),比如说判断一个数字是否为整数,就想当然的用try catch包起来,再进行 int.
阅读全文
摘要:https://www.cnblogs.com/yilang/p/11383369.html 一、WinDbg简介 WinDbg是微软发布的一款免费而十分强大的调试工具。既然是微软自己发布的调试工具,那它对微软产品的调试当然是十分的强大。Windows 调试器 (WinDbg) 可用于调试内核模式和
阅读全文
摘要:http://doc.oschina.net/grpc?t=60132 gRPC 基础: C# 本教程提供了 C# 程序员如何使用 gRPC 的指南。 通过学习教程中例子,你可以学会如何: 在一个 .proto 文件内定义服务。 用 protocol buffer 编译器生成服务器和客户端代码。 使
阅读全文
摘要:http://doc.oschina.net/grpc?t=58011 HTTP2 协议上的 gRPC 本文档作为 gRPC 在 HTTP2 草案17框架上的实现的详细描述,假设你已经熟悉 HTTP2 的规范。产品规则采用的是ABNF 语法 大纲 以下是 gRPC 请求和应答消息流中一般的消息顺序:
阅读全文
摘要:http://doc.oschina.net/grpc?t=58010 认证 gRPC 被设计成可以利用插件的形式支持多种授权机制。本文档对多种支持的授权机制提供了一个概览,并且用例子来论述对应API,最后就其扩展性作了讨论。 马上将会推出更多文档和例子。 支持的授权机制 SSL/TLS gRP 集
阅读全文
摘要:gRPC 概念 本文档通过对于 gRPC 的架构和 RPC 生命周期的概览来介绍 gRPC 的主要概念。本文是在假设你已经读过文档部分的前提下展开的。针对具体语言细节请查看对应语言的快速开始、教程和参考文档(很快就会有完整的文档)。 概览 服务定义 正如其他 RPC 系统,gRPC 基于如下思想:定
阅读全文
摘要:官网 地址: http://doc.oschina.net/grpc?t=56831 https://www.grpc.io/docs/ gRPC 是一个高性能、开源和通用的 RPC 框架,面向移动和 HTTP/2 设计。目前提供 C、Java 和 Go 语言版本,分别是:grpc, grpc-ja
阅读全文
摘要:原文: https://blog.csdn.net/hobertony_7/article/details/87969410 Grpc protoc的简单使用 Grpc:3.6.1 protoc:3.6.1 centos7.4 通过本篇文档可以了解protocol buffer内部的编解码机制,学习
阅读全文
摘要:https://github.com/protocolbuffers/protobuf https://github.com/protocolbuffers/protobuf/releases https://github.com/protocolbuffers/protobuf/tree/mast
阅读全文
摘要:Protocol Buffers .NET Runtime Library API Reference Protocol Buffers .NET Runtime Library Google.Protobuf Classes ByteString Immutable array of bytes.
阅读全文
摘要:Release Packages Latest Version The latest release of Protocol Buffers can be found on the release page. Old Versions We recommend users to use the la
阅读全文
摘要:Compiler Invocation C#-specific Options File structure Messages Fields Singular Fields Repeated Fields Map fields Oneof Fields Wrapper Type Fields Enu
阅读全文
摘要:This tutorial provides a basic C# programmer's introduction to working with protocol buffers, using the proto3 version of the protocol buffers languag
阅读全文
摘要:redis client: https://redis.io/clients https://redis.io/download redis server: https://github.com/microsoftarchive/redis (window官网不支持,window仅到2.0版本) D
阅读全文
摘要:原文:https://www.cnblogs.com/alchemystar/p/13444964.html 解Bug之路-记一次调用外网服务概率性失败问题的排查 前言 和外部联调一直是令人困扰的问题,尤其是一些基础环境配置导致的问题。笔者在一次偶然情况下解决了一个调用外网服务概率性失败的问题。在此
阅读全文
摘要:原文:https://www.cnblogs.com/alchemystar/p/13409534.html 解Bug之路-Nginx 502 Bad Gateway 前言 事实证明,读过Linux内核源码确实有很大的好处,尤其在处理问题的时刻。当你看到报错的那一瞬间,就能把现象/原因/以及解决方案
阅读全文
摘要:14. Apache Drill – JDBC Interface Apache Drill provides JDBC interface to connect and execute queries. We can use JDBC interface in JDBC based SQL Cli
阅读全文
摘要:8. Apache Drill – Querying Complex Data In this chapter, we will discuss in detail about which all composite data types does Apache Drill supports. A
阅读全文
摘要:6. Apache Drill – Query Using JSON Apache Drill supports JSON format for querying data. Drill treats a JSON object as SQL record. One object equals on
阅读全文
摘要:The above diagram consists of different components. Let’s take a look at each of these components in detail. DrillBit: Apache Drill consists of a Da
阅读全文
摘要:1. Apache Drill – Introduction drill 来源于 goole的Dremel 巨量数据查询快:Dremel can scan 35 billion rows without an index within ten-seconds 因为使用行存储:Dremel store
阅读全文
该文被密码保护。
摘要:In this post, we will be looking at how to query files in HDFS using Apache drill. We recommend you to go through our previous post on Installing Apac
阅读全文
摘要:Apache Drill provides JDBC interface to connect and execute queries. We can use JDBC interface in JDBC based SQL Client like “SquirreL SQL Client” and
阅读全文
摘要:https://www.tutorialspoint.com/apache_drill/apache_drill_querying_parquet_files.htm Parquet is a columnar storage format. Apache Drill uses Parquet fo
阅读全文
摘要:https://www.tutorialspoint.com/apache_drill/apache_drill_querying_data_using_hbase.htm HBase is a distributed column-oriented database built on top of
阅读全文
摘要:https://acadgild.com/blog/querying-hive-using-apache-drill Apache Drill is an open source software framework which has been derived from Google’s Drem
阅读全文
摘要:原文: https://docs.microsoft.com/en-us/dotnet/csharp/language-reference/keywords/yield When you use the yield contextual keyword in a statement, you ind
阅读全文
摘要:https://docs.microsoft.com/en-us/aspnet/core/fundamentals/troubleshoot-aspnet-core-localization?view=aspnetcore-3.1 In this article Localization confi
阅读全文
摘要:https://docs.microsoft.com/en-us/aspnet/core/fundamentals/localization?view=aspnetcore-3.1 Make the app's content localizable View localization DataAn
阅读全文
摘要:https://github.com/dotnet/aspnetcore/issues/17733 https://github.com/dotnet/aspnetcore/issues/17729 https://github.com/dotnet/aspnetcore/issues/18026
阅读全文