06 2019 档案
摘要：为什么要了解这些名词的解释呢？因为在学一个新的知识或者领域的时候，我们需要知道它所定义的概念和名词意思，因为只有这样我们才能理解和掌握这个新的知识点，才能更加系统的掌握这个技术。 一.名词解释 1.broker 2.topic (主题) 3. partition(分区) 4.partition re
阅读全文
摘要：虽然在前面一部分我们启动了kafka集群，并通过控制台的方式实现了producer和consumer，但是我们还是了解一下kafka单个节点是的配置参数属性， 也只有了解了这些参数的配置，才能将kafka的性能发挥到最好。 标红部分为集群必配属性，致于其它的参数配置等学完后再回过头来看这些参数，你就
阅读全文
摘要：一.应用背景 观察者模式又称为发布/订阅(Publish/Subscribe)模式，我们可以理解为：只有关注信公众号关注后才能收到信息 二.优、缺点 优点: 1、可以动态的改变对象的行为 缺点: 1、客户端必须知道所有的策略类，并自行决定使用哪一个策略类 2、策略模式将造成产生很多策略类 三.组成
阅读全文
摘要：一．kafka集群搭建 1.上传解压 2.配置文件的配置 1.修改 server.properties文件 broker.id=11 #192.168.199.11 #21 一般使用ip后三位 listeners=PLAINTEXT://192.168.199.11:9092 #34 log.dir
阅读全文
摘要：一.trident 的介绍 trident 的英文意思是三叉戟，在这里我的理解是因为之前我们通过之前的学习topology spout bolt 去处理数据是没有问题的，但trident 的对spout bolt 更高层次的一个抽象，其实现功能是一样的，只不过是trident做了更多的优化和封装.如
阅读全文
摘要：一.stream group分组介绍 Stream 的分组分为随机分组、字段分组、全部分组、全局分组、无分组、直接分组，自定义分组 二.group的介绍 1.Shuffle grouping：通过tuple获取任务到supout,然后再由spout将任务分发到Bolt上。这种分组是随机性的，没有规律
阅读全文
摘要：一.optional的介绍 Optional 是个容器：它可以保存类型T的值，或者仅仅保存null。Optional提供很多有用的方法，这样我们就不用显式进行空值检测。 Optional 类的引入很好的解决空指针异常。 本文将从三方面来讲解optional: 1.Optional的构建 2.Opti
阅读全文
摘要：一.Storm的并行介绍 并行意味着多个任务在不同的节点上，且每个节点都可独立运行，并且相互之间没有依赖。 而在storm上，storm提交的jobs(任务)通过nimbus分发到多个supervisor上，jobs的执行都是通过supervisor来运行和执行的。 1.worker: 代表一个进程
阅读全文
摘要：一.storm ui 不显示 supervisor 信息 在zk节点上删掉storm信息，重新启动storm集群即可
阅读全文
摘要：一．logback的配置介绍 Logback的配置分为三个内容：Logger、appender及layout Logger：作为日志的记录器，主要用于存放日志对象，也可以定义日志类型、级别。 appender:主要用于指定日志输出的目的地。目的地可以是控制台、文件、远程套接字服务器、 MySQL、P
阅读全文
摘要：一.storm入门demo的介绍 storm的入门helloworld有2种方式，一种是本地的，另一种是远程。 本地实现： 本地写好demo之后，不用搭建storm集群，下载storm的相关jar包即可实现storm的相关操作 远程实现： 本地写好demo之后，需要将其打成jar包，然后通过nimb
阅读全文
摘要：一.下载、解压 二.配置安装 1.配置分配 1.zk的集群分别在：192.168.100.143 192.168.100.144 192.168.100.145 三台服务器上， zk集群的安装说见：Linux安装zookeeper集群 2.服务器143： nimbus ui 服务器144：super
阅读全文
摘要：在应用程序中，通常会记录日志以便事后分析，在很多情况下是产生了问题之后，再去查看日志，是一种事后的静态分析。在很多时候，我们可能需要了解整个系统在当前，或者某一时刻运行的情况，比如一个系统后台服务，我们可能需要了解一些实时监控的数据例如 1、每秒钟的请求数是多少（TPS）？ 2、平均每个请求处理的时
阅读全文
摘要：一．单机部署： ①下载、解压 http://archive.apache.org/dist/zookeeper/ tar -zxf zookeeper-3.4.10.tar.gz -C /usr/local/install ②配置 在主目录下创建data和logs两个目录用于存储数据和日志： cd
阅读全文
