11 2021 档案
zookeeper之安装
摘要：zookeeper之安装 一、准备条件 1.1 最低三个服务器（一主多从，1个leader，多个flower）1.2 将zookeeper安装包上传到集群并解压zookeeper 二、将conf目录下的 zoo_sample.cfg拷贝一分，并命名为zoo.cfg cp ./zoo_sample.c
阅读全文
Oracle 同义词详解(synonym)
摘要：Oracle 同义词详解(synonym) 一、Oracle同义词概念 Oracle 数据库中提供了同义词管理的功能。同义词是数据库方案对象的一个别名，经常用于简化对象访问和提高对象访问的安全性。在使用同义词时，Oracle数据库 将它翻译成对应方案对象的名字。与视图类似，同义词并不占用实际存储空间
阅读全文
TomCat之负载均衡
摘要：TomCat之负载均衡 本文讲述了tomcat当nginx负载均衡服务器配置步骤 以下是Tomcat负载均衡配置信息 1.修改nginx的nginx.conf文件 添加如下属性:localhost是名称.端口号和配置文件中必须一致weight指的是权重比必须配置在server{}之上 起一个别名 修
阅读全文
TomCat之安装
摘要：TomCat 之安装(伪分布式版本) 本次安装是使用的伪分布式的安装(即一台机器安装两个tomcat) 1.通过scp导入tomcat安装包 2.解压缩成俩个文件 3.修改第一个tomcat的配置文件server.xml(需要修改三个端口号) <1> 接受关闭请求的的端口号(默认是8005) <2>
阅读全文
大数据之Sqoop
摘要：大数据之Sqoop 一、Sqoop 简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的
阅读全文
Sqoop 之 安装
摘要：Sqoop 之 安装 前言 安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境。 一、下载并解压 1) 下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2) 上传安装包 sqoop-1.4.6.bin__hadoop-2.0
阅读全文
Kafka与Flume之集成比较
摘要：Kafka与Flume之集成比较 一、Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么：flume：cloudera公司研发: 适合多个生产者； 适合下游数据消费者不多的情况； 适合数据安全性要求不高的操作； 适合与Hadoop生态圈对接的操作。kaf
阅读全文
Kafka之配置信息
摘要：Kafka之配置信息 一、Broker配置信息 属性 默认值 描述 broker.id 必填参数，broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录，中间用逗号分隔，当新partition被创建的时会被存放到当前存放partition
阅读全文
Kafka 之 Streams
摘要：Kafka 之 Streams 一、概述 1.1 Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 1.2 Kafka Streams特点 1）功能强大 高
阅读全文
Kafka 之producer拦截器(interceptor)
摘要：Kafka 之producer拦截器(interceptor) 一、拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。 对于producer而言，interceptor使得用户在消息发送前以及produce
阅读全文
Kafka之 API实战
摘要：Kafka之 API实战 一、环境准备 1）启动zk和kafka集群，在kafka集群中打开一个消费者 [hadoop1 kafka]$ bin/kafka-console-consumer.sh \ --zookeeper hadoop1:2181 --topic first 2）导入pom依赖
阅读全文
Kafka之工作流程分析
摘要：Kafka之工作流程分析 kafka核心组成 一、Kafka生产过程分析 1.1 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。 1.2
阅读全文
Kafka之概述
摘要：Kafka之概述 一、消息队列内部实现原理 （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者
阅读全文
