一剑侵心

2019年1月22日

摘要： Kafka 作为消息中间件，得到越来越广泛的应用。Kafka connect 是一种可扩展、可信赖的工具，用于Kafka 和其它应用系统之间的数据流动。数据源系统可以通过 connect (source) 把消息放入到 kafka 的 topic 中，其它系统可以通过 connect (sink) 阅读全文

posted @ 2019-01-22 14:58 一剑侵心阅读(600) 评论(0) 推荐(0) 编辑

KONG -- 图形化管理（Kong Dashboard）

摘要：前面安装的 KONG 的版本是社区版的 1.0.2，官方的 KONG Manager 好像只有企业版才提供。在 github 上找了一个开源的图形化管理应用 -- Kong Dashboard （https://github.com/PGBI/kong-dashboard），可惜只支持到 0.14 阅读全文

posted @ 2019-01-22 10:30 一剑侵心阅读(6915) 评论(0) 推荐(0) 编辑

2019年1月21日

KONG -- 配置 service 并添加 key-auth

摘要：默认情况下， KONG 监听下面几个端口： 8000 这个端口用于监听客户端的 HTTP 请求，并转发给上游服务 8443 这个端口用于监听客户端的 HTTPS 请求，并转发给上游服务 8001 用于接收配置 KONG 的 Admin API 8444 功能同 8001，只是这个端口接收的是 HTT 阅读全文

posted @ 2019-01-21 14:49 一剑侵心阅读(2570) 评论(0) 推荐(0) 编辑

KONG 安装（在 CentOS 7 中）

摘要： 1. 下载安装包： https://bintray.com/kong/kong-community-edition-rpm/download_file?file_path=centos/7/kong-community-edition-1.0.2.el7.noarch.rpm 2. 运行下面的两个命阅读全文

posted @ 2019-01-21 14:22 一剑侵心阅读(5198) 评论(0) 推荐(0) 编辑

kylin cube 构建过程

摘要：本文是对 http://kylin.apache.org/docs20/howto/howto_optimize_build.html 的翻译，以便阅读。 1. 创建 Hive 中间表（Create Intermediate Flat Hive Table）这个过程会把 cube 中用到的所有 H 阅读全文

posted @ 2019-01-21 09:29 一剑侵心阅读(2675) 评论(0) 推荐(0) 编辑

2019年1月15日

sqoop 安装与命令

摘要： 1. 下载： wget http://mirrors.shu.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 2. 解压后，假设 $SQOOP_HOME 为解压后的文件夹的位置，进入 $SQOOP_HOME/conf 目录阅读全文

posted @ 2019-01-15 10:52 一剑侵心阅读(885) 评论(0) 推荐(0) 编辑

2019年1月8日

kafka 配置及常用命令

摘要： 1. 主要配置 config/server.properties （1） broker.id=0 # 集群中，每个 kafka 实例的值都不一样（2） log.dirs=/tmp/kafka-logs #日志文件的位置（3） zookeeper.connect=bigdata3:2181,big 阅读全文

posted @ 2019-01-08 14:21 一剑侵心阅读(2068) 评论(0) 推荐(0) 编辑

2019年1月6日

elasticsearch 增删改流程和写一致性

摘要：增删改流程： 1. 客户端和任一节点（假设 Node1）发出请求，这个node就是coordinating node（协调节点） 2. coordinating node，对document进行路由，将请求转发给对应的node（有primary shard，假设是 Node2） 3. Node2上的阅读全文

posted @ 2019-01-06 21:33 一剑侵心阅读(440) 评论(0) 推荐(0) 编辑

elasticsearch shard 和 replica

摘要：（1）index包含多个shard（2）每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力（3）增减节点时，shard会自动在nodes中负载均衡（4）primary shard和replica shard，每个document肯定只存在于某一个pri 阅读全文

posted @ 2019-01-06 11:17 一剑侵心阅读(2291) 评论(0) 推荐(0) 编辑

elasticsearch 基础特点

摘要： 1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式的系统，分布式是为了应对大数据量，隐藏了复杂的分布式机制分片机制（我们之前随随便便就将一些document插入到es集群中去了，我们有没有care过数据怎么进行分片的，数据到哪个shard中去）clus 阅读全文

posted @ 2019-01-06 09:21 一剑侵心阅读(2639) 评论(0) 推荐(0) 编辑

公告