大数据从业者FelixZh

2019年9月25日

摘要： 1. 官网资料 Use JDBC to get a connection to an HBase cluster like this: Connection conn = DriverManager.getConnection("jdbc:phoenix:server1,server2:3333", 阅读全文

posted @ 2019-09-25 19:34 大数据从业者FelixZh 阅读(2069) 评论(0) 推荐(0) 编辑

用Java访问带有Kerberos认证的HBase

摘要：程序代码实例如下： package com.hbasedemo; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.KeyVa... 阅读全文

posted @ 2019-09-25 19:29 大数据从业者FelixZh 阅读(4747) 评论(0) 推荐(0) 编辑

How to use DBVisualizer to connect to Hbase using Apache Phoenix

摘要： How to use DBVisualizer to connect to Hbase using Apache Phoenix Article DB Visualizer is a popular free tool that allows developers to organize devel 阅读全文

posted @ 2019-09-25 19:25 大数据从业者FelixZh 阅读(288) 评论(0) 推荐(0) 编辑

Unable to connect to HBase using Phoenix JDBC Driver

摘要： Feb 01, 2017; 5:21pm Unable to connect to HBase using Phoenix JDBC Driver 9 posts Hi All, I am trying to connect to HBase using Phoenix JDBC Driver an 阅读全文

posted @ 2019-09-25 19:23 大数据从业者FelixZh 阅读(1491) 评论(0) 推荐(0) 编辑

2019年9月20日

Phoenix连接安全模式下的HBase集群

摘要： Phoenix连接安全模式下的HBase集群 HBase集群开启安全模式(即启用kerberos认证)之后，用户无论是用HBase shell还是Phoenix去连接HBase都先需要通过kerberos认证。如果没有通过kerberos认证，则hbase shell或phoenix都会报找不到ke 阅读全文

posted @ 2019-09-20 17:56 大数据从业者FelixZh 阅读(1352) 评论(0) 推荐(0) 编辑

2019年9月16日

Kafka Internals: Consumers

摘要： Check out my last article, Kafka Internals: Topics and Partitions to learn about Kafka storage internals. In Kafka, each topic is divided into set of 阅读全文

posted @ 2019-09-16 17:00 大数据从业者FelixZh 阅读(470) 评论(0) 推荐(0) 编辑

浅谈 G1 GC 日志格式

摘要：在 Java9 中，G1 GC 将成为默认的垃圾收集器，G1 垃圾收集器的关键特性之一是能够在不牺牲吞吐量的同时，限制 GC 暂停时间(即可以设置所需的最大停顿时间)。由于 G1 GC 正在逐渐成为默认的垃圾收集器，它的使用与关注度也会逐渐增加。因此在调整 JVM 大小和排查问题的情况下，必须先理阅读全文

posted @ 2019-09-16 11:11 大数据从业者FelixZh 阅读(4583) 评论(0) 推荐(0) 编辑

kafka Authentication using SASL/Kerberos

摘要： Authentication using SASL/Kerberos 1 2 sudo /usr/sbin/kadmin.local -q 'addprinc -randkey kafka/{hostname}@{REALM}' sudo /usr/sbin/kadmin.local -q "kta 阅读全文

posted @ 2019-09-16 10:53 大数据从业者FelixZh 阅读(746) 评论(0) 推荐(0) 编辑

2019年9月11日

kafka Enabling Kerberos Authentication

摘要： CDK 2.0 and higher Powered By Apache Kafka supports Kerberos authentication, but it is supported only for the new Kafka Producer and Consumer APIs. If 阅读全文

posted @ 2019-09-11 20:01 大数据从业者FelixZh 阅读(504) 评论(0) 推荐(0) 编辑

Kafka MirrorMaker 跨集群同步工具

摘要：一、MirrorMaker介绍 MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。这种镜像的常见用例是在另一个数据中心提供副本。图1. MirrorMaker 对于迁移的topic而言，topic名字一样， partiti 阅读全文

posted @ 2019-09-11 19:32 大数据从业者FelixZh 阅读(1264) 评论(0) 推荐(0) 编辑

Kafka跨集群迁移方案MirrorMaker原理、使用以及性能调优实践

摘要：序言Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置，然后启动Mirr 阅读全文

posted @ 2019-09-11 19:24 大数据从业者FelixZh 阅读(3546) 评论(0) 推荐(0) 编辑

Authentication using SASL/Kerberos

摘要： 1 2 sudo /usr/sbin/kadmin.local -q 'addprinc -randkey kafka/{hostname}@{REALM}' sudo /usr/sbin/kadmin.local -q "ktadd -k /etc/security/keytabs/{keytab 阅读全文

posted @ 2019-09-11 19:19 大数据从业者FelixZh 阅读(577) 评论(0) 推荐(0) 编辑

JAAS configuration for Kafka clients

摘要： Clients may configure JAAS using the client configuration property sasl.jaas.config or using the static JAAS config file similar to brokers.JAAS confi 阅读全文

posted @ 2019-09-11 16:29 大数据从业者FelixZh 阅读(1473) 评论(0) 推荐(0) 编辑

kafka集群安全化之启用kerberos与acl

摘要：一、背景在我们部署完kafka之后，虽然我们已经可以“肆意”的用kafka了，但是在一个大公司的实际生产环境中，kafka集群往往十分庞大，每个使用者都应该只关心自己所负责的Topic，并且对其他人所使用的Topic没有权限。这样一来可以将资源隔离开来，二来可以防止误操作。在权限控制之前，我们必阅读全文

posted @ 2019-09-11 14:20 大数据从业者FelixZh 阅读(3010) 评论(0) 推荐(0) 编辑

配置两个不同kerberos认证中心的集群间的互信

摘要：两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。先决条件：1）两个集群(XDF.COM和H 阅读全文

posted @ 2019-09-11 14:17 大数据从业者FelixZh 阅读(2278) 评论(0) 推荐(0) 编辑

2019年8月21日

hbase-indexer官网wiki

摘要： Home Requirements Getting Started Installation Tutorial Demo Indexer Configuration CLI tools Metrics Batch Indexing Installation Tutorial Demo Home Ho 阅读全文

posted @ 2019-08-21 16:24 大数据从业者FelixZh 阅读(295) 评论(0) 推荐(0) 编辑

2019年8月16日

KSQL: Streaming SQL for Apache Kafka

摘要： Few weeks back, while I was enjoying my holidays in the south of Italy, I started receiving notifications about an imminent announcement by Confluent. 阅读全文

posted @ 2019-08-16 16:53 大数据从业者FelixZh 阅读(512) 评论(0) 推荐(1) 编辑

Introducing KSQL: Streaming SQL for Apache Kafka

摘要： Update: KSQL is now available as a component of the Confluent Platform. I’m really excited to announce KSQL, a streaming SQL engine for Apache Kafka®. 阅读全文

posted @ 2019-08-16 16:42 大数据从业者FelixZh 阅读(344) 评论(0) 推荐(0) 编辑

Sqoop import导入表时报错java.lang.ClassNotFoundException: org.json.JSONObject

摘要：报错原因：sqoop缺少java-json.jar包。解决方案：一. 下载java-json.jar包地址：https://download.csdn.net/download/qq_22136439/10746801二. 解压java-json.jar包三. 把java-json.jar添加到$ 阅读全文

posted @ 2019-08-16 15:30 大数据从业者FelixZh 阅读(1947) 评论(0) 推荐(0) 编辑

重磅开源 KSQL：用于 Apache Kafka 的流数据 SQL 引擎 2017.8.29

摘要： Kafka 的作者 Neha Narkhede 在 Confluent 上发表了一篇博文，介绍了Kafka 新引入的KSQL 引擎——一个基于流的SQL。推出KSQL 是为了降低流式处理的门槛，为处理Kafka 数据提供简单而完整的可交互式SQL 接口。KSQL 目前可以支持多种流式操作，包括聚合（阅读全文

posted @ 2019-08-16 10:52 大数据从业者FelixZh 阅读(1005) 评论(0) 推荐(0) 编辑

sqoop与hbase导入导出数据

摘要：环境：sqoop1.4.6+hadoop2.6+hbase1.1+mysql5.7 说明： 1.文中的导入导出的表结构借鉴了网上的某篇博客 2.mysql导入hbase可以直接通过sqoop进行 3.hbase导出到mysql无法直接进行，需要经过hive的中间作用来完成 hbase→hive外部表阅读全文

posted @ 2019-08-16 10:08 大数据从业者FelixZh 阅读(3535) 评论(0) 推荐(0) 编辑

2019年8月15日

用sqoop将mysql的数据导入到hive表中

摘要： 1：先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求将 bbs_product 表中的前100条数据导导出来只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 阅读全文

posted @ 2019-08-15 17:02 大数据从业者FelixZh 阅读(1443) 评论(0) 推荐(0) 编辑

2019年8月1日

KIP-382: MirrorMaker 2.0

摘要： Status Motivation Public Interfaces Proposed Changes Remote Topics, Partitions Aggregation Cycle detection Config, ACL Sync Internal Topics Remote Clu 阅读全文

posted @ 2019-08-01 14:09 大数据从业者FelixZh 阅读(1016) 评论(0) 推荐(0) 编辑

Kafka Replication: The case for MirrorMaker 2.0

摘要： Apache Kafka has become an essential component of enterprise data pipelines and is used for tracking clickstream event data, collecting logs, gatherin 阅读全文

posted @ 2019-08-01 13:51 大数据从业者FelixZh 阅读(439) 评论(0) 推荐(0) 编辑

2019年7月19日

CentOs7.3 搭建 SolrCloud 集群服务

摘要：一、概述 Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库； Solr是以Lucene为基础实现的文本检索应用服务。Solr部署方式有单机方式、多机Master-Slaver方式、Cloud方式。 SolrCloud是基于Solr和Zookeeper的分布式搜索方案。当索引越来越大阅读全文

posted @ 2019-07-19 09:27 大数据从业者FelixZh 阅读(467) 评论(0) 推荐(0) 编辑

2019年7月17日

Redis集群搭建与管理

摘要：集群简介： Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。 Redis 集群不支持那些需要同时处理多个键的 Redis 命令，因为执行这些命令需要在多个 Redis 节点之间移动数据，并且在高负载的情况下，这些命令将降低 Redis 集群阅读全文

posted @ 2019-07-17 11:35 大数据从业者FelixZh 阅读(601) 评论(0) 推荐(0) 编辑

Redis 集群:CLUSTERDOWN The cluster is down

摘要： 1.错误 2.问题表现 Java项目使用redis集群时报错, 查看redis集群启动情况: ps -ef | grep "redis",如图在操作redis集群写入数据时报错: 3.解决办法 3-1进入redis安装目录 3-2修复集群节点,如7000,需要修复全部集群节点 3-3测试阅读全文

posted @ 2019-07-17 10:46 大数据从业者FelixZh 阅读(8993) 评论(0) 推荐(0) 编辑

2019年7月16日

Redis Cluster: (error) MOVED

摘要： I have a Redis cluster with the following nodes: 192.168.0.14:6379 master (slots from 0 to 16383) 192.168.0.15:6379 slave (slots from 0 to 16383) 192. 阅读全文

posted @ 2019-07-16 15:12 大数据从业者FelixZh 阅读(3003) 评论(0) 推荐(0) 编辑

2019年7月12日

Kafka重启出错：Corrupt index found

摘要：日志记录 FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)java.lang.IllegalArgumentException: re 阅读全文

posted @ 2019-07-12 10:14 大数据从业者FelixZh 阅读(1803) 评论(0) 推荐(0) 编辑

2019年7月11日

redis cluster slots数量为何是16384（2的14次方）

摘要： Redis 集群并没有使用一致性hash，而是引入了哈希槽的概念。 Redis 集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽，集群的每个节点负责一部分hash槽。 Redis 集群并没有使用一致性hash，而是引入了哈希槽的概念。 Redis 集群有163 阅读全文

posted @ 2019-07-11 15:21 大数据从业者FelixZh 阅读(3260) 评论(0) 推荐(0) 编辑

大数据从业者

最新文章，见微信公众号：大数据从业者

公告