摘要：
Starting sshd: /var/empty/sshd must be owned by root and not group or world-writable. [FAILED] 这个是权限的问题可采取以下两步解决 就可以解决上述的问题 阅读全文
摘要：
Spark RDD持久化 RDD持久化工作原理 Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个 阅读全文
摘要：
On your Postgres server, you will need to update your pg_hba.conf file to allow access for the ambari user on the ambari database coming from 127.0.0. 阅读全文
摘要：
在MySQL中，可以使用LOAD DATA INFILE和LOAD DATA LOCAL INFILE两种方式导入文本文件中的数据到数据库表中，速度非常快。其中LOAD DATA INFILE使用的文件要位于MySQL所在服务器上，LOAD DATA LOCAL INFILE则使用的是客户端的文件。 阅读全文
摘要：
文章简介 ThreadLocal应该都比较熟悉，这篇文章会基于ThreadLocal的应用以及实现原理做一个全面的分析 内容导航 什么是ThreadLocal ThreadLocal的使用 分析ThreadLocal的实现原理 ThreadLocal的应用场景及问题 什么是ThreadLocal T 阅读全文
摘要：
概念理解 gradlew就是对gradle的包装和配置，gradlew是gradle Wrapper，Wrapper的意思就是包装。 因为不是每个人的电脑中都安装了gradle，也不一定安装的版本是要编译项目需要的版本，那么gradlew里面就配置要需要的gradle版本。 然后用户只需要运行gra 阅读全文
摘要：
January 23, 2018 - Apache Flink, Flink Features Stefan Richter and Chris Ward Apache Flink was purpose-built for stateful stream processing. Let’s qui 阅读全文
摘要：
January 11, 2018 - Apache Flink Robert Metzger and Chris Ward A favorite session from Flink Forward Berlin 2017 was Robert Metzger’s “Keep It Going: H 阅读全文
摘要：
Apache kafka编译 前言 github网站kafka项目的README.md有关于kafka源码编译的说明 github地址：https://github.com/apache/kafka 编译环境准备 java maven gradle 编译 失败原因：gradle版本太高，降低到4.8 阅读全文
摘要：
1、生产者1.1、准备jaas.conf并添加到环境变量（使用以下方式的其中一种）1.1.1、使用Kinit方式前提是手动kinit 配置内容为： 1.1.2、使用指定keytab和票据的方式 准备好你的keytab文件 配置内容为： * 添加到环境变量: 2、执行命令 或者使用配置文件的方式 pr 阅读全文
摘要：
could accomplish with Flink back at Twitter. I had an application in mind that I knew I could make more efficient by a huge factor if I could use the 阅读全文
摘要：
方式1 原因：namenode元数据被破坏，需要修复解决：恢复一下namenode 一路选择Y，一般就OK了 方式2 Need to copy the edits file to the journal node (I have 3 journal node s101 s102 s103) http 阅读全文
摘要：
Lambda架构由Storm的作者Nathan Marz提出。旨在设计出一个能满足。实时大数据系统关键特性的架构，具有高容错、低延时和可扩展等特。 Lambda架构整合离线计算和实时计算，融合不可变（Immutability，读写分离和隔离 一系列构原则，可集成Hadoop，Kafka，Storm， 阅读全文
摘要：
国内某大数据供应商 岗位要求1、本科以上学历，计算机及相关专业毕业。2、对大数据处理有强烈兴趣，掌握至少一种主流开源技术方案，如Hadoop、Spark、Flink、Hbase，ES，kafka等，熟悉开源组件开发、系统调优、高可用等技术。3、具备1-3年以上Java开发经验，掌握Python/Sc 阅读全文
摘要：
前些日子为了搞清楚Kerberos原理，把MIT的Kerberos经典对话看了几遍，终于有了一个稍微清晰的认识，这里稍微记录下，因为Kerberos是使用传统加密技术实现的一个认证机制，所以顺便备忘下关于加密的一些知识概念。本文组织如下： 关于Kerberos 认证授权 加密术语 单点登录 Kerb 阅读全文
摘要：
This method can be used to create a launcher for any application, not just IntelliJ IDEA. For any launcher in Unity what you need to create is a .desk 阅读全文
摘要：
Namespaces 使用示例 Viewing namespaces Creating a new namespace Deleting a namespace Subdividing your cluster using Kubernetes namespaces Viewing namespac 阅读全文
摘要：
1、Docker网络模式 在讨论Kubernetes网络之前，让我们先来看一下Docker网络。Docker采用插件化的网络模式，默认提供bridge、host、none、overlay、maclan和Network plugins这几种网络模式，运行容器时可以通过–network参数设置具体使用那 阅读全文
摘要：
1、Ingress 在Kubernetes中，服务和Pod的IP地址仅可以在集群网络内部使用，对于集群外的应用是不可见的。为了使外部的应用能够访问集群内的服务，在Kubernetes中可以通过NodePort和LoadBalancer这两种类型的服务，或者使用Ingress。 插曲 start 一、 阅读全文
摘要：
1、入门概述 本文以在容器云上部署一个nexus3应用为例，通过通过一步步的操作，帮助用户快速的对Kubernetes有一个快速和整体的认识。通过快速入门，可以提供如下知识内容： 在集群中部署一个容器的应用 对部署的应用进行弹性伸缩 使用新版本的软件更新容器化应用 对容器话应用进行Debug 在开始 阅读全文
摘要：
Dcoker Docker 这个东西所扮演的角色，容易理解，它是一个容器引擎，也就是说实际上我们的容器最终是由Docker创建，运行在Docker中，其他相关的容器技术都是以Docker为基础，它是我们使用其他容器技术的核心。 Docker-Compose Docker-Compose 是用来管理你 阅读全文
摘要：
最近在玩flink部署在k8s上，但是k8s以前没玩过，参照前几天写的文章可部署一个简单的k8shttps://www.cnblogs.com/felixzh/p/9726244.html 在参照flink官网实施flink部署到k8s集群：下图来自flink官网，图中提到kubectl proxy 阅读全文
摘要：
本文介绍在centos7.3使用kubeadm快速离线安装kubernetes 1.10。 采用单master，单node（可以多node），占用资源较少，方便在笔记本或学习环境快速部署，不适用于生产环境。 所需文件百度盘连接 链接：https://pan.baidu.com/s/1iQJpKZ9P 阅读全文
摘要：
install etcd 准备证书 https://www.kubernetes.org.cn/3096.html 在master1需要安装CFSSL工具，这将会用来建立 TLS certificates。 export CFSSL_URL="https://pkg.cfssl.org/R1.2" 阅读全文
摘要：
1、Kubernetes是什么 Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。Kubernetes积累了作为Google生产环境运 阅读全文
摘要：
解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点。 但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大块数据（如Shuffle）的传输问题，Spark引入了Netty通信框架，到了1.6.0版本， 阅读全文
摘要：
NameNode与Secondary NameNode 很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，其实并不是在这样。文章Secondary Namenode - What it really do? (需FQ)写的很通俗易懂， 阅读全文
摘要：
原因： Ambari 每分钟会向datanode发送"ping"连接一下去确保datanode是正常工作的.否则它会触发alert。但是datanode并没有处理空内容的逻辑,所以直接异常了 解决办法： 这个可以忽略，或者使用 https://issues.apache.org/jira/brows 阅读全文
摘要：
今天用一个停车场问题来加深对Disruptor的理解。一个有关汽车进入停车场的问题。当汽车进入停车场时，系统首先会记录汽车信息。同时也会发送消息到其他系统处理相关业务，最后发送短信通知车主收费开始。看了很多文章，里面的代码都是大同小异的，可能代码真的是很经典。以下代码也是来源网络，只是自己手动敲的， 阅读全文
摘要：
一个仅仅部署在4台服务器上的服务，每秒向Database写入数据超过100万行数据，每分钟产生超过1G的数据。而每台服务器（8核12G）上CPU占用不到100%，load不超过5。这是怎么做到呢？下面将给你描述这个架构，它的核心是一个高效缓冲区设计，我们对它的要求是： 1，该缓存区要尽量简单 2，尽 阅读全文