吴一达

摘要： KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具，其配置和使用特别的方便。源项目Github地址为：https://github.com/quantifind/KafkaOffsetMonitor。 最简单的使用方... 阅读全文

摘要： 问题描述Given a string S, find the longest palindromic substring in S. You may assume that the maximum length of S is 1000, and there exists one ... 阅读全文

摘要： 一般情况下我们想要了解别人的app怎么实现这个动画，这个效果的时候，总是会想到反编译一下，看下布局，看下代码实现。对，这对于有经验的玩家确实手到擒来了，但是初学者，根本就不知道怎么反编译，怎么看代码，甚至不知道什么是反编译。那就学一下吧。简单写一个app 先简单写个app用作... 阅读全文

摘要： Sqoop中提供了一个用于合并数据集的工具sqoop-merge。官方文档中的描述可以参考我的另一篇博客Sqoop-1.4.5用户手册。 Merge的基本原理是，需要指定新数据集和老数据集的路径，根据某个merge-key，在reduce过程中，优先取出新数据集中的数据，共... 阅读全文

摘要： 什么是Docker？docker是一个开源的应用容器引擎，系统级的轻量虚拟化技术。应用程序的自动化部署解决方案，能够迅速创建一个容器，并在容器上部署和运行应用程序，并通过配置文件可以轻松实现应用程序的自动化安装、部署和升级。docker使用Go语言编写，用cgroup实现资源隔离，容器技术采用LX... 阅读全文

摘要： 本文内容摘自官网：https://docs.docker.com/engine/installation/linux/centos/#/create-a-docker-group注：本文是介绍Linux 上的分布式版本CentOs上安装.一、安装前的准备工作Docker 需要安装在64位系统的Ce... 阅读全文

摘要： Azkaban是由LinkedIn开发的调度工具，可以用于调度Hadoop中的相互依赖的Job。有时候，在Hadoop集群中运行的Job是相互依赖的，某些任务需要顺序的执行，这种场景下使用Azkaban能够很好的解决问题。 Azkaban有三个重要的组件构成：关系型数据库(... 阅读全文

摘要： 在Hadoop中，有些log信息在正常情况下是不打印出来的。比如datanode发送heartbeat的日志。 代码位于BPServiceActor#sendHeartBeat方法中，如下图： 由于默认心跳间隔时间为3s，默认打印该日志的话，日志文件会很大。一、使... 阅读全文

摘要： 前面已经讲到了，在Kafka中，Message是由Producer产生的，Producer产生的Message会发送到Topic的指定Partition中。Producer可以有多种形式，也可以由用户通过Java，C以及Python语言来自定义。 Kafka中Produce... 阅读全文

摘要： 接下来的这些博客，主要内容来自《Learning Apache Kafka Second Edition》这本书，书不厚，200多页。接下来摘录出本书中的重要知识点，偶尔参考一些网络资料，并伴随着一些动手实践，算是一篇读书笔记吧。 本文是第一篇，主要从整体上梳理Kafka的... 阅读全文