2016 年 8月随笔档案 - 吴一达

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

摘要：KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具，其配置和使用特别的方便。源项目Github地址为：https://github.com/quantifind/KafkaOffsetMonitor。最简单的使用方... 阅读全文

posted @ 2016-08-30 22:51 吴一达阅读(2035) 评论(0) 推荐(0) 编辑

leetcode 5 Longest Palindromic Substring--最长回文字符串

摘要：问题描述Given a string S, find the longest palindromic substring in S. You may assume that the maximum length of S is 1000, and there exists one ... 阅读全文

posted @ 2016-08-29 00:22 吴一达阅读(172) 评论(0) 推荐(0) 编辑

Android开发学习之路--逆向分析反编译

摘要：一般情况下我们想要了解别人的app怎么实现这个动画，这个效果的时候，总是会想到反编译一下，看下布局，看下代码实现。对，这对于有经验的玩家确实手到擒来了，但是初学者，根本就不知道怎么反编译，怎么看代码，甚至不知道什么是反编译。那就学一下吧。简单写一个app 先简单写个app用作... 阅读全文

posted @ 2016-08-25 11:29 吴一达阅读(376) 评论(0) 推荐(0) 编辑

Sqoop-1.4.6 Merge源码分析与改造使其支持多个merge-key

摘要：Sqoop中提供了一个用于合并数据集的工具sqoop-merge。官方文档中的描述可以参考我的另一篇博客Sqoop-1.4.5用户手册。 Merge的基本原理是，需要指定新数据集和老数据集的路径，根据某个merge-key，在reduce过程中，优先取出新数据集中的数据，共... 阅读全文

posted @ 2016-08-23 23:22 吴一达阅读(984) 评论(0) 推荐(1) 编辑

Docker简介/安装/使用

摘要：什么是Docker？docker是一个开源的应用容器引擎，系统级的轻量虚拟化技术。应用程序的自动化部署解决方案，能够迅速创建一个容器，并在容器上部署和运行应用程序，并通过配置文件可以轻松实现应用程序的自动化安装、部署和升级。docker使用Go语言编写，用cgroup实现资源隔离，容器技术采用LX... 阅读全文

posted @ 2016-08-23 18:01 吴一达阅读(462) 评论(0) 推荐(0) 编辑

Docker学习笔记1：CentOS7 下安装Docker

摘要：本文内容摘自官网：https://docs.docker.com/engine/installation/linux/centos/#/create-a-docker-group注：本文是介绍Linux 上的分布式版本CentOs上安装.一、安装前的准备工作Docker 需要安装在64位系统的Ce... 阅读全文

posted @ 2016-08-23 10:52 吴一达阅读(187) 评论(0) 推荐(0) 编辑

Azkaban-2.5及Plugins的安装配置

摘要：Azkaban是由LinkedIn开发的调度工具，可以用于调度Hadoop中的相互依赖的Job。有时候，在Hadoop集群中运行的Job是相互依赖的，某些任务需要顺序的执行，这种场景下使用Azkaban能够很好的解决问题。 Azkaban有三个重要的组件构成：关系型数据库(... 阅读全文

posted @ 2016-08-17 23:00 吴一达阅读(565) 评论(1) 推荐(0) 编辑

Hadoop2动态调整Log级别-以datanode的heartbeat log为例

摘要：在Hadoop中，有些log信息在正常情况下是不打印出来的。比如datanode发送heartbeat的日志。代码位于BPServiceActor#sendHeartBeat方法中，如下图：由于默认心跳间隔时间为3s，默认打印该日志的话，日志文件会很大。一、使... 阅读全文

posted @ 2016-08-17 18:09 吴一达阅读(510) 评论(0) 推荐(0) 编辑

Kafka系列之-自定义Producer

摘要：前面已经讲到了，在Kafka中，Message是由Producer产生的，Producer产生的Message会发送到Topic的指定Partition中。Producer可以有多种形式，也可以由用户通过Java，C以及Python语言来自定义。 Kafka中Produce... 阅读全文

posted @ 2016-08-15 23:37 吴一达阅读(629) 评论(0) 推荐(0) 编辑

Kafka系列之-Kafka入门

摘要：接下来的这些博客，主要内容来自《Learning Apache Kafka Second Edition》这本书，书不厚，200多页。接下来摘录出本书中的重要知识点，偶尔参考一些网络资料，并伴随着一些动手实践，算是一篇读书笔记吧。本文是第一篇，主要从整体上梳理Kafka的... 阅读全文

posted @ 2016-08-15 21:27 吴一达阅读(207) 评论(0) 推荐(0) 编辑

大数据基础知识问答----hadoop篇

摘要：handoop相关知识点1.Hadoop是什么？Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop is a distributed computing pla... 阅读全文

posted @ 2016-08-11 00:04 吴一达阅读(279) 评论(0) 推荐(0) 编辑

Redis集群教程(Redis cluster tutorial)

摘要：本博文翻译自Redis官网：http://redis.io/topics/cluster-tutorial 本文档以温和的方式介绍Redis集群，不使用复杂的方式来理解分布式系统的概念. 它介绍了如何建立、测试和使用一个集群，没有详细的覆盖Redis集群说明书 ,只是从用户的角度描... 阅读全文

posted @ 2016-08-10 16:32 吴一达阅读(395) 评论(0) 推荐(0) 编辑

Kafka学习笔记2: 快速入门

摘要：在开始Kafka环境搭建之前，首先要安装Linux系统，并在Linux系统上安装JDK1.8版本，关于linux虚拟机的安装和linux系统下jdk的安装可以参考我的博文： http://blog.csdn.net/yulei_qq/article/details/52132536 ... 阅读全文

posted @ 2016-08-07 13:25 吴一达阅读(166) 评论(0) 推荐(0) 编辑

Kafka学习笔记1：概念

摘要：一、简介 Apache Kafka是一个分布式的消息系统，作为一个分布式的日志提交服务. Kafka 是一个分布式的、可分区的、可复制的日志提交服务. 它提供了功能性的消息系统，有它自己独特的设计. 这一切是什么意思呢？首先我们来回顾一些Kafka基本的消息术语：每条发布到Kafka... 阅读全文

posted @ 2016-08-06 09:31 吴一达阅读(158) 评论(0) 推荐(0) 编辑

Win7下安装linux虚拟机

摘要：关于如何在Win7下搭建linux学习环境，特在此分享下. 一、工具 1、VMware-workstation-full-9.0.0-812388.exe 下载地址:http://pan.baidu.com/s/1bpFT0ZX 2、32位的CenOS系统镜像文件CentOS-6.7... 阅读全文

posted @ 2016-08-05 21:58 吴一达阅读(340) 评论(0) 推荐(0) 编辑

吴一达

08 2016 档案