Zero-Copy&sendfile浅析
摘要：一、典型IO调用的问题一个典型的web服务器传送静态文件（如CSS，JS，图片等）的过程如下：read(file, tmp_buf, len);write(socket, tmp_buf, len);首先调用read将文件从磁盘读取到tmp_buf，然后调用write将tmp_buf写入到socke...
阅读全文
posted @
2015-06-30 22:35
duanxz
阅读(1051)
推荐(1) 编辑
分布式消息系统：Kafka
摘要：Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中...
阅读全文
posted @
2015-06-30 16:33
duanxz
阅读(695)
推荐(0) 编辑
用Apache Kafka构建流数据平台
摘要：近来，有许多关于“流处理”和“事件数据”的讨论，它们往往都与像Kafka、Storm或Samza这样的技术相关。但并不是每个人都知道如何将这种技术引入他们自己的技术栈。于是，Confluent联合创始人Jay Kreps发布了《流数据平台构建实战指南》。他结合自己过去五年中在LinkedIn构建Ap...
阅读全文
posted @
2015-06-30 16:20
duanxz
阅读(1221)
推荐(0) 编辑
kafka与传统的消息中间件对比
摘要：RabbitMQ和kafka从几个角度简单的对比 业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比， 在应用场景方面， RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传
阅读全文
posted @
2015-06-30 16:09
duanxz
阅读(9853)
推荐(1) 编辑
Azkaban简介和使用
摘要：概述 为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可能有
阅读全文
posted @
2015-06-13 12:07
duanxz
阅读(3831)
推荐(1) 编辑
kettle初探
摘要：Kettle是Pentaho的一个组件，主要用于数据库间的数据迁移，到我用过的4.2版，还不支持noSQL，不知道4.4是不是支持了。 Kettle自己有三个主要组件：Spoon，Kitchen，Pan。其中Spoon是一个图形化的界面，用于windows的时候，先设置环境变 量：pentaho_...
阅读全文
posted @
2015-06-13 12:02
duanxz
阅读(445)
推荐(0) 编辑
less命令
摘要：less命令的作用与more十分相似，都可以用来浏览文字档案的内容，不同的是less命令允许用户向前或向后浏览文件，而more命令只能向前浏览。用less命令显示文件时，用PageUp键向上翻页，用PageDown键向下翻页。要退出less程序，应按Q键。语法 less(选项)(参数)选项-e：文件...
阅读全文
posted @
2015-06-06 17:00
duanxz
阅读(1215)
推荐(0) 编辑
