摘要：
准备工作 下载及配置Maven3：http://www.cnblogs.com/leefreeman/archive/2013/03/05/2944519.html 下载Nexus：http://nexus.sonatype.org/downloads/ 安装配置Nexus Nexus提供了两种安装 阅读全文
摘要：
secureCRT上传下载sz下载，下载可以指定目录rz上传压缩tartar -czf a.tar.gz atar -xzf pig.tar.gz -C ./t/Linux下创建一个任意大小文件创建文件名"test"，文件大小1000MB：dd if=/dev/zero of=test bs=1M ... 阅读全文
摘要：
前言欢迎加入我们。这是一份针对实习生/毕业生的服务端开发入门与进阶指南。遇到问题及时问你的 mentor 或者直接问我。 建议：尽量用google查找技术资料。有问题在stackoverflow找找，大部分都已经有人回答。多看官方的技术文档。ibm developerworkers的文章质量整体上有... 阅读全文
摘要：
一个对象实例占用了多少字节，消耗了多少内存？这样的问题在c或c++里使用sizeof()方法就可以得到明确答案，在java里好像没有这样的方法（java一样可以实现），不过通过jmap工具倒是可以查看出一个对象的占用内存的大小，这里介绍一种通过分析java代码计算内存使用情况的方法。注意，一下讨论的... 阅读全文
摘要：
实时流处理系统必须要能在24/7时间内工作，因此它需要具备从各种系统故障中恢复过来的能力。最开始，Spark Streaming就支持从driver和worker故障恢复的能力。本文谈及Spark Streaming容错的改进和零数据丢失的实现。【编者按】本文来自SparkStreaming项目带头... 阅读全文
摘要：
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语，使用户不用操心任务分发和错误容忍，非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持，使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分... 阅读全文
摘要：
Apache Curator入门实战Curator是Netflix公司开源的一个Zookeeper客户端，与Zookeeper提供的原生客户端相比，Curator的抽象层次更高，简化了Zookeeper客户端的开发量。1.Zookeeper安装部署Zookeeper的部署很简单，如果已经有Java运... 阅读全文
摘要：
Spark是基于内存计算的大数据并行计算框架。因为其基于内存计算，较Hadoop中MapReduce计算框架具有更高的实时性，同时保证了高效容错性和可伸缩性。从2009年诞生于AMPLab到现在已经成为Apache顶级开源项目，并成功应用于商业集群中。学习Spark就需要了解其架构及运行机制。Spa... 阅读全文
摘要：
Scala的集合框架类比Java提供了更多的一些方便的api，使得使用scala编程时代码变得非常精简，尤其是在Spark中，很多功能都是由scala的这些api构成的，所以，了解这些方法的使用，将更加有助于我们学习Scala和Spark：List,Map,Set的一些api的用法如下：Java代码... 阅读全文
摘要：
kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。strings 命令可以过滤掉二进制编码，但默认它也会过滤掉中文字符，只留有英文... 阅读全文