随笔分类 - 大数据生态圈
包括spark、hadoop、hbase等大数据生态圈内容的摘记
摘要：本文参考 本篇文章主要参考自OSCHINA上的一篇"轻量级分布式 RPC 框架"，因为原文对代码的注释和讲解较少，所以我打算对这篇文章的部分关键代码做出一些详细的解释 在本篇文章中不详细列出原文章的代码，根据试验，原文的代码是可以跑通的，只不过原文写自2014年，它给出的pom文件稍微有点旧，我们只
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第十三章"使用UDP广播事件"的学习摘记，主要内容为广播应用程序的开发 消息POJO 我们将日志信息封装成名为LogEvent的POJO public final class LogEvent { public static final b
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第十二章"WebSocket"的学习摘记，主要内容为开发一个基于广播的WEB聊天室 聊天室工作过程 请求的 URL 以/ws 结尾时，通过升级握手的机制把该协议升级为 WebSocket，之后客户端发送一个消息，这个消息会被广播到所有其它连
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第十一章"预置的ChannelHandler和编解码器"的学习摘记，主要内容为通过 SSL/TLS 保护 Netty 应用程序、构建基于 Netty 的 HTTP/HTTPS 和websocket应用程序、处理空闲的连接和超时、解码基于分隔
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第十章"编解码器框架"的学习摘记，主要内容为解码器和编码器 编解码器实际上是一种特殊的ChannelHandler，并被加入到ChannelPipline中 解码器ByteToMessageDecoder decodes bytes in
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第九章"单元测试"的学习摘记，主要内容为使用特殊的 Channel 实现——EmbeddedChannel来测试ChannelHandler EmbeddedChannel概述 将入站数据或者出站数据写入到 EmbeddedChannel
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第八章"引导"的学习摘记，主要内容为引导客户端和服务端、从channel内引导客户端、添加ChannelHandler和使用ChanneOption 引导类层次结构 服务端ServerBootstrap和客户端Bootstrap都继承和实现
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第七章"EventLoop和线程模型"的学习摘记，主要内容为线程模型的概述、事件循环的概念和实现、任务调度和实现细节 线程模型概述 线程模型指定了操作系统、编程语言、框架或者应用程序的上下文中的线程管理的关键方面。可见，线程模型确定了代码的
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第六章"ChannelHandler和ChannelPipeline"，主要内容为ChannelHandler API 、ChannelPipeline API、检测资源泄漏和异常处理 这一篇文章讲到的内容，在前面几篇文章中或多或少已有涉及
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第五章"ByteBuf"的学习摘记，主要内容为JDK 的ByteBuffer替代品ByteBuf的优越性 你可能注意到我跳过了第四章"传输"，因为第四章主要是对各种传输类型的简单介绍和如何选择的说明，在之后的几个章节中，我们还会再碰到，如用
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第三章"Netty的组件和设计"的学习摘记，主要内容为Channel、EventLoop、ChannelFuture、ChannelHandler和ChannelPipeline等组件的深入介绍 原书第三章中对编解码器有一定介绍，但是在原书
阅读全文
摘要：本文参考 本篇文章是对《Netty In Action》一书第二章"你的第一款 Netty 应用程序"的学习摘记，主要内容为编写 Echo 服务器和客户端 第一款应用程序的功能 Echo 客户端和服务器之间的交互十分简单：在客户端建立一个连接之后，它会向服务器发送一个或多个消息，反过来，服务器又会将
阅读全文
摘要：本文参考 我在博客内关于"Netty学习摘记"的系列文章主要是对《Netty in action》一书的学习摘记，文章中的代码也大多来自此书的github仓库，加上了一部分我自己的注释内容。之所以开始对Netty的学习，是因为在高并发网络编程和大数据生态圈都有它活跃的身影，例如Cassandra、E
阅读全文
摘要：本文参考 本文主要参考imooc上关于Hadoop、hbase、spark等课程中关于环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 本文省略了环境变量的配置，基本都需要配置bin目录和sbin目录 大多数配置文件都在解
阅读全文
摘要：本文参考 参考《Spark快速大数据分析》动物书中的第四章"键值对操作"，本篇是对RDD转化操作和行动操作API归纳的最后一篇 RDD转化操作API归纳：https://www.cnblogs.com/kuluo/p/12545374.html RDD行动操作API归纳：https://www.cn
阅读全文
摘要：本文参考 参考《Spark快速大数据分析》动物书中的第四章"键值对操作"，由于pair RDD的一些特殊操作，没有和前面两篇的API归纳放在一起做示例 前面的几个api —— reduceByKey()函数、foldByKey()函数、groupByKey()函数、combineByKey()函数、
阅读全文
摘要：本文参考 参考《Spark快速大数据分析》动物书中的第三章"RDD编程"，前一篇文章已经概述了转化操作相关的API，本文再介绍行动操作API 和转化操作API不同的是，行动操作API只能作用于一个RDD RDD转化操作API归纳：https://www.cnblogs.com/kuluo/p/125
阅读全文
摘要：本文参考 在阅读了《Spark快速大数据分析》动物书后，大概了解到了spark常用的api，不过书中并没有给予所有api具体的示例，而且现在spark的最新版本已经上升到了2.4.5，动物书中的spark版本还停留在1.2.0，所以就有了这篇文章，在最新的2.4.5版本下测试常用的api 由于spa
阅读全文
