04 2020 档案

Map Join实战案例
摘要：Map Join实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Map Join概述 使用场景 Map Join适用于一张表十分小、一张表很大的场景。 优点: 使用Map Join要比Reduce Join速度快的原因就是较少了Shuffle过程; 思考:在Reduc 阅读全文
posted @ 2020-04-30 23:30 JasonYin2020 阅读(618) 评论(0) 推荐(0) 编辑
Reduce Join实战案例
摘要：Reduce Join实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Reduce Join概述 Map端主要的工作: 为来自不同表或文件的key/value对,打标签以区别不同的来源记录。然后用连接字段未作key，其余部分和新加的标志作为value,最后进行输出。 阅读全文
posted @ 2020-04-26 23:13 JasonYin2020 阅读(509) 评论(2) 推荐(1) 编辑
自定义OutputFormat代码实现
摘要：自定义OutputFormat代码实现 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.OutputFormat接口实现类概述 OutputFormat是MapRedice输出的基类，所有实现MapReduce输出都实现了 OutputFormat接口。接下来我们介绍几种常见的 阅读全文
posted @ 2020-04-25 03:14 JasonYin2020 阅读(556) 评论(0) 推荐(0) 编辑
Golang的序列化-RPC和GRPC
摘要：Golang的序列化-RPC和GRPC 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.RPC概述 1>.什么是RPC RPC(Remote Procedure Call Protocol)，是远程过程调用的缩写，通俗的说就是调用远处(一般指不同的主机)的一个函数。 2>.为什 阅读全文
posted @ 2020-04-23 00:25 JasonYin2020 阅读(1650) 评论(0) 推荐(0) 编辑
Golang的序列化-ProtoBuf篇
摘要：Golang的序列化-ProtoBuf篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.protobuf概述 Protobuf是Protocol Buffers的简称，它是Google公司用C语言(因此很多语法借鉴C语法特性)开发的一种数据描述语言，是一种轻便高效的结构化数据 阅读全文
posted @ 2020-04-21 02:08 JasonYin2020 阅读(6785) 评论(0) 推荐(0) 编辑
Golang的序列化-Gob篇
摘要：Golang的序列化-Gob篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 和Python的pickle模块类似,Go语言自带的序列化方式就是gob,一些go语言自带的包使用的序列化方式都是gob。接下来我们就来查看一下Gob的使用方式。 一.gob序列化案例 package 阅读全文
posted @ 2020-04-20 00:23 JasonYin2020 阅读(4833) 评论(0) 推荐(0) 编辑
Golang的序列化-JSON篇
摘要：Golang的序列化-JSON篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.序列化概述 1>.什么是序列化 数据在网络传输前后要进行序列化和反序列化。目的是将复杂的数据类型按照统一、简单且高效的形式转储，以达到网络传输的目的。 除了在网络传输，有的数据存储到本地也是为了其 阅读全文
posted @ 2020-04-19 12:46 JasonYin2020 阅读(7020) 评论(0) 推荐(0) 编辑
Golang网络编程-HTTP编程实战篇
摘要：Golang网络编程-HTTP编程实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HTTP概述 1>.HTTP概述 一个Web服务器也被称为HTTP服务器，它通过HTTP (HyperText Transfer Protocol 超文本传输协议)协议与客户端通信。这个客 阅读全文
posted @ 2020-04-18 01:30 JasonYin2020 阅读(985) 评论(0) 推荐(0) 编辑
Golang网络编程-套接字(socket)篇
摘要：Golang网络编程-套接字(socket)篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.网络概述 1>.什么是协议 从应用的角度出发，协议可理解为“规则”，是数据传输和数据的解释的规则。假设，A、B双方欲传输文件。规定： 第一次，传输文件名，接收方接收到文件名，应答OK 阅读全文
posted @ 2020-04-17 07:22 JasonYin2020 阅读(2890) 评论(0) 推荐(0) 编辑
Golang并发编程-传统的同步工具"锁"实战篇
摘要：Golang并发编程-传统的同步工具"锁"实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我们为了解决go程同步的问题我们使用了channel，但是GO也提供了传统的同步工具(锁)。它们都在GO的标准库代码包sync和sync/atomic中。接下来我们就一起学习一下吧~ 阅读全文
posted @ 2020-04-15 00:43 JasonYin2020 阅读(708) 评论(0) 推荐(0) 编辑
Golang并发编程-select实战篇
摘要：Golang并发编程-select实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.select概述 Go里面提供了一个关键字select，通过select可以监听channel上的数据流动。 有时候我们希望能够借助channel发送或接收数据，并避免因为发送或者接收导致 阅读全文
posted @ 2020-04-13 23:12 JasonYin2020 阅读(312) 评论(0) 推荐(0) 编辑
Golang并发编程-channel实战篇
摘要：Golang并发编程-channel实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.channel概述 channel是Go语言中的一个核心类型，可以把它看成管道。并发核心单元通过它就可以发送或者接收数据进行通讯，这在一定程度上又进一步降低了编程的难度。 channel 阅读全文
posted @ 2020-04-07 23:54 JasonYin2020 阅读(1153) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示