02 2020 档案
摘要：记得十多年前就开始用mysql开发系统了，那时只是单库在使用，哪管什么主从复制和读写分离。曾几何时，互联网行业兴起，阿里云这样的云平台直接将数据库进行组件化封装，并以云服务的方式（即RDS)提供给第三方使用。RDS在提供服务时，把主从复制、读写分离都做了封装，所以在互联网时代，中小型公司在使用mys
阅读全文
摘要：个人认为在MapReduce中使用Avro可以提升数据的处理性能，主要是以下几点： 向Job提供数据文件时可以使用Avro序列化过的二进制数据文件 在数据解析方面速度比较快 排序功能 Avro官网也提供了一个ColorCount这样的一个案例，演示使用Avro序列化过的二进制数据文件作为MapRed
阅读全文
摘要：RPC(Remote Procedure Call)：远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的思想。 一个 RPC 的核心功能主要有 5 个部分组成，分别是：客户端、客户端 Stub、网络传输模块、服务端 Stub、服务端等。 Avro除了数据序列化功能外
阅读全文
摘要：Avro提供了两种序列化和反序列化的方式，一种是通过Schema文件来生成代码的方式，一种是不生成代码的通用方式。 下面通过一个简单的例子来进行演示： 1. 配置pom文件 <dependencies> <dependency> <groupId>org.apache.avro</groupId>
阅读全文
摘要：官网地址 : http://avro.apache.org/ GitHub：https://github.com/apache/avro/ Avro是一个数据序列化系统。提供了以下功能和特性： 丰富的数据结构 一个紧凑的，生成速度快速的二进制数据格式 一个容器文件，用于存储持久化数据 远程过程调用(
阅读全文
