摘要：
Spark2 rpc 一、前言 Spark在1.6之前的通信使用的是akka框架，在1.6可选用akka还是netty，2.0之后摒弃akka。Akka也是一个优秀的框架，为什么摒弃它官方给出的原因如下： 1、很多Spark用户自己也是使用Akka，但是由于Akka版本之间无法互相通信，这就要求用户 阅读全文
摘要：
一、内存划分 执行内存 (Execution Memory) : 主要用于存放 Shuffle、Join、Sort、Aggregation 等计算过程中的临时数据； 存储内存 (Storage Memory) : 主要用于存储 spark 的 cache 数据，例如RDD的缓存、unroll数据； 阅读全文
摘要：
一、jdbc连接数据库 我们知道spark可以通过jdbc查询数据库，但是Spark 通过 JDBC 读取关系型数据库，默认查询全表，只有一个 Task 去执行查询操作，大量数据情况下，效率是很慢的。 这时，可以通过构造多个 Task 并行连接 数据库提升效率。 二、spark sql属性介绍 1、 阅读全文
摘要：
共性： 1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利 2、三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算，极端情况下，如果代码里面有创建、转换，但是后 阅读全文
摘要：
一、邮件发送 使用springboot自带的邮件系统就能实现邮件的发送，首先导入依赖： 1、新建springboot项目，添加依赖 2、以qq邮箱为例，在application文件中配置邮箱信息 授权码获取： 选择开启，点击后会让你用绑定的手机号发送一条信息，发送后点击已发送就会看到自己的登录授权码 阅读全文
摘要：
首先新建一个maven项目，添加相关依赖： 使用poi导出excel依赖： 添加csv相关工具类依赖： 2、构建执行代码 （1）、数据导出为excel文件： （2）、导出为csv 阅读全文
摘要：
Spark自定义排序与分区 前言： 随着信息时代的不断发展，数据成了时代主题，今天的我们徜徉在数据的海洋中；由于数据的爆炸式增长，各种数据计算引擎如雨后春笋般冲击着这个时代。作为时下最主流的计算引擎之一 Spark也是从各方面向时代展示自己的强大能力。Spark无论是在数据处理还是数据分析、挖掘方面 阅读全文
摘要：
在很多场景下我们可能都会遇到根据用户某信息获取其位置信息的徐求，比较常见的可能就是根据ip或电话号码来计算了。这里介绍以ip地址来计算归属地，以具体需求来说明。使用scala语言编写spark程序来实现。 需求：根据访问日志的ip地址计算用户归属地信息，并且按其归属地分类统计访问量。 （1）、获取i 阅读全文
摘要：
Sqlserver 一、Sqlserver简介 SQL Server一开始并不是微软自己研发的产品，而是当时为了要和IBM竞争时，与Sybase合作所产生的，其最早的发展者是Sybase[1]，同时微软也和Sybase合作过SQL Server 4.2版本的研发，微软亦将SQL Server 4.2 阅读全文
摘要：
最近一直使用springcloud做开发，springcloud是基于springboot框架的一个微服务框架。springboot是对传统的spring开发的进一步封装的架构，对于以往很多的配置类的东西我们之需要简单的添加注解就ok了，大大减少了重复代码的构建，提升了开发效率。Springclou 阅读全文