摘要：
scala闭包 代码示例： 运行结果： 定义： 1、所谓的闭包，即一个函数与一个与该函数引用的非局部变量引用环境，闭包允许函数直接访问直接语法作用于之外的变量。 2、闭包是满足下面三个条件的一段代码块： a.代码块可以当做值来传递 b.同时可以被任何拥有改制的对象按需执行 c.可以引用上下稳重已经创 阅读全文
摘要：
Scala自定义隐式转换 一、编写隐式转换类 二、隐式函数的调用 阅读全文
摘要：
需求1：给定一个RDD[Double],进行计算，该RDD的统计信息(count,mean,stdev,max,min) 代码： 结果: 该种方式(使用RDD[Double])的stats()的方法适合在单机上对数据两较小的情况下使用,在分布式环境并且数据位于多台机器的情况下，该种方法的执行效率就比 阅读全文
摘要：
场景描述： 再从该数据库中读取数据进行处理的时候，需要将某个字段加入到一个动态的map中，然后需要对该map进行filter过滤，在执行过滤方法的时候报错 报错截图： 也就是说该map执行不了这个方法。 code： 问题原因： 上面面代码中，我是将从数据库查询出来的数据"datatime"这个字段进 阅读全文
摘要：
我的项目是sbt项目，今天早晨的时候还好好的，结果中午吃了个饭回来就特么的编译就报错了，真是闹心 报错截图： 解决方案： 删除idea的缓存文件 然后重新启动idea，重新下载jia包，在进行编译，就可以了，这个只是其中的一种办法 产生原因： 目前还未找到，希望有遇到该问题查处原因的网友留言告知，感 阅读全文
摘要：
业务场景： 现在项目中需要通过对spark对原始数据进行计算，然后将计算结果写入到mysql中，但是在写入的时候有个限制： 1、mysql中的目标表事先已经存在，并且当中存在主键，自增长的键id 2、在进行将dataFrame写入表的时候，id字段不允许手动写入，因为其实自增长的 要求： 1、写入数 阅读全文
摘要：
引言: spark项目中通常我们需要将我们处理之后数据保存到文件中，比如将处理之后的RDD保存到hdfs上指定的目录中，亦或是保存在本地 spark保存文件： 1、rdd.saveAsTextFile("file:///E:/dataFile/result") 2、rdd.saveAsHadoopF 阅读全文
摘要：
需求： 1、需要从一张mysql数据表中获取并筛选数据 2、通过spark将该表读进来，形成一个df:DataFrame,有一个集合 3、需要从df中进行筛选出来name在list中的值 df.where('name.isin(list)).show() 结果： 然而，isin()，看源码： 里面需 阅读全文
摘要：
在spark项目中读取mysql中的数据的时候，发生了报错： 原因：主要是因为数据库中有一些字段为null，无法进行转换： 上面字段那种，我的inserttime字段类型为timestamp类型，不为空，默认值为000-00-00 00:00:00，所以无法进行转换，所以要进行处理一下 所以这里要进 阅读全文
摘要：
Idea版本:2018.1.5 准备工作： 1、安装，从官网下载安装，点击进去之后，进行选择需要的版本 2、下载破解包： 链接：https://pan.baidu.com/s/1lCb0MGetP1_3XlI2-gWMbQ 提取码：hfqm 3、激活码： BIG3CLIK6F-eyJsaWNlbnN 阅读全文