02 2019 档案

Scala之隐式转换
摘要：概述 简单说，隐式转换就是：当Scala编译器进行类型匹配时，如果找不到合适的候选，那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型。 隐式转换有四种常见的使用场景： 将某一类型转换成预期类型类型增强与扩展模拟新的语法类型类语法隐式转换有新旧两种定义方法，旧的定义方法指是的“ 阅读全文
posted @ 2019-02-19 17:17 大葱拌豆腐 阅读(579) 评论(0) 推荐(0) 编辑
Spark log4j日志配置详解(转载)
摘要：一、spark job日志介绍 spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下，将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置，不能单独配置某个job的运行日 阅读全文
posted @ 2019-02-13 16:01 大葱拌豆腐 阅读(16969) 评论(0) 推荐(0) 编辑
spark sql的agg函数,作用：在整体DataFrame不分组聚合
摘要：1、agg(expers:column*) 返回dataframe类型 ，同数学计算求值 df.agg(max("age"), avg("salary")) df.groupBy().agg(max("age"), avg("salary")) 2、 agg(exprs: Map[String, String]) 返回dataframe类型 ，同数学计算求值 map类型的 df.agg(Map... 阅读全文
posted @ 2019-02-13 15:13 大葱拌豆腐 阅读(15701) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示