2023年3月27日

Spark任务调试(Scala开发语言)

摘要: // 将dataframe存储到hdfs myDF.write.orc("hdfs://nsxxxx/user/admin/dir") // 读取操作 val mdf = spark.read.orc("hdfs://nsxxxx/user/admin/dir") 阅读全文

posted @ 2023-03-27 16:30 cfox 阅读(29) 评论(0) 推荐(0) 编辑

2022年4月29日

java编译

摘要: 查看jar包内容 jar vtf /jar/path/org/apache/commons/commons-lang3/3.3.2/commons-lang3-3.3.2.jar 0 Sun Apr 06 14:19:20 CST 2014 META-INF/ 1854 Sun Apr 06 14: 阅读全文

posted @ 2022-04-29 23:36 cfox 阅读(35) 评论(0) 推荐(0) 编辑

2021年12月31日

广告术语

摘要: 指标术语 CTR (Click-Through-Rate)即点击通过率,是互联网广告常用的术语,指网络广告(图片广告/文字广告/关键词广告/排名广告/视频广告等)的点击到达率,即该广告的实际点击次数(严格的来说,可以是到达目标页面的数量)除以广告的展现量(Show content) CVR (Con 阅读全文

posted @ 2021-12-31 16:40 cfox 阅读(292) 评论(0) 推荐(0) 编辑

2021年6月20日

Spark参数

摘要: 1.num-executors 参数说明:该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时,YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上,启动相应数量的Executor进程。这个参数非常之重要,如果不设置的话,默认只 阅读全文

posted @ 2021-06-20 09:27 cfox 阅读(213) 评论(0) 推荐(0) 编辑

2021年6月19日

Spark SQL

摘要: 简介 Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 http://spark.apache.org/sql/ 为什么要学习Spark SQL?我们已经学习了Hive,它是将Hive SQL转换成MapRed 阅读全文

posted @ 2021-06-19 20:08 cfox 阅读(129) 评论(0) 推荐(0) 编辑

2021年4月19日

Hive调用python脚本

摘要: python脚本如下: #!/bin/env python # -*- coding=utf-8 -*- import sys import datetime d_user = { "user1": "true", "user2": "true" } for line in sys.stdin: l 阅读全文

posted @ 2021-04-19 17:33 cfox 阅读(761) 评论(0) 推荐(0) 编辑

2021年2月20日

Scala之SBT

摘要: 关于 SBT是 Scala 的构建工具,全称是 Simple Build Tool, 类似 Maven 或 Gradle。 SBT 的野心很大,采用Scala编程语言本身编写配置文件,这使得它稍显另类,虽然增强了灵活性,但是对于初学者来说同时也增加了上手难度。 SBT有很多版本从1.0.0进行了Sc 阅读全文

posted @ 2021-02-20 18:15 cfox 阅读(1925) 评论(0) 推荐(0) 编辑

2021年2月12日

Scala编译环境搭建(mac IDEA)

摘要: 前提:Java环境已就绪 一、安装IDEA 暂忽略 二、安装插件 1、安装Scala插件Intellij IDEA->Preferences->Configure->Plugins 在输入框中输入Scala,找到Scala后,点击右边的install按钮,完成安装后重启Intellij IDEA生效 阅读全文

posted @ 2021-02-12 16:05 cfox 阅读(578) 评论(0) 推荐(0) 编辑

2021年2月10日

Scala初见

摘要: 简介 Scala是一门多范式的编程语言,一种类似java的编程语言,设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。 Hello World object HelloWorld{ def main(args : Array[String]){ println("HelloWor 阅读全文

posted @ 2021-02-10 11:41 cfox 阅读(62) 评论(0) 推荐(0) 编辑

2020年8月28日

boost spirit使用

摘要: boost spirit学习使用 阅读全文

posted @ 2020-08-28 15:02 cfox 阅读(259) 评论(0) 推荐(0) 编辑

导航