摘要：
我国实行夏令时的时间: 1986年至1991年，每年4月中旬的第一个星期日1时起至9月中旬的第一个星期日1时止。 1986年4月13日至9月14日， 1987年4月12日至9月13日， 1988年4月10日至9月11日， 1989年4月16日至9月17日， 1990年4月15日至9月16日， 199 阅读全文
摘要：
1 快速入门 官方快速入门文档：https://spark.apache.org/docs/3.1.1/quick-start.html Spark教程 https://www.yiibai.com/spark/apache-spark-filter-function.html 2 Spark原理 阅读全文
摘要：
Yarn Spark ResourceManager(RM 资源管理器) Mater 管理子节点，资源调度，接受任务请求 NodeManager (NM 节点管理器) Worker 负责管理本节点的资源，并管理子进程,启动Driver和Executor Container 容器 Executor 运 阅读全文
摘要：
1、改成本地模式 . val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local") 2、编写入参 传参 阅读全文
摘要：
1 软件准备 注意：以下是针对Windows 7 64bit的开发环境搭建 软件名称 描述 下载地址 版本 软件安装包 JDK JAVA 开发工具包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133 阅读全文
摘要：
1、idea中新建一个Maven项目 自定义名称 2、编辑pom文件，包括spark、scala、hadoop等properties版本信息、dependencies依赖、和plugins 插件信息 <?xml version="1.0" encoding="UTF-8"?> <project xm 阅读全文
摘要：
1 什么是SerDe SerDe 是两个单词的拼写 serialized(序列化) 和 deserialized(反序列化)。 什么是序列化和反序列化呢？ 当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以 二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可 阅读全文
摘要：
连接spark-shell 指定行数生成数据 scala>spark.range(50000000L).selectExpr("id % 10000 as a","id % 10000 as b").write.saveAsTable("t1") scala>spark.range(40000000 阅读全文
摘要：
概览 1 Jmeter简介 2 安装jmeter工具 3 编辑jmeter脚本 4 运行及查看结果 5 功能扩展 6 常见问题处理 1 Jmeter简介 Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试，但后来扩展到其 阅读全文
摘要：
沟通技能一 工作难免遇到需要与其他同事沟通，比如被分配到自己手头上的工作，本不是自己负责，需要转交给别人但不能太直白显得好像推卸责任。可以通过：背景+原因+诉求 描述清楚 举个栗子~~~~ 场景：当前某项测试工作转到自己手上，但根据以往工作情况，该工作项应该转交给其他团队 错误案例：把两个团队老大拉 阅读全文