2020年9月7日
Flink核心技术
摘要： Flink项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统的开发者也能有所裨益。 Flink简介 Flink的核心是一个流式的 阅读全文
posted @ 2020-09-07 10:40 大鹏o 阅读(223) 评论(0) 推荐(0) 编辑
Flink
摘要： 概念和基础篇 1. 简单介绍一下Flink Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象 阅读全文
posted @ 2020-09-07 10:37 大鹏o 阅读(1033) 评论(0) 推荐(0) 编辑
2020年8月18日
Spark总结
摘要： #####1. 翻译 Apache Spark是一个快速的、通用的集群计算系统。它提供Java、Scala、Python和R中的高级api，以及一个支持通用执行图的优化引擎。它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的[Spark SQL]、用于机器学习的[MLlib]、用于图形处理 阅读全文
posted @ 2020-08-18 17:01 大鹏o 阅读(776) 评论(0) 推荐(0) 编辑
Scala知识点总结
摘要： # Scala知识点总结 1. 什么是Scala Scala是一门以Java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。 2. Scala 的特点 1）多范式的编程语言,支持面向对象和函数式编程。 2) 可以调用现有的Java类库，实现两种语言的无缝对接 阅读全文
posted @ 2020-08-18 16:52 大鹏o 阅读(719) 评论(0) 推荐(0) 编辑
Spark测试题
摘要： 1. spark 的四大组件下面哪个不是 ( D)A.Spark Streaming B Mlib C Graphx D Spark R 2.下面哪个端口不是 spark 自带服务的端口 (C )A.8080 B.4040 C.8090 D.18080 3.spark 1.4 版本的最大变化 (B 阅读全文
posted @ 2020-08-18 16:11 大鹏o 阅读(4538) 评论(0) 推荐(0) 编辑
2020年1月2日
Hadoop概念试题
摘要： Hadoop的回顾以及面试试题 以下是试题及总结 1. Hadoop集群SafeMode模式 SafeMode又称Hadoop安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。 在安全模式下不允许客户端进行任何修改文件的操作,包括上传文件，删除文件，重命名，创建文件夹等操作 虽然 阅读全文
posted @ 2020-01-02 18:30 大鹏o 阅读(1036) 评论(0) 推荐(0) 编辑
2019年12月28日
IntelliJ IDEA 2019 快捷键终极大全
摘要： 自动代码 常用的有fori/sout/psvm+Tab即可生成循环、System.out、main方法等boilerplate样板代码 。例如要输入for(User user : users)只需输入user.for+Tab ；再比如，要输入Date birthday = user.getBirth 阅读全文
posted @ 2019-12-28 14:58 大鹏o 阅读(3157) 评论(1) 推荐(0) 编辑
2019年7月29日
函数名称及作用
摘要： 函数名称：AND函数函数作用：求一组数据是否同时满足条件，等同于“且”实用格式：=AND（判断1，判断2，.....）举例说明：=AND(1>2，3>1) 结果：FALSE =AND(1<2，3>1) 结果：TRUE 函数名称：OR函数函数作用：求一组数据是否有满足条件的，等同于”或“实用格式：=O 阅读全文
posted @ 2019-07-29 15:11 大鹏o 阅读(1268) 评论(0) 推荐(0) 编辑
2019年7月23日
Linux 常用命令大全
摘要： 最近都在和Linux打交道，感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制，当然，这也是很多人喜欢linux的原因，比较短小但却功能强大。我将我了解到的命令列举一下，仅供大家参考： 系统信息 arch 显示机器的处理器架构uname -m 显示机器的处理器架构u 阅读全文
posted @ 2019-07-23 14:40 大鹏o 阅读(155) 评论(0) 推荐(0) 编辑