摘要:
参考:https://www.cnblogs.com/zhang-jun-jie/p/9273721.html 待补充 阅读全文
摘要:
面试清单 1.开场 1)简单自我介绍 2)课程、自学内容介绍 2.技术问 0)简历问题浏览 1)对大数据的了解、对数据仓库的了解 Java: 面向对象3个特征 1.==和equals的区别 == 对于基本类型来说是值比较,对于引用类型来说是比较的是引用;而 equals 默认情况下是引用比较,只是很 阅读全文
摘要:
一、概述 状态的分类: 状态的概念: 两种状态的介绍: 二、两种状态 1.算子状态: 算子状态的数据结构: 不过,实际运用中,都是使用键控状态居多! 2.键控状态 键控状态的数据结构: 代码中使用示例: 3.状态后端 访问存储状态的组件: 可供选择的状态后端: 阅读全文
摘要:
一、窗口概述 窗口的概念:用来将无限流切分为有限流,分发到有限大小的桶中进行处理 窗口的分类:大致分为时间窗口和计数窗口 窗口的边界:左闭右开 二、窗口介绍 1.滚动时间窗口 由固定的窗口长度控制,不会有重叠 2.滑动时间窗口 由窗口size和滑动距离控制,元素会有重叠,当然,步长=size的时候, 阅读全文
摘要:
一、概述 1.大致流程:主要分五步 获取一个执行环境 加载/创建初始数据 指定数据上的转换 指定计算结果放在哪里 触发程序执行 详细步骤,可以参考:https://www.cnblogs.com/cjsblog/p/12967555.html 1)在sacla中可以通过静态方法获取执行环境:(根据上 阅读全文
摘要:
一、单机版安装与测试 参考:http://www.oushaobin.cn/archives/apache-flink-guide-1.html 1)进入IP:8081管理界面(虚拟机需要防火墙关闭),进入submit new job页面 2)将scala写好的word-count程序打包成包含ja 阅读全文
摘要:
一、并行处理和编程规范 1.并行计算 并行计算的核心思想:分而治之,将节点变成有向无环图,路径为Source Trans Sink 二、DataStream API 1.大致运行流程: 代码示例: flink的source从哪里来?——flink连接器 更多的DataStream API,参考:ht 阅读全文
摘要:
一、简介 见官网:http://www.selenium.org.cn/ 简单使用参考:https://www.jianshu.com/p/3aa45532e179 二、安装 使用pip安装 pip install Selenium -i http://pypi.douban.com/simple 阅读全文