Xiaohu_BigData

2020年5月11日

Flink学习（四） Flink Table & SQL 实现wordcount Java版本

摘要： Flink Table & SQL WordCountFlink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。一个完整的 Flink SQL 编写的程序包括如下三部分。 Source Operator：是对外部数据源的抽象, 阅读全文

posted @ 2020-05-11 23:02 Xiaohu_BigData 阅读(3387) 评论(0) 推荐(0) 编辑

Flink学习（三）批流版本的wordcount Scala版本

摘要：批处理代码： package com.wyh.wc import org.apache.flink.api.scala._ /** * 批处理代码 */ object WordCount { def main(args: Array[String]): Unit = { //创建一个批处理的一个环境阅读全文

posted @ 2020-05-11 22:57 Xiaohu_BigData 阅读(1107) 评论(0) 推荐(0) 编辑

Flink学习（三）批流版本的wordcount JAVA版本

摘要： Flink 开发环境通常来讲，任何一门大数据框架在实际生产环境中都是以集群的形式运行，而我们调试代码大多数会在本地搭建一个模板工程，Flink 也不例外。 Flink 一个以 Java 及 Scala 作为开发语言的开源大数据项目，通常我们推荐使用 Java 来作为开发语言，Maven 作为编译和包阅读全文

posted @ 2020-05-11 22:55 Xiaohu_BigData 阅读(2158) 评论(0) 推荐(0) 编辑

Flink学习（二）应用场景和架构模型

摘要：实时计算最好的时代在过去的十年里，面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm，再到 Spark 的异军突起，迅速占领了整个实时计算领域。直到 2019 年 1 月底，阿里巴巴内部版本 Flink 正式开源！一石激起千层浪，Flink 开源的消息立刻刷爆朋友圈，整个大数据计算领阅读全文

posted @ 2020-05-11 19:43 Xiaohu_BigData 阅读(822) 评论(1) 推荐(0) 编辑

Flink学习（一）行情介绍

摘要：想进大厂，必须掌握 Flink 技术！！！随着大数据时代的发展、海量数据的实时处理和多样业务的数据计算需求激增，传统的批处理方式和早期的流式处理框架也有自身的局限性，难以在延迟性、吞吐量、容错能力，以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下，Flink 以其独特的天然流式计算特性和更阅读全文

posted @ 2020-05-11 19:24 Xiaohu_BigData 阅读(471) 评论(0) 推荐(0) 编辑

2020年4月12日

Python基础

摘要：一、python是什么 Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python的设计具有很强的可读性相比其他语言经常使用英文关键字,其他语言的一些标点符号,它具有比其他语言更有特色语法结构。 Python是一种解释型语言,这意味着开发过程中没有了编译这个环节。类似阅读全文

posted @ 2020-04-12 00:20 Xiaohu_BigData 阅读(221) 评论(0) 推荐(1) 编辑

2020年4月10日

Spark 广播变量（broadcast）更新方法

摘要： Spark 广播变量（broadcast）更新方法更新方法spark 广播变量可以通过unpersist方法删除，然后重新广播 val map = sc.textFile("/test.txt").map(line => { val arr = line.split(",") (arr(0), ar 阅读全文

posted @ 2020-04-10 11:12 Xiaohu_BigData 阅读(1732) 评论(0) 推荐(0) 编辑

2020年4月7日

机器学习理论基础

摘要：一、机器学习的概念 1、什么是学习？ --从人的学习说起 --学习理论；从实践中总结 --在理论上推导；在实践中检验 --通过各种手段获取知识或技能的过程 2、机器怎么学习？ --处理某个特定的任务，以大量的“经验”为基础 --对任务完成的好坏，给予一定的评判标准 --通过分析经验数据，任务完成的更阅读全文

posted @ 2020-04-07 11:28 Xiaohu_BigData 阅读(1412) 评论(0) 推荐(0) 编辑

2020年4月2日

Flink运行时架构

摘要：一、运行时的组件和基本原理 1、作业管理器（1）控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行。（2）JobManager会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（Logical dataflow 阅读全文

posted @ 2020-04-02 21:36 Xiaohu_BigData 阅读(687) 评论(0) 推荐(1) 编辑

2020年4月1日

推荐系统（二）数学基础

摘要：一、先来拜访几位大佬二、线性代数 1、什么是矩阵？矩阵（Matrix）是一个按照长方形阵列排列的复数或实数集合。矩阵最早来自于方程组的系数及常数所构成的方阵，最初是用来解决线性方程求解的工具。矩阵是高等代数中常见工具，也常见于统计分析等应用数学学科中，矩阵在物理学和计算机科学中都有应用。矩阅读全文

posted @ 2020-04-01 20:16 Xiaohu_BigData 阅读(457) 评论(0) 推荐(0) 编辑

公告