摘要：
介绍 今天在Flink 1.7.2版本上跑一个Flink SQL 示例 RetractPvUvSQL，报 Exception in thread "main" org.apache.flink.table.api.ValidationException: SQL validation failed. 阅读全文
摘要：
先简单交代一下背景吧，某不知名985的本硕，17年毕业加入滴滴，今年下半年跳槽到了头条，一直从事后端研发相关的工作。 之前没有实习经历，算是两年半的工作经验吧。这两年半之间完成了一次晋升，换了一家公司，有过开心满足的时光，也有过迷茫挣扎的日子，不过还算顺利地从一只职场小菜鸟转变为了一名资深划水员。 阅读全文
摘要：
趣头条实时计算架构经验总结学习 阅读全文
摘要：
Spark集群环境配置 我们有2个节点，每个节点是一个worker，每个worker上启动一个Executor，其中Driver也跑在master上。每个Executor可使用的核数为2，可用的内存为2g，集群中所有Executor最大可用核数为4。 conf/spark defaults.conf 阅读全文
摘要：
简介 Vue 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是，Vue 被设计为可以自底向上逐层应用。Vue 的核心库只关注视图层，不仅易于上手，还便于与第三方库或既有项目整合。另一方面，当与现代化的工具链以及各种支持类库结合使用时，Vue 也完全能够为复杂的单页应用提供驱动。 环境安装 阅读全文
摘要：
Spark 可以跑在很多集群上，比如跑在local上，跑在Standalone上，跑在Apache Mesos上，跑在Hadoop YARN上等等。不管你Spark跑在什么上面，它的代码都是一样的，区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种运行 阅读全文
摘要：
Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同 阅读全文
摘要：
Flink程序遵循一定的编程模式。DataStream API 和 DataSet API 基本具有相同的程序结构。以下为一个流式程序的示例代码来对文本文件进行词频统计。 整个Flink 程序一共分为5步: 1. Flink执行环境 不同的执行环境决定了应用的类型: StreamExecutionE 阅读全文
摘要：
项目模板 Flink应用项目可以使用Maven或SBT来构建项目，Flink针对这些构建工具提供了相应项目模板。 Maven模板命令如下，我们只需要根据提示输入应用项目的groupId、artifactId、version和package路径即可。 目录结构和我们使用IDEA创建的目录结构基本一样， 阅读全文
摘要：
关键技术 特征: 比如鸟的体重、后背颜色等成为特征 机器学习的主要任务是分类 训练集: 用于训练机器学习算法的样本集合 目标变量: 机器学习算法的预测结果 机器学习算法通常都有两个独立的样本集: 训练数据和测试数据 主要任务 监督学习: 这类算法知道要预测什么,即目标变量的分类信息，比如回归和分类 阅读全文