02 2019 档案
摘要：之前看了视频学习第一个flink word count使用，但是对于socket发送数据作为数据源我这里有点忘记了，加上最近有个项目要发布，一直在忙，所以迟迟无法完成； 1、首先我们要有数据源，因为不论是流计算处理还是批次处理，都需要数据源，然后经过transformation转换成我们想要的数据输
阅读全文
摘要：一、IDEA集成git方法 首先idea集成git我们需要先下载一个小软件，git bash 地址：https://git-scm.com/downloads 。下载好了之后直接下一步下一步傻瓜试安装。安装好后回在你指定的文件夹下有个git文件夹，文件结构如下： 当然如果你对git命令比较熟悉，用这
阅读全文
摘要：实际项目开发中，我们经常会用一些版本控制器来托管自己的代码 目的：通过git管理github或者公司自己平台的github托管项目代码，我的公司自己封装了大数据的bdgit.公司域名 一，下载安装git 1、下载Git 官方地址为：https://git-scm.com/download/win 2
阅读全文
摘要：Git是什么？ Git是目前世界上最先进的分布式版本控制系统（没有之一）。 Git有什么特点？简单来说就是：高端大气上档次！ 那什么是版本控制系统？ 如果你用Microsoft Word写过长篇大论，那你一定有这样的经历： 想删除一个段落，又怕将来想恢复找不回来怎么办？有办法，先把当前文件“另存为…
阅读全文
摘要：先看看效果图吧 就是这种，鼠标点击粒子可以聚集 首先添加一个文件， https://blog-static.cnblogs.com/files/xiaokang01/js.js 这个是我上传到博客园的js代码 然后在 博客园的后台管理中，找到设置这一栏 在页脚这里添加代码调用js
阅读全文
摘要：https://flink.apache.org/ 使用谷歌浏览器进入官网后，点击页面右键，使用谷歌翻译，翻译准确率很高； 常用部分：
阅读全文
摘要：Apache beam中的便携式有状态大数据处理 目标： 一、什么是 apache beam？ 上面两个图片一个是正面切图，一个是横向切图； 这里只是大数据对于批量处理和流处理的一些生态圈的各个工具的发展前后历程，我觉着不够具体，总之，flink是beam的一种体现： Apache Beam本身不是
阅读全文
摘要：术语 Apache Beam：谷歌开源的统一批处理和流处理的编程模型和SDK。 Beam: Apache Beam开源工程的简写 Beam SDK： Beam开发工具包 **Beam Java SDK： Beam Java开发工具包 Trigger: 触**发器 Event Time: 事件时间，事
阅读全文
摘要：Apache Beam 的前世今生 1月10日，Apache软件基金会宣布，Apache Beam成功孵化，成为该基金会的一个新的顶级项目，基于Apache V2许可证开源。 2003年，谷歌发布了著名的大数据三篇论文，史称三驾马车：Google FS、MapReduce、BigTable。虽然谷歌
阅读全文
