2020年9月7日

Flink 从 0 到 1 学习之（7）Flink Data transformation(转换)

摘要：前言 Flink 应用程序结构就是如上图所示： 1、Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义的 source 常见的有 Apache 阅读全文

posted @ 2020-09-07 16:36 大码王阅读(281) 评论(0) 推荐(0) 编辑

Flink 从 0 到 1 学习之（6）如何自定义 Data Sink ？

摘要：前言前篇文章介绍了 Flink Data Sink，也介绍了 Flink 自带的 Sink，那么如何自定义自己的 Sink 呢？这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。准备工作我们先来看下 Flink 从 Kafka topi 阅读全文

posted @ 2020-09-07 14:52 大码王阅读(230) 评论(0) 推荐(0) 编辑

Flink 从 0 到 1 学习之（5）如何自定义 Data Source ？

摘要：前言我给大家介绍了 Flink Data Source 以及简短的介绍了一下自定义 Data Source，这篇文章更详细的介绍下，并写一个 demo 出来让大家理解。 Flink Kafka source 准备工作我们先来看下 Flink 从 Kafka topic 中获取数据的 demo，首阅读全文

posted @ 2020-09-07 14:23 大码王阅读(234) 评论(0) 推荐(0) 编辑

Flink 从 0 到 1 学习之（4）Data Sink 介绍

摘要：首先 Sink 的意思是：大概可以猜到了吧！Data sink 有点把数据存储下来（落库）的意思。如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计算后的数据结果 Sink 到某个地方。（可以是 MySQL、Elast 阅读全文

posted @ 2020-09-07 14:19 大码王阅读(464) 评论(0) 推荐(0) 编辑

2020年9月3日

Flink 从 0 到 1 学习之（3） Data Source 介绍

摘要：前言 Data Sources 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Da 阅读全文

posted @ 2020-09-03 17:58 大码王阅读(337) 评论(0) 推荐(0) 编辑

Flink 从 0 到 1 学习之（2） Flink 配置文件详解

摘要：前面文章我们已经知道 Flink 是什么东西了，安装好 Flink 后，我们再来看下安装路径下的配置文件吧。安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 flink-conf.yaml 基础配置 12345678910 阅读全文

posted @ 2020-09-03 17:56 大码王阅读(665) 评论(0) 推荐(0) 编辑

Flink 从 0 到 1 学习之（1）Apache Flink 介绍

摘要：前言 Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些聚合/转换/计算等操作，然后将计算后的结阅读全文

posted @ 2020-09-03 17:51 大码王阅读(420) 评论(0) 推荐(0) 编辑

Linux入门到实战之（3）使用x之sz下载和rz上传

摘要：对于经常使用Linux系统的人员来说，少不了将本地的文件上传到服务器或者从服务器上下载文件到本地，rz / sz命令很方便的帮我们实现了这个功能，但是很多Linux系统初始并没有这两个命令。今天，我们就简单的讲解一下如何安装和使用rz、sz命令。 1.软件安装（1）编译安装 root 账号登陆后，阅读全文

posted @ 2020-09-03 14:57 大码王阅读(319) 评论(0) 推荐(0) 编辑

2020年8月25日

数据中台实战（十）：如何从0到1搭建推荐平台？

摘要：上一篇数据中台的实战文章讲了《数据中台实战（九）：如何搭建全渠道自动化的平台》，这次我们基于实战看一下如何从0到1搭建推荐平台。一、什么是推荐系统推荐系统的核心是要解决人货匹配的问题。我们拿电商平台举例，作为一个电商平台，就是为了卖货，怎么把我们的货卖出去并且用户还比较满意呢？一定是找到有需求阅读全文

posted @ 2020-08-25 14:40 大码王阅读(829) 评论(0) 推荐(0) 编辑

数据中台实战（九）：如何搭建全渠道自动化的营销平台

摘要：上一篇数据中台的实战文章讲了《数据中台实战（八）：如何打造可以支撑N条产品线的标签平台》，这次讲如何搭建全渠道自动化的营销平台。什么是全渠道营销平台先讲一下全渠道营销平台是什么。运营的大部分工作就是搞营销活动，刺激用户下单和复购。在很久很久以前，一个公司几个月才搞一次活动，为什么要几个月，因为从阅读全文

posted @ 2020-08-25 14:39 大码王阅读(806) 评论(0) 推荐(0) 编辑

数据中台实战（八）：如何打造支撑N条产品线的标签平台

摘要：上一篇数据中台的实战文章讲了《数据中台实战（七）：流量分析》，这次讲如何打造可以支撑N条产品线的标签平台。为什么要建设标签平台亚马逊的CEO Jeff Bezos曾说过他的梦想，「如果我有一百万的用户，我就会做一百万个不同的网站！」。当然，现在大型的电商公司如亚马逊、淘宝等已经实现了他这个梦想阅读全文

posted @ 2020-08-25 14:37 大码王阅读(640) 评论(0) 推荐(0) 编辑

数据中台实战（七）：流量分析

摘要：上一篇文章讲了《数据中台实战（六）：交易分析》，本文讲数据中台实战（七）：流量分析。流量分析的核心就是你的平台每天有多少个用户过来，都去了哪里，在那个位置产生了消费。针对这几个问题，我们做了几个功能：网页分析，可以监测每个网页的流量PV、UV、浏览时长、跳出率；坑位流量分析，可以看到产品的每阅读全文

posted @ 2020-08-25 14:36 大码王阅读(452) 评论(0) 推荐(0) 编辑

数据中台实战（六）：交易分析

摘要：上一篇文章讲到《数据中台实战（五）：自助分析平台》，本篇文章讲一下交易分析模块。交易分析设计原则交易数据是一个公司最核心的数据，领导层会十分关注，一线的运营的kpi也是围绕交易额展开。领导层和一线的运营还是有些不同，公司领导层关注的是大盘，是不会看一些明细数据，而运营需要大量的明细数据来分析数据阅读全文

posted @ 2020-08-25 14:34 大码王阅读(526) 评论(0) 推荐(0) 编辑

数据中台实战（五）：自助分析平台（产品设计篇）

摘要：本文笔者详细介绍了开发自助分析平台的重要性、自助分析平台的具体方案和选型，一起来看看吧。一、为什么要开发自助分析平台上一篇文章讲到《数据中台实战入门篇：数据中台对内、对外合作机制》。这时数据中台团队已经做了几个比较大块的功能模块，和各个产品线的合作越来越紧密。每个月每条产品线都有一些数据需求，阅读全文

posted @ 2020-08-25 14:32 大码王阅读(1010) 评论(0) 推荐(0) 编辑

数据中台实战（四）：商品分析（产品设计篇）

摘要：商品的生命周期分为售前、售中、售后，接下来结合数据中台实战，分别从三个时期的细节方面分析下，如何保证我们提供的都是真正的好货。上一讲讲了用户模块《数据中台实战（三）：用户分析（产品设计篇）》我们用的是海盗模型，从用户的获取、激活、留存、收入、推荐的角度来做分析。这些指标是没问题，但是作为电商产品，阅读全文

posted @ 2020-08-25 14:30 大码王阅读(569) 评论(0) 推荐(0) 编辑

数据中台实战（三）：用户分析（产品设计篇）

摘要：上一次说到《数据中台实战（二）：基于阿里OneData的数据指标管理体系》，这次我们谈下产品经理更加关注的模块产品设计。接下来的文章将从六个方面讲数据中台的产品设计包括用户分析、商品分析、活动分析、流量分析、还有自助分析平台、标签平台、推荐系统的搭建。全部基于实战，读完这个系列，你就可以搭建属于你们阅读全文

posted @ 2020-08-25 14:29 大码王阅读(744) 评论(0) 推荐(0) 编辑

数据中台实战（二）：基于阿里OneData的数据指标管理体系

摘要：本文将通过具体案例来介绍OneData的实施流程，继而介绍阿里OneData数据体系中数据指标的管理和数据模型的设计，最后再为大家讲数据看板的设计。上一篇文章讲了《数据中台实战（一）：以B2B点电商为例谈谈产品经理下的数据埋点》，本文我们先以一个例子实战介绍OneData实施流程。接着再讲阿里On 阅读全文

posted @ 2020-08-25 14:26 大码王阅读(1137) 评论(0) 推荐(0) 编辑

数据中台实战（一）：以B2B电商亿订为例，谈谈产品经理视角下的数据埋点

摘要：本文以B2B电商产品“亿订”为实例，与大家一同谈谈数据中台的数据埋点。笔者所在公司为富力环球商品贸易港，是富力集团旗下汇聚原创设计师品牌及时尚买手/采购商两大社群，通过亿订B2B电商、RFSHOWROOM、环贸快版、环贸映像、富运通、富贸通等子品牌为时尚行业提供一站式产业＋渠道服务的平台。笔者所阅读全文

posted @ 2020-08-25 14:17 大码王阅读(739) 评论(0) 推荐(0) 编辑

2020年8月21日

数据中台实战（零）数据中台如何搭建

摘要： 4月29日，数据中台建设实战系列课程「数智加速度」第4课，奇点云数据模型架构专家天启带来分享《AI驱动的数据中台架构设计》，步步踏实落地，带大家从0开始建设数据中台。天启，奇点云数据模型架构专家、原海尔集团数据架构师、原阿里巴巴政务团队数据架构师，精通数据仓库建模理论及数据开发技术，具备零售、政务阅读全文

posted @ 2020-08-21 10:01 大码王阅读(4987) 评论(1) 推荐(0) 编辑

2020年8月14日

大数据集群运维（36）linux下的几个网络流量监控工具使用

摘要： 1、nethogs 1)NetHogs是一款开源、免费的，终端下的网络流量监控工具，它可监控Linux的进程或应用程序的网络流量。NetHogs只能实时监控进程的网络带宽占用情况。NetHogs支持IPv4和IPv6协议，支持本地网卡以及PPP链接 2)debian下安装 apt-get insta 阅读全文

posted @ 2020-08-14 16:07 大码王阅读(686) 评论(0) 推荐(0) 编辑

公告