关闭页面特效
08 2020 档案
数据中台实战（十）：如何从0到1搭建推荐平台？
摘要：上一篇数据中台的实战文章讲了《数据中台实战（九）：如何搭建全渠道自动化的平台》，这次我们基于实战看一下如何从0到1搭建推荐平台。 一、什么是推荐系统 推荐系统的核心是要解决人货匹配的问题。 我们拿电商平台举例，作为一个电商平台，就是为了卖货，怎么把我们的货卖出去并且用户还比较满意呢？一定是找到有需求
阅读全文
数据中台实战（九）：如何搭建全渠道自动化的营销平台
摘要：上一篇数据中台的实战文章讲了《数据中台实战（八）：如何打造可以支撑N条产品线的标签平台》，这次讲如何搭建全渠道自动化的营销平台。 什么是全渠道营销平台 先讲一下全渠道营销平台是什么。运营的大部分工作就是搞营销活动，刺激用户下单和复购。在很久很久以前，一个公司几个月才搞一次活动，为什么要几个月，因为从
阅读全文
数据中台实战（八）：如何打造支撑N条产品线的标签平台
摘要：上一篇数据中台的实战文章讲了《数据中台实战（七）：流量分析》，这次讲如何打造可以支撑N条产品线的标签平台。 为什么要建设标签平台 亚马逊的CEO Jeff Bezos曾说过他的梦想，「如果我有一百万的用户，我就会做一百万个不同的网站！」。 当然，现在大型的电商公司如亚马逊、淘宝等已经实现了他这个梦想
阅读全文
数据中台实战（七）：流量分析
摘要：上一篇文章讲了《数据中台实战（六）：交易分析》，本文讲数据中台实战（七）：流量分析。 流量分析的核心就是你的平台每天有多少个用户过来，都去了哪里，在那个位置产生了消费。 针对这几个问题，我们做了几个功能： 网页分析，可以监测每个网页的流量PV、UV、浏览时长、跳出率； 坑位流量分析，可以看到产品的每
阅读全文
数据中台实战（六）：交易分析
摘要：上一篇文章讲到《数据中台实战（五）：自助分析平台》，本篇文章讲一下交易分析模块。 交易分析设计原则 交易数据是一个公司最核心的数据，领导层会十分关注，一线的运营的kpi也是围绕交易额展开。领导层和一线的运营还是有些不同，公司领导层关注的是大盘，是不会看一些明细数据，而运营需要大量的明细数据来分析数据
阅读全文
数据中台实战（五）：自助分析平台（产品设计篇）
摘要：本文笔者详细介绍了开发自助分析平台的重要性、自助分析平台的具体方案和选型，一起来看看吧。 一、为什么要开发自助分析平台 上一篇文章讲到《数据中台实战入门篇：数据中台对内、对外合作机制》。这时数据中台团队已经做了几个比较大块的功能模块，和各个产品线的合作越来越紧密。 每个月每条产品线都有一些数据需求，
阅读全文
数据中台实战（四）：商品分析（产品设计篇）
摘要：商品的生命周期分为售前、售中、售后，接下来结合数据中台实战，分别从三个时期的细节方面分析下，如何保证我们提供的都是真正的好货。 上一讲讲了用户模块《数据中台实战（三）：用户分析（产品设计篇）》我们用的是海盗模型，从用户的获取、激活、留存、收入、推荐的角度来做分析。这些指标是没问题，但是作为电商产品，
阅读全文
数据中台实战（三）：用户分析（产品设计篇）
摘要：上一次说到《数据中台实战（二）：基于阿里OneData的数据指标管理体系》，这次我们谈下产品经理更加关注的模块产品设计。接下来的文章将从六个方面讲数据中台的产品设计包括用户分析、商品分析、活动分析、流量分析、还有自助分析平台、标签平台、推荐系统的搭建。全部基于实战，读完这个系列，你就可以搭建属于你们
阅读全文
数据中台实战（二）：基于阿里OneData的数据指标管理体系
摘要：本文将通过具体案例来介绍OneData的实施流程，继而介绍阿里OneData数据体系中数据指标的管理和数据模型的设计，最后再为大家讲数据看板的设计。 上一篇文章讲了《数据中台实战（一）：以B2B点电商为例谈谈产品经理下的数据埋点》，本文我们先以一个例子实战介绍OneData实施流程。接着再讲阿里On
阅读全文
数据中台实战（一）：以B2B电商亿订为例，谈谈产品经理视角下的数据埋点
摘要：本文以B2B电商产品“亿订”为实例，与大家一同谈谈数据中台的数据埋点。 笔者所在公司为富力环球商品贸易港，是富力集团旗下汇聚原创设计师品牌及时尚买手/采购商两大社群，通过亿订B2B电商、RFSHOWROOM、环贸快版、环贸映像、富运通、富贸通等子品牌为时尚行业提供一站式产业＋渠道服务的平台。 笔者所
阅读全文
数据中台实战（零）数据中台如何搭建
摘要：4月29日，数据中台建设实战系列课程「数智加速度」第4课，奇点云数据模型架构专家天启带来分享《AI驱动的数据中台架构设计》，步步踏实落地，带大家从0开始建设数据中台。 天启，奇点云数据模型架构专家、原海尔集团数据架构师、原阿里巴巴政务团队数据架构师，精通数据仓库建模理论及数据开发技术，具备零售、政务
阅读全文
大数据集群运维（36）linux下的几个网络流量监控工具使用
摘要：1、nethogs 1)NetHogs是一款开源、免费的，终端下的网络流量监控工具，它可监控Linux的进程或应用程序的网络流量。NetHogs只能实时监控进程的网络带宽占用情况。NetHogs支持IPv4和IPv6协议，支持本地网卡以及PPP链接 2)debian下安装 apt-get insta
阅读全文
SparkStreaming入门到实战之(17)--大数据场景下数据异构之 Mysql实时写入HBase（借助canal kafka SparkStreaming）
摘要：背景：公司线下ETC机房有个Mycat集群，供订单系统使用，现需要进行数据异构将Mysql数据(近)实时写入另一套数据库用作读请求和数据归档用 技术选型：binlog解析工具：阿里开源的canal 消息中间件：kafka 流式框架：SparkStreaming 上代码 canal解析mysqlbin
阅读全文
SparkStreaming入门到实战之(16)--基于Spark Streaming + Canal + Kafka对Mysql增量数据实时进行监测分析
摘要：1.Canal是什么？2.如何编写Canal客户端？3.如何编写一个数据库操作的Spark程序代码？4.开发Spark项目时容易发生哪些冲突问题？Spark中的Spark Streaming可以用于实时流项目的开发，实时流项目的数据源除了可以来源于日志、文件、网络端口等，常常也有这种需求，那就是实时
阅读全文
大数据集群运维（35）sqoop安装与使用
摘要：sqoop 是什么：在关系数据库和hadoop之间数据的相互转换的工具。安装：原生安装：appache１．解压安装，２．重命名sqoop-1.4.5-cdh5.4.4/sqoop-env-template.sh 为sqoop-env.sh３．修改sqoop-env.sh配置：填写Hadoop，hba
阅读全文
大数据集群运维（34）flume安装与使用
摘要：1.flume简介 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明
阅读全文
大数据集群运维（33）MongoDB各系统上安装
摘要：MongoDB的文档模型自由灵活，可以让你在开发过程中畅顺无比。对于大数据量、高并发、弱事务的互联网应用，MongoDB可以应对自如。MongoDB内置的水平扩展机制提供了从百万到十亿级别的数据量处理能力，完全可以满足Web2.0和移动互联网的数据存储需求，其开箱即用的特性也大大降低了中小型网站的运
阅读全文
大数据集群运维（32）spark开发环境详细教程1：IntelliJ IDEA使用详细说明
摘要：各种开发环境的搭建，其实都是听简单。甚至我们可以通过命令行来开发。而且最原始的编程，其实可以通过文本或则cmd即可。还有maven，sbt等。后来的发展过程中，为了更加方便我们编程，于是发展出来了，更高级的编程工具，Java有eclipse等工具，而Scala有IntelliJ IDEA.当然ecl
阅读全文
大数据集群运维（31）Spark提交任务时报beyond virtual memory limits错误
摘要：以Spark-Client模式运行，Spark-Submit时出现了下面的错误： User: hadoop Name: Spark Pi Application Type: SPARK Application Tags: YarnApplicationState: FAILED FinalStatu
阅读全文
大数据集群运维（30）spark安装与使用（入门）
摘要：一：在linux下安装java环境（自行安装jdk） 二：安装Scala2.9.3 sudo mv scala-2.9.3 /usr/lib $ sudo vim /etc/profile # add the following lines
阅读全文
大数据集群运维（29）Zeppelin-在flink和spark集群的安装
摘要：Zeppelin-在flink和spark集群的安装 该教程主要面向Zeppelin的入门者。不需要太多的关于 Linux, git, 或其它工具的基础知识。如果你按照这里的方法逐项执行，就可以将 Zeppelin 正常运行起来。 安装Zeppelin为Flink/Spark集群模式 本教程假定用户
阅读全文
大数据集群运维（28） Kylin 配置使用 flink 构建 Cube
摘要：用 Flink 构建 Cube Kylin v3.1 引入了 Flink cube engine，在 build cube 步骤中使用 Apache Flink 代替 MapReduce；您可以查看 KYLIN-3758 了解具体信息。当前的文档使用样例 cube 对如何尝试 new engine
阅读全文
大数据集群运维（27）Kylin 配置使用 Spark 构建 Cube
摘要：HDP版本：2.6.4.0 Kylin版本：2.5.1 机器：三台 CentOS-7，8G 内存 Kylin 的计算引擎除了 MapReduce ，还有速度更快的 Spark ，本文就以 Kylin 自带的示例 kylinsalescube 来测试一下 Spark 构建 Cube 的速度。 一、配置
阅读全文
大数据集群运维（26）Apache Kylin 2.5.0安装和使用
摘要：1.背景 Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 Apache Kylin官网：http://kylin.apache.o
阅读全文
大数据集群运维（25）CDH安装
摘要：CDH 安装 市场上免费大数据框架主要有三个版本，原生的 Apache 版本，Cloudera(https://www.cloudera.com/) 公司研发的（Cloudera Distribution Hadoop，简称“CDH”）CDH 版本，也是市场上使用最多的，Hortonworks 版本
阅读全文
大数据集群运维（24）kylin 系列（一）安装部署
摘要：kylin 系列（一）安装部署 一、环境说明 1.1 版本选择 cdh 版本下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 软件名称版本 JDK 1.8 HADOOP Hadoop2.6.0-cdh5.10 ZOOKEERER 3.4.5 HBASE Hba
阅读全文
人工智能深度学习入门练习之（38）深度学习 – tensorflow实例之keras的siamese(孪生网络)实现案例
摘要：一、 keras的siamese(孪生网络)实现案例 二、代码实现 import keras import numpy as np import matplotlib.pyplot as plt import random from keras.callbacks import TensorBoar
阅读全文
人工智能深度学习入门练习之（37）深度学习 – TensorFlow实现CNN神经网络算法
摘要：一、CNN的引入 在人工的全连接神经网络中，每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢，例如一张黑白的 28×2828×28 的手写数字图片，输入层的神经元就有784个，如下图所示： 若在中间只使用一层隐
阅读全文
人工智能深度学习入门练习之（36）深度学习 – 使用深度学习实现智能聊天机器人
摘要：.聊天机器人的类型本文分为了哪些类型？2.聊天机器人的有几种主流技术？3.如何利用深度学习构建聊天机器人？ 聊天机器人（也可以称为语音助手、聊天助手、对话机器人等）是目前非常热的一个人工智能研发与产品方向。很多大型互联网公司投入重金研发相关技术，并陆续推出了相关产品，比如苹果Siri、微软Corta
阅读全文
