2020 年 3月随笔档案 - duanxz

03 2020 档案

摘要：Impala和Hive的关系 Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。与Hive 阅读全文

posted @ 2020-03-30 13:56 duanxz 阅读(5380) 评论(0) 推荐(0) 编辑

数据模型

摘要：一、概述 1.什么是数据模型？数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。 2.典型数据仓库建模方法论 ER模型纬度模型（建模四步曲：确定业务流程->确定粒度->确定纬度->确定事实表）二、阿里巴巴数据整合管理体系oneData 1.体系架构核心内容阅读全文

posted @ 2020-03-30 11:39 duanxz 阅读(3293) 评论(0) 推荐(0) 编辑

六大主流大数据采集平台架构分析推荐收藏

摘要：任何完整的大数据平台，一般包括以下的几个过程：数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)。其中，「数据采集」是所有数据系统必不可少的，随着大数据越来越被重视，「数据采集」的挑战也变的尤为突出。这其中包括：数据源多种多样数据量大变化快如何保证数据采集的可靠性的性能如阅读全文

posted @ 2020-03-29 22:06 duanxz 阅读(4275) 评论(0) 推荐(1) 编辑

构建数据指标体系以及数据埋点

摘要：一、如何构建指标体系在搭建指标体系之前，先理解什么是指标？指标，实际上就是一种度量。大到用于监控和评估商业进程的状态，小到衡量某个功能模块的情况，或者是活动效果。指标体系，也就是将指标由粗到细，由宏观到围观进行逐层分解所构成的体系。通过指标分级的方法，可以将指标化解为不同层级并逐步分析。 1 阅读全文

posted @ 2020-03-29 19:18 duanxz 阅读(1431) 评论(0) 推荐(0) 编辑

埋点

摘要：所谓埋点就是在应用中特定的流程收集一些信息，用来跟踪应用使用的状况，后续用来进一步优化产品或是提供运营的数据支撑，包括访问数（Visits），访客数（Visitor），停留时长（Time On Site），页面浏览数（Page Views）和跳出率（Bounce Rate）。这样的信息收集可以大致分阅读全文

posted @ 2020-03-29 19:06 duanxz 阅读(2140) 评论(0) 推荐(0) 编辑

go 搭建web服务

摘要：Go语言标准库 - net/http 在学习Go语言有一个很好的起点，Go语言官方文档很详细，今天我们学习的Go Web服务器的搭建就需要用到Go语言官方提供的标准库 net/http，通过http包提供了HTTP客户端和服务端的实现。同时使用这个包能很简单地对web的路由，静态文件，模版，cook 阅读全文

posted @ 2020-03-28 20:27 duanxz 阅读(1462) 评论(0) 推荐(0) 编辑

go的常见操作

摘要：go的开发环境搭建：https://www.cnblogs.com/wqzn/p/11730052.html GOROOT和GOPATH GOROOT和GOPATH都是环境变量，其中GOROOT是我们安装go开发包的路径， GOPATH是存放go的代码目录，从Go 1.8版本开始，Go开发包在安阅读全文

posted @ 2020-03-19 19:45 duanxz 阅读(576) 评论(0) 推荐(0) 编辑

Zeus资源调度系统介绍

摘要：摘要：本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。本文主线：问题、解决方案、依赖基础知识、工程实践、目标、经验分享。立足企业真实问题、常规解决策略，引出依赖的容器技术、实践方案，所有这些落实到工程实践，要解决那些问题、实现哪些目标、技术大趋势的影响。最后给出阿里巴巴的实践经验。本序阅读全文

posted @ 2020-03-14 11:50 duanxz 阅读(4843) 评论(0) 推荐(0) 编辑

风控大数据平台2

该文被密码保护。

posted @ 2020-03-13 20:19 duanxz 阅读(0) 评论(0) 推荐(0) 编辑

风控大数据平台

该文被密码保护。

posted @ 2020-03-13 11:34 duanxz 阅读(0) 评论(0) 推荐(0) 编辑

大数据风控系统概述

该文被密码保护。

posted @ 2020-03-13 10:06 duanxz 阅读(0) 评论(0) 推荐(0) 编辑

支付系统中热点账户的性能问题

摘要：支付系统中热点账户的性能问题热点账户类型账户属性实时需求锁需求处理方式性能业务大账户内部账户无实时余额查询无实时提现无需加锁异步MQ延时处理满足大代理商账户对外账户无实时余额查询无实时提现没有加锁需求异步MQ延时处理满足热门商户(推广) 对外账户商户账户阅读全文