08 2021 档案
摘要:数据中台被誉为大数据的下一站,由阿里兴起,核心思想是数据共享,并在 2018 年因为“腾讯数据中台论”再度成为了人们谈论的焦点。在 2019年3月15日ThoughtWorks 技术雷达峰会上,关于数据中台的话题也获得了众多参会者的热烈关注。如今似乎人人都在提数据中台,但却不是所有人都清楚数据中台到
阅读全文
摘要:用户增长部门可能在某些公司很核心,可能是新设部门,可能有很好的绩效奖励(远远大于数据分析部门),所以在薪资、个人成长机会上,都可能是一个好选择。 很多同学会经常看到“用户增长”“增长黑客”“增长团队”之类的说法,并且这些岗位常常一眼看上去和数据分析有关系。 比如: “建立系统的增长模型,驱动增长的持
阅读全文
摘要:数据仓库不同于日常的信息系统开发 , 除了遵循其他系统开发的需求 , 分析 , 设计 , 测试等通常的软件声明周期之外 ; 他还涉及到企业信息数据的集成 , 大容量 数据的阶段处理和分层存储 , 数据仓库的模式选择等。 一、业务驱动 任何需求均来源于业务 , 业务决定了需求 , 需求分析的正确与否是
阅读全文
摘要:西影寺的由来 朔州市朔城区神头镇――西影寺是我的故乡,是一个历史悠久的村庄。 据爷爷讲述,唐朝末年,我们村东面有个高耸入云的大寺院,把我们整个村庄遮挡的严严实实,我们的村庄在寺院的遮挡下,每天上午十点多钟才能见到太阳,固称�7�4西影寺�7�2 在当时那个年代,战火纷飞,各地盗贼四起,当地官府也很是
阅读全文
摘要:每当大促,各大电商、品牌都会为消费者提供各式各样的活动,各类活动任意组合,将带来多样化的价格计算场景。如何满足业务发展同时,最大化的降低系统计算的复杂度?本文将为你揭秘严选商品价格计算背后的秘密。 1. 背景 商品的价格计算是促销计价系统根据用户身份、用户资产、商品享受的活动、优惠券、红包等计算商品
阅读全文
摘要:当SQL数据库日志文件已满,或者日志很大,怎么办 当SQL数据库日志文件已满,或者日志很大,就需要压缩日志及数据库文件:1.清空日志 DUMP TRANSACTION 库名 WITH NO_LOG 2.截断事务日志: BACKUP LOG 数据库名 WITH NO_LOG3.收缩数据库文件(如果不压
阅读全文
摘要:在数据分析工作中,细分思维的重要性,我认为再怎么强调都不为过。 然而,很多人可能会采取一些「偷懒」的做法,浅尝辄止,不去寻找合适的细分方法,导致没有得出更有价值的分析结论。 下面我们通过一些示例,介绍 5 种常见的细分方法。 1. 按时间细分 时间可以细分为不同的跨度,包括年、月、周、日、时、分、秒
阅读全文
摘要:@echo offsetlocal EnableDelayedExpansion echo 记录时间:%date%%time% >>剩余容量.txt (for %%i in (C D E F G H I J K L M N O P Q R S T U V W X Y Z) do ( if exist
阅读全文
摘要:sqlserver自动收缩数据库引起大量阻塞 最近遇到一个数据库设置了自动收缩,收缩期间引起大量阻塞的问题,记录下看到的文章学习 什么是自动收缩? 随着数据量的增加数据库的设备文件(MDF\LDF)会不断增长,当数据库中的某些数据删除,数据库设备文件的大小并不会随着数据量的减少而减少,数据库设备需要
阅读全文
摘要:在我们进行项目开发时候经常使用数据库,SQL Server数据库已经成为我们熟悉的数据库,而我们只了解常用的功能,对于一些没有出现过的问题有点不知所措,总结是在实际情况遇到问题的收获,希望能够帮助到你! 第一种解决办法:权限问题,把SQL Server启动账号改为具有完全控制权限的本地账号,停止SQ
阅读全文
摘要:问题描述: 数据库的事务日志已满,起因为"LOG_BACKUP"。 问题截图: 解决方法: 1).选择数据库–属性—选项—恢复模式–选择简单。2).收缩数据库后,再调回完整。 1 USE[master] 2 GO 3 ALTER DATABASE 要清理的数据库名称 SET RECOVERY SIM
阅读全文
摘要:一、MySQL扩展具体的实现方式 随着业务规模的不断扩大,需要选择合适的方案去应对数据规模的增长,以应对逐渐增长的访问压力和数据量。 关于数据库的扩展主要包括:业务拆分、主从复制,数据库分库与分表。这篇文章主要讲述数据库分库与分表 (1)业务拆分 在 大型网站应用之海量数据和高并发解决方案总结一二
阅读全文
摘要:kettle 3.2 以前的版本里只有 variable 和 argument,kettle 3.2 中,又引入了 parameter 概念;variable 即environment variables(环境变量或全局变量),即使是不同的转换它们也拥有同样的值;而argument(位置参数)和pa
阅读全文
摘要:一 为什么要做这个事情1 什么是慢SQL?这里指的是MySQL慢查询,具体指运行时间超过long_query_time值的SQL。我们常听常见的MySQL中有二进制日志binlog、中继日志relaylog、重做回滚日志redolog、undolog等。针对慢查询,还有一种慢查询日志slowlog,
阅读全文
摘要:现在产品和服务都是围绕用户来进行展开的,用户的需求、反馈、满意度、体验度等越来越受到关注。所以,我们需要对用户进行精细的研究,以便推出更好更有针对性的产品和服务,那么如何对用户进行分析呢?在分析前该如何对用户进行分类呢?如何根据常用的用户指标和值得关注的用户指标去发现运营和产品中的诸多问题?本文将围
阅读全文
摘要:对于不少产品经理来说,掌握数据分析的核心能力并不在于了解丰富的模型和方法论,而是能敏锐的发现数据并且从中找出潜在规律。数据分析始终不能落地?这有一个案例,希望能对你有帮助。 ——————/ BEGIN /—————— “你做的数据分析,一点都不落地!” “除了写数字,能不能有落地建议!” “看了数,
阅读全文
摘要:今天和大家聊一个老生常谈的话题,如何设计DWS层? 对于数仓的分层,想必大家都不陌生。基于OneData方法论的三层数仓划分:数据引入层(ODS,Operational Data Store)、数据公共层(CDM,Common Dimenions Model)和数据应用层(ADS,Applicati
阅读全文
摘要:本文是雷剑波大佬对网易云音乐数仓建设之路的介绍,大家可以参考借鉴学习下,文末有PPT和对应视频的获取方式。
阅读全文
摘要:在R/F/M三个指标上,我们通过经验将实际的用户划分为以下8个区,我们需要做的就是促进不同的用户向更有价值的区域转移。也就是将每个付费用户根据消费行为数据,匹配到不同的用户价值群体中,然后根据不同付费用户群体的价值采用不同的策略。 一、常用数据分析产品运营分析:以移动端APP为主体,以AAARR模型
阅读全文
摘要:决策树算法是一种监督式学习算法,它简单好用,易于解释,在金融科技,数字健康,教育服务,消费互联网等许多领域发挥着积极作用。决策树算法学习的结果,类似下图结构: 本文首先介绍决策树的原理,然后基于tidymodels框架设计和执行决策树算法以解决实际问题。 一、决策树算法原理 决策树算法的理解,可以参
阅读全文
摘要:数据分析基础内容介绍:模型、工具、统计、挖掘与展现。让我们一起来了解一下。 1. 数据分析多层模型介绍 这个金字塔图像是数据分析的多层模型,从下往上一共有六层: 底下第一层称为Data Sources 元数据层。 比如说在生产线上,在生产的数据库里面,各种各样的数据,可能是银行的业务数据,也可能是电
阅读全文
摘要:2021年 第031篇 本地生活综合性需求图谱(GENE: lifestyle GEneral NEeds net),是从用户需求视角出发,深入挖掘本地生活场景下用户多样化的需求,并将其与多行业、多类型的供给形成关联的知识图谱,旨在提升平台供需匹配效率,助力业务增长。本文介绍了本地生活综合性需求图谱
阅读全文