摘要：
步深入大数据设计的内核—数据仓库设计之多维模型设计和标签设计。 多维模型设计4步：确定业务场景、声明粒度、维度设计和事实表设计 大数据分析都是场景驱动，必须先明确场景。 粒度也就是场景中重点关注的实体，一般是原始主键或者维度联合主键，粒度设计合理，分析更加方便，架构调整越小。 （从这个意义上来说，O 阅读全文
摘要：
出乎意料地过了一个有生以来最安静、活动范围最小的春节，每天看新闻，对奋战一线或是间接支援的人们都钦佩无比，自己能做的就是不给社会添乱，但是却也在思考，在这种非常时期，我们所接触的行业有什么样的贡献。 首先，看到了大数据及数据分析的应用。疫情初期，不管是之前支付宝辟谣非官方提供的华南海鲜市场支付宝使用 阅读全文
摘要：
应用场景:集群数据在节点上分布不均匀,会影响节点的健康和集群的效率, 数据不均衡一般是多种原因造成的,一般来说,可能是大批量的write & deltete操作.我们可以使用Disk balancer工具来使得集群的数据节点磁盘存储达到均衡,大约方差是10%,就表示成功了. Disk balance 阅读全文
摘要：
开启新的专题【数据库中间件】第7节，一起开启数据库中间件的学习，上节回顾：本机windows系统启动mycat，访问3台虚拟机，演示mycat的11种分片策略演示，防止入坑。本节就演示上节提到的主键6种生成方式。 （一）主键值生成方式 ① 介绍 在实现分库分表的情况下，原来是一张表就分到多个库上面和 阅读全文
摘要：
大致看了下大数据用到的技术栈，两个字太多，要快速入门，可谓困难重重，经过一段时间的摸索，先从ETL入手，比较符合传统开发人员转型大数据攻城狮。现在软件行业这么内卷，筒子们转型大数据开发吧。此次介绍的ETL工具很轻量级，入门容易，大厂背书，皮实耐操。 简介 Datax-web基于datax，增加了we 阅读全文
摘要：
1.用DataGrip连接MySQL数据库（我这里演示的是DataGrip连接的虚拟机centos7.9中的MySQL数据库） # 做一个手机商城数据表 create table shop( id int primary key auto_increment, # 手机编号 name varchar 阅读全文
摘要：
DELIMITER $$ CREATE FUNCTION `to_date`(in_str varchar(50), in_format varchar(50)) RETURNS datetime DETERMINISTIC BEGIN DECLARE my_format varchar(50); 阅读全文
摘要：
今天项目的两个地图数据有问题，经检查是由于数据重复造成的，需要去重，解决问题后把使用的相关函数汇总一下 group by是分组函数，partition by是分区函数（像sum()等是聚合函数），注意区分。 用法： OVER(PARTITION BY… ORDER BY…) 比如例子中的，我创建了八 阅读全文
摘要：
一、使用场景描述： 用户有一台控制器的三个组件需要进行端口监控，控制器主机因为跟办公网络未在同一个网络区域，因此不能使用ssh进行直连进行监控。客户现场环境如下（见下图）： 【1】办公区域网络与用户区的一台跳板机网络互通 【2】用户区跳板机能ssh登录DMZ区一台测试主机 【3】DMZ测试主机能ss 阅读全文
摘要：
前言 如果mysql数据库系统自带的mysql数据库被误删了，应该如何恢复？其实操作方法比较简答，今天用实验的方式分享一下 1、实验环境信息 实验环境信息： mysql版本 5.7.27 实验系统 centos 7.9.2009 mysql basedir /data/mysql mysql dat 阅读全文