随笔分类 -  Database/Big Data

存储, 数据库, 大数据等
PostgreSQL 读取表主键和唯一键的SQL
摘要:给定表名, 读取对应的约束字段(主键, 唯一键), 按MySQL的格式输出表结构描述 阅读全文

posted @ 2024-08-11 09:52 Milton 阅读(107) 评论(0) 推荐(0) 编辑

MySQL重置root口令
摘要:在配置文件中修改 [mysqld] 的配置, 在下面增加skip-grant-tables 对应Ubuntu20.04, 路径是 /etc/mysql/mysql.conf.d/mysqld.cnf [mysqld] skip-grant-tables 然后重启 mysql , 就可以不需要口令直接 阅读全文

posted @ 2024-08-11 09:49 Milton 阅读(11) 评论(0) 推荐(0) 编辑

Centos 7 通过 targz 文件安装 Elastic Search 服务
摘要:区别于通过发行版自带的仓库, 介绍如何通过 targz 文件安装 Elastic Search 服务, 使用的 Linux 为 Centos 7 阅读全文

posted @ 2023-06-08 18:21 Milton 阅读(374) 评论(0) 推荐(0) 编辑

ClickHouse笔记: Ubuntu/Centos下的安装, 配置和用户管理
摘要:ClickHouse 属于 OLAP 数据库, 与 OLTP (Transaction Process) 相比, 注重数据分析, 重点在查询的性能. 在业务系统中, 往往使用 OLTP 数据库做业务数据存储, 用 OLAP 数据库做查询分析, 在一些场景下ClickHouse可以取代ES(ElasticSearch)作为查询引擎 阅读全文

posted @ 2023-05-15 22:04 Milton 阅读(976) 评论(0) 推荐(0) 编辑

PostgreSQL(02): PostgreSQL常用命令
摘要:目录 PostgreSQL(01): Ubuntu20.04/22.04 PostgreSQL 安装配置记录 PostgreSQL(02): PostgreSQL常用命令 PostgreSQL 常用命令 满足验证条件的用户, 可以用psql命令进入pg的命令行交互模式 用户管理相关 查看用户列表 \ 阅读全文

posted @ 2023-01-06 17:03 Milton 阅读(632) 评论(0) 推荐(1) 编辑

Nebula Graph介绍和SpringBoot环境连接和查询
摘要:当前Nebula Graph的最新版本是3.2.1, Nebula Graph 的一些特点 1. 支持分布式. 相对于Neo4j, TigerGraph这些图数据库, Nebula 是面向分布式设计的, 因此对集群的支持比较完备, 在规模上上限要高很多. 在实际项目中存储了180亿的点边, 这个数量对于Neo4j和TigerGraph是比较困难的. 1. 支持图空间. 各个图空间的ID是互不干扰的, 但是在同一个图空间里ID的类型和长度必须一致. 注意这个一致约束的是所有的点和边. Nebula 可以使用int64作为ID, 也可以用字符串, 但是字符串需要指定一个长度, 例如64个字节. 相对于只能用长整数的Neo4j, ID设计上更自由灵活. 阅读全文

posted @ 2022-10-12 12:11 Milton 阅读(1490) 评论(0) 推荐(0) 编辑

Ubuntu20.04和22.04离线安装PostgreSQL14
摘要:今天安装 Postgresql14 遇到一个问题, 目标服务器只有内网, 内网提供标准的apt仓库, 但是因为不能连接外网, 所以没法添加第三方仓库, pg的官网只提供仓库和源码两种方式, 因此不能访问外网时, 貌似只有源码编译这条路. 因为源码编译费时费力并且安装阶段需要自行配置, 容易出错. 对于机器上只需要安装一个实例的场景, 能用仓库还是用仓库. 如果还有一台安装了同样发行版, 并且可以上网的机器, 可以通过这台机器将离线安装包下载下来, 再传到目标机器上安装. 下载离线安装包和中转机器是否已经安装此软件无关, 即使已经安装, 也可以下载 阅读全文

posted @ 2022-10-08 12:29 Milton 阅读(1966) 评论(0) 推荐(0) 编辑

PostgreSQL的查询技巧: 零除, GENERATED STORED, COUNT DISTINCT, JOIN和数组LIKE
摘要:零除的处理 用NULLIF(col, 0)可以避免复杂的WHEN...CASE判断, 例如 ROUND(COUNT(view_50.amount_in)::NUMERIC / NULLIF(COUNT(view_50.amount_out)::NUMERIC, 0),2) AS out_divide 阅读全文

posted @ 2022-07-09 10:29 Milton 阅读(1072) 评论(0) 推荐(0) 编辑

PostgreSQL 的窗口函数 OVER, WINDOW, PARTITION BY, RANGE
摘要:最近在数据处理中用到了窗函数, 把使用方法记录一下, 暂时只有分组排序和滑动时间窗口的例子, 以后再逐步添加. 在SQL查询时, 会遇到有两类需要分组统计的场景, 在之前的SQL语法中是不方便实现的. 使用窗函数直接SQL中使用窗函数就能解决这些问题, 否则需要使用临时表, 函数或存储过程进行处理. PostgreSQL 从2010年的版本8开始就支持窗函数了. 综合的说, 窗口函数就是在行的基础上, 允许对多行数据进行计算. 下面是一个简单的窗函数例子 阅读全文

posted @ 2022-05-27 11:37 Milton 阅读(3139) 评论(0) 推荐(0) 编辑

商业智能中的决策, 数据和数据处理方法
摘要:商业智能(BI)作为高价值服务, 自20世纪60年代计算机出现时就已经存在, 当时主要的用户是大型企业和政府部门, 经过半个世纪的发展, 商业智能已经成为中小企业的必备技能. 使用BI, 企业可以从实际数据中提取关键事实, 将其转化为决策的依据. 是否高效地使用商业智能和分析, 是现代环境中成功的关键. 本文说明了BI系统中决策的类型, 数据对决策的重要性, 数据的类型, 以及最重要的 -- 在BI系统中如何进行数据处理 阅读全文

posted @ 2022-05-22 14:32 Milton 阅读(925) 评论(0) 推荐(1) 编辑

数据类产品设计和实现思路
摘要:声明 个人原创, 转载需注明来源 https://www.cnblogs.com/milton/p/16216347.html 数据类产品 对数据类产品(或服务)的需求是信息化发展到一定阶段的必然产物, 在信息化时代, 现实世界的大部分活动都已经(或即将)被投射成数据, 在这个大背景下, 数据产品的 阅读全文

posted @ 2022-05-02 21:20 Milton 阅读(956) 评论(0) 推荐(1) 编辑

Neo4j数据和Cypher查询语法笔记
摘要:Cypher数据结构 Cypher的数据结构: 属性类型, 复合类型和结构类型 属性类型 属性类型 Integer Float String: 'Hello', "World" Boolean: true, false, TRUE, FALSE 结构类型 结构类型 node: 表示一个节点, 由 i 阅读全文

posted @ 2022-05-02 12:19 Milton 阅读(1911) 评论(0) 推荐(0) 编辑

SAS (Statistics Analysis System) 统计分析系统软件
摘要:SAS (Statistical Analysis System) 是一个统计软件系统,由 SAS Institute 开发, 用于数据管理、高级分析、多元分析、商业智能、刑事调查和预测分析. SAS 由北卡罗来纳州立大学在1966至1976年之间开发, 并于1976年成立了SAS软件研究所. 1980年代和1990年代得到进一步发展, 增加了新的统计程序和额外的组件并引入了JMP. 在2004年的版本9 中增加了点击式图形交互界面. 2010年增加了社交媒体分析产品. 阅读全文

posted @ 2022-04-30 17:02 Milton 阅读(3431) 评论(0) 推荐(0) 编辑

Quantexa CDI(场景决策智能)Syneo平台介绍
摘要:Quantexa CDI(场景决策智能)Syneo平台介绍Quantexa 服务特色是场景决策智能CDI(contextual decision intelligence) 主要落地场景是金融以及涉及交易的各类机构的反洗钱反金融诈骗, 客户画像, 风控 解决的问题是监管合规, 降低误判率, 提高准确率, 降成本, 提高行业竞争力 面向的主要客户是银行, 保险, 支付机构, 运营商(CSP)和政府机构. 已知的客户汇丰银行, 渣打银行, 丹斯克银行(丹麦), 纽约&梅隆银行, OFX澳洲跨境支付机构 阅读全文

posted @ 2022-04-23 18:08 Milton 阅读(904) 评论(0) 推荐(0) 编辑

PostgreSQL 的字段类型和表操作笔记
摘要:PostgreSQL 的 Table 相关笔记 字段类型 数值类型 Name Storage Size Description Range smallint 2 bytes small-range integer -32768 to +32767 integer 4 bytes typical ch 阅读全文

posted @ 2022-03-05 23:28 Milton 阅读(1423) 评论(0) 推荐(0) 编辑

PostgreSQL(01): Ubuntu20.04/22.04 PostgreSQL 安装配置记录
摘要:Ubuntu20.04 PostgreSQL安装记录, 主配置文件说明, 基于主机的认证配置, 客户端认证由配置文件控制, 通常为名为 pg_hba.conf 的文件, 存储在集群的数据目录(HBA 代表 host-based authentication 的缩写). 当数据目录初始化时, 会生成一个默认的 pg_hba.conf 文件. 可以通过修改主配置文件, 将文件放到其他路径. 阅读全文

posted @ 2022-02-15 21:01 Milton 阅读(2671) 评论(0) 推荐(0) 编辑

MySQL专题2: 事务和锁
摘要:合集目录 MySQL专题2: 事务和锁 说说数据库事务特性及存在的问题 这属于数据库事务的基础概念了, 就是ACID Atomicity, 原子性, 事务包含的所有操作要么全部成功, 要么全部失败回滚. Consistency, 一致性, 事务执行前后, 数据库的数据要保持一致性. Isolatio 阅读全文

posted @ 2022-01-30 17:59 Milton 阅读(150) 评论(0) 推荐(0) 编辑

MySQL专题1: 字段和索引
摘要:架构师专题的数据库和存储部分, MySQL的字段和索引问题合集. Float、Decimal 存储金额的区别? Datetime、Timestamp 存储时间的区别? CHAR, VARCHAR, BINARY, VARBINARY 存储字符的区别? MySQL 有哪些存储引擎? 都有什么区别? MySQL 几种存储引擎的应用场景? MySQL索引类型有? 对比一下B+树索引和 Hash索引 聚簇索引和非聚簇索引的区别? 非聚集索引中的聚集索引键 B+tree 如何进行优化? 索引遵循哪些原则? 还有什么其他的索引类型, 各自索引有哪些优缺点? 如何管理 MySQL索引? 对Explain 结果中参数的理解? 索引与锁有什么关系? 阅读全文

posted @ 2022-01-30 16:57 Milton 阅读(537) 评论(0) 推荐(0) 编辑

Centos8 安装 MySQL8.0.26
摘要:下载 访问 https://dev.mysql.com/downloads/mysql/ 选择 Red Hat Enterprise Linux / Oracle Linux 选择 Red Hat Enterprise Linux 8 / Oracle Linux (x86, 64-bit) 下载 阅读全文

posted @ 2021-10-17 22:37 Milton 阅读(1768) 评论(0) 推荐(0) 编辑

MySQL8.0使用mysqlsh配置主从复制 InnoDB ReplicaSet
摘要:InnoDB ReplicaSet InnoDB ReplicaSet 由一个主节点和多个从节点构成. 可以使用ReplicaSet对象和AdminAPI操作管理复制集, 例如检查InnoDB复制集的状态, 并在发生故障时手动故障转移到新的主服务器. 与InnoDB cluster类似, MySQL 阅读全文

posted @ 2021-10-17 18:06 Milton 阅读(654) 评论(0) 推荐(0) 编辑

导航