摘要:
Page Cache 由内存中的物理page组成,其内容对应磁盘上的block。 page cache的大小是动态变化的。 backing store: cache缓存的存储设备 一个page通常包含多个block, 而block不一定是连续的。 读Cache 当内核发起一个读请求时, 先会检查请求 阅读全文
摘要:
功能描述 mmap(memory map) 将一个文件或其他对象映射进内存。 文件被映射到多个page上, 若文件的大小不是所有page的大小之和, 最后一个page不被使用的空间将会被清零。 mummap(memory unmap) 删除特定地址区域的对象映射。 在mmap和munmap执行过程的 阅读全文
摘要:
简介 Shenandoah GC 与 ZGC 同为新一代的低延迟收集器, 分别由RedHat和Oracle开发, 目前还在实验阶段, 尚未使用于生产环境。 GC的三项指标: Footprint(内存占用), Throughput(吞吐量) 与 Latency(延迟), 有点像CAP理论, 三者只能取 阅读全文
摘要:
简介 正则表达式的应用场景还是挺广的, 从前端的校验验证(用户名, 密码, 邮箱格式......) 到Oracle, MySQL, SQL Server, PostgreSQL等关系型数据库以及Elasticsearch(6,4版本后正则过长好像会停止匹配), Hive, Spark等开源框架中都有 阅读全文
摘要:
简介 InfluxDB是由InfluxData开发的开源时序型数据库。 由Go语言所写, 运维部署比较方便。 着力于高性能地查询与存储时序型数据。 被广泛应用于存储系统的监控系统, IoT行业的实时数据等场景。 对比关系型数据库(MySQL) | 概念 | InfluxDB | MySQL | | 阅读全文
摘要:
在家闲着没事干, 写个简单的疫情数据处理Demo, 顺便回顾下SparkSQL。 模拟数据(以下数据皆为虚构, 如有雷同不胜荣幸) 市民信息(civic_info.csv) 票务信息(简化为仅高铁, ticket_info.csv) 需要导入的Maven坐标 先测试一下读取csv文件 然后直接干业务 阅读全文
摘要:
简介 字面上的意思: 可循环利用的屏障。 作用: 让所有线程都等待完成后再继续下一步行动。 举例模拟: 吃饭人没到齐不准动筷。 使用Demo 私有静态内部类 Generation(代) 属性 构造器 await(long timeout, TimeUnit unit) dowait(boolean 阅读全文
摘要:
什么是存储过程? 存储过程就是作为可执行对象存放在数据库中的一个或多个SQL命令。 简化: 能完成一定操作的一组SQL语句。 存储过程的优点 存储过程只在创造时进行编译, 之后每次执行存储过程都不需要再重新编译, 而一般SQL语句每执行一次就编译一次, 所以使用存储过程可提高数据执行速度。 当对数据 阅读全文
摘要:
上接: Ubuntu18.04 ElasticSearch7.3.2集群搭建 上传二进制包解压到指定目录, 修改目录名 集成比较简单, 主要就是修改kibana.yml配置文件 vim /opt/ronnie/config/kibana.yml 修改权限 启动elasticsearch(非root用 阅读全文
摘要:
Greenplum能做什么? 数仓 / OLAP / 即席查询 混合负载 / HTAP 流数据 集成数据分析 数据库内嵌机器学习 现代 SQL 核心架构 架构图 Master Host: 主节点, 负责协调整个集群 没有数据, 只有用户的元数据 Standby Master: 备份主 Segment 阅读全文