原文链接：https://cloud.tencent.com/developer/article/2167527 【作者介绍】王磊，阿里云 MVP，华院计算技术总监。 著有：《图解 Spark 大数据快速分析实战》；《offer 来了：Java 面试核心知识点精讲（原理篇）》；《offer 来了：J Read More
随着时间的推移，要装的东西越来越多，加上之前创建虚拟机的时候没有太过关注磁盘资源分配，导致资源利用率地下。今天就来实现下磁盘扩容 进行操作前请对相关重要数据进行备份或者拍张快照 处理 /sda3 空间不足问题 扩容前 可以看到这块磁盘的使用率已经达到 98% 了，现在就是要对这块磁盘进行扩容。 首先 Read More
Spark批处理小文件合并 /** * * @param sparkSession * @param absDir 要进行小文件合并的路径 * @param partitionSize 分块的大小（一般 128 ，即 128M ） * @param isDeleteBak 是否删除备份路径数据，1： Read More
SQLAlchemy 2.0 版本检查 import sqlalchemy sqlalchemy.__version__ 建立连接-engine 任何 SQLAlchemy 应用程序的开始都是一个称为Engine的对象。此对象充当连接到特定数据库的中心源，既提供一个工厂，又提供一个称为 连接池 的存 Read More
Spark算子是分为行动子算子和转换算子的，只有遇到行动算子，计算任务才会生成一个Job任务，当算子行动算子多起来，并且交织复杂的时候，Spark去追溯数据血缘就会比较耗时了，通常我们都会直接通过persist算子存储中间的计算结果，减少数据的重复计算。 // 存储中间计算结果，避免Spark重复计 Read More
数据导入 导入（Load）功能就是将用户的原始数据导入到 Doris 中。导入成功后，用户即可通过 Mysql 客户端查询数据。为适配不同的数据导入需求，Doris 系统提供了 6 种不同的导入方式(Broker、Stream、Insert、Multi、Routine、S3)。每种导入方式支持不同的 Read More
Doris 一款现代化的MPP分析性数据库产品 支持亚秒级响应 支持10PB以上数据集 兼容MySQL协议 基础概念 doris有3种基础表： 明细表(Duplicate)：一张普普通通的表，doris默认表模式，支持数据预排序 主键表(Unique)：一种特殊的聚合表，如果主键重复，会自动更新其他 Read More
目录ES索引数据迁移、分片数优化（reindex）业务背景步骤新建索引将原索引数据复制到新索引中校验结果删除原索引给新索引起别名创建新索引的metric脚本整合使用感受 ES索引数据迁移、分片数优化（reindex） Elasticsearch是⼀个实时的分布式搜索引擎，为⽤户提供搜索服务。当我 Read More
目录查询所有metric查询metric信息查询索引信息metric数据查询metric数据条件查询,查询条件适配ES原生查询条件metric数据量查询metric类SQL查询创建metric数据写入批量数据写入删除metric删除子表（索引）删除metric数据查询分片数据查询index查询集群状 Read More
目录Scrapy什么是scrapy创建爬虫项目制作爬虫步骤创建爬虫文件执行爬虫文件response的数据和方法Scrapy shellScrapy架构组成即工作原理（重要）架构组成工作原理SpidersSpiders 返回Itemsspiders返回Requests开始scrapy爬虫1. 创建爬虫 Read More