摘要: 问题描述 问题:ETL中写入数据到Clickhouse抛出 Code: 27. DB::ParsingException: Cannot parse input 问题原因: 目标字段的长度和精度不足以容纳源字段 问题解决方法: 案例1: 源是timestamp,目标是datetime 修改结果: 创 阅读全文
posted @ 2024-08-19 13:11 Trouvaille_fighting 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 1. 基本步骤 自定义采集步骤 打开网页 建立列表循环 采集所需字段 建立翻页循环 获取爬取的字段信息 2. Xpath 安装及使用 2.1 基本概念 标签: 属性: 属性值: 文本: 常见的HTML标签: /和//的区别 2.2 函数 每个Xpath函数有它的固定的写法,必须遵循它的写法,否则可能 阅读全文
posted @ 2024-08-07 17:15 Trouvaille_fighting 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 如何处理json格式的数据 1. 主要处理三类数据 带有json格式的数据 形式:[{key:value}] 提取:文字、图片链接、文档链接 [{"content":"点击“产品开发库”,右上角“展开筛选”,按条件筛选流程信息。","type":"text"},{"content":"\n","ty 阅读全文
posted @ 2024-07-23 11:51 Trouvaille_fighting 阅读(33) 评论(0) 推荐(0) 编辑
摘要: https://www.bilibili.com/video/BV1og4y1q7M4/?p=2&spm_id_from=pageDriver&vd_source=773e87775bd767edb625b7665f58e881 一、Docker概述 1. Docker为什么出现 问题: 多个运行环 阅读全文
posted @ 2024-06-15 13:28 Trouvaille_fighting 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 4.1 创建数据库 comment :注释 location:创建地址 4.2 查询数据库 4.2.1 显示数据库 4.2.2 查看数据库详情 4.2.3 切换当前数据库 4.3 修改数据库 4.4 删除数据库 4.5 创建表 阅读全文
posted @ 2024-04-07 16:58 Trouvaille_fighting 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 1.1 什么是Hive hive简介 Hive:由facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL的查询功能。 2) Hive本质:将HQL转化成MapReduce程序。 3) Hive的三个 阅读全文
posted @ 2024-03-27 23:18 Trouvaille_fighting 阅读(11) 评论(0) 推荐(0) 编辑
摘要: https://www.bilibili.com/video/BV1VF411E7wW/?p=2&spm_id_from=pageDriver&vd_source=773e87775bd767edb625b7665f58e881 一、什么是测试用例 H模型 测试准备阶段就是编写测试用例的过程。 二、 阅读全文
posted @ 2024-02-20 14:33 Trouvaille_fighting 阅读(81) 评论(0) 推荐(0) 编辑
摘要: https://www.bilibili.com/video/BV1L54y1L7en/?spm_id_from=333.337.search-card.all.click&vd_source=773e87775bd767edb625b7665f58e881 一、等价类划分法 1. 适用范围 单个输 阅读全文
posted @ 2024-02-20 11:49 Trouvaille_fighting 阅读(63) 评论(0) 推荐(0) 编辑
摘要: 一、前言 1.数据测试是什么 数据测试是通过各类方式、方法对数据中台各个阶段的产出进行检查、核对、验证并输出结果的过程。 2. 为什么要做数据测试 通过过程管理和过程物的输出,使项目能够正常进行交付。 提前发现开发bug,减少bug率,提高数据的正确性。 通过过程中发现的数据问题,促进客户优化业务和 阅读全文
posted @ 2024-02-19 14:57 Trouvaille_fighting 阅读(1356) 评论(0) 推荐(0) 编辑
摘要: 一、模板参数实现报表查询 https://help.fanruan.com/finereport/doc-view-157.html?source=0&from=base 二、数据集参数实现报表查询 https://help.fanruan.com/finereport/doc-view-158.h 阅读全文
posted @ 2024-01-16 23:16 Trouvaille_fighting 阅读(6) 评论(0) 推荐(0) 编辑