摘要：大数据测试过程中我们需要根据测试用例和场景准备不同类型的测试数据。 在准备测试数据时可用的方法如下 1）基于GUI构造数据 基于真实业务流程构造数据，最大程度的保证了数据的完整性和正确性。 2）使用批量生成数据工具构造数据 需构造海量数据，可用成熟工具构造，sql developer 和toad等 阅读全文

摘要：etl数据转换是否正确决定转换后的数据是否可以使用目标系统。可以通过白盒或者黑盒测试对数据转换进行测试。 白盒测试 白盒测试主要检查程序结构并从程序逻辑和代码中获取测试数据。对于转换测试，涉及检查映射设计文档和etl代码中的转换逻辑。 测试步骤 1）查看源到目标映射设计文档来了解转换设计 2）使用s 阅读全文

摘要：什么是大数据测试 大数据测试通常是指对采用大数据技术的系统或应用的测试。大数据测试可以分为两个维度，一个维度是数据测试，另一个维度是大数据系统测试和大数据应用产品测试。 数据测试： 主要关注数据的完整性、准确性和一致性等。 大数据系统测试和大数据应用产品测试： 这里的大数据系统一般是指使用hadoo 阅读全文

摘要：一个完整的大数据项目架构可以分为数据采集层，数据存储层，数据计算层，数据接入层和数据应用层、基础服务层 。 根据大数据项目的分层架构的自底向上的顺序（数据流转顺序），应该关注：数据的采集与存储、大数据计算、大数据监控。 与传统项目开发相比，大数据项目开发具有如下特点 1）数据量大。带来的问题就是资源 阅读全文

摘要：大数据技术 大数据主要涉及到数据的采集、存储、计算和分析、以及管理调度。 数据的采集 数据存储 数据管理调度 数据计算和分析 大数据技术涉及：数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。 对于大数据技术，应用广泛的是以hadoop和spark为核心的生态系统。h 阅读全文

摘要：数据作为大数据系统的核心，需要进行监控，合理的监控与报警策略不但可以帮助我们快速发现和定位故障，而且还可以智能化的预测可能发生的问题。我们可以根据业务的规则制定重点的监控指标，保证数据具备高质量。 在大数据的监控中，对数据质量进行监控是最为直接的。因为从数据使用者的角度来说，高质量的数据是指能够充分 阅读全文

摘要：什么是数据仓库 数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Inte 阅读全文