ETL Testing – Introduction

数据仓系统中的数据是用ETL(Extract、trans、Load)工具装载的。 如名称所示,它开展以下三项行动:

Extra your your your

通过开展数据清理行动来改变数据,然后进行数据清理。

将数据输入法律事务厅数据库仓库。

也可以利用电子设备工具,从电子表格和CSV文档等固定文档中提取数据,并将数据输入法律厅的数据仓库,以供数据分析和报告。 让我们树立一个更好理解的榜样。

Example

让我们假设有一个制造业公司,有多个部门,如销售、人力资源、材料管理、欧洲商品交易所等。 所有这些部门都有单独的数据库,它们用来维护自己的工作,每个数据库都有不同的技术、景观、表格名称、栏目等。 现在,如果公司想分析历史数据并生成报告,则应从这些数据来源提取所有数据并将其输入数据仓库,以将其用于分析工作。

一种ETL工具从所有这些不同数据来源提取数据,将数据(如应用计算、合并田、钥匙、去除不正确的数据领域等)转换成数据仓库。 之后,你可以使用各种商业情报工具,利用这些数据生成有意义的报告、仪表板和图像。

Difference between ETL and BI Tools

用于从不同数据来源提取数据、改变数据并将其输入数据系统;然而,使用数据表工具为终端用户、高级管理人员仪表板、每月、季度和年度委员会会议制作互动和临时报告。

最常见的电子设备工具包括SAP BO数据服务、Informatica - Power Center、Microsoft - SSIS、Oracle Data Integrator ODI、Talend 开放式演播室、Lover ETL 公开来源等。

一些受欢迎的BI工具包括SAP Business Object、SAP Lumira、IBM Cognos、JasperSoft、Microsoft BI平台、表U、Oracle Business Intelpgence Business Edition等。

ETL Process

我们现在要更详细地讨论电子金融程序所涉及的关键步骤——

Extracting the Data

它涉及从不同种类的数据来源提取数据。 从交易系统中提取的数据根据要求和所使用的ETL工具而有所不同。 通常通过在非营业时间从事预定工作,如在夜间或周末从事工作。

Transforming the Data

它涉及将数据转换成一种可轻易装入DW系统的合适格式。 数据转换涉及计算、合并和确定数据上的主要和外国钥匙。 例如,如果你想要占全部收入的%,则在转换和装载数据时将采用百分比公式。 同样,如果您在不同的栏目中拥有第一名用户和最后一名用户,那么,在装上数据之前,你可以进行压缩操作。 有些数据不需要任何改动;这种数据称为 直接移动或通过数据通过。

数据转化还涉及数据校正和数据清洗、消除不正确数据、数据编造不完整以及确定数据错误。 还包括数据的完整性和在将数据输入DW系统之前对不兼容的数据进行格式化。

Loading the Data into a DW System

它涉及将数据输入DW系统,用于分析报告和资料。 指标系统可以是简便的固定文档或数据仓库。

ETL Tool Function

一个典型的ETL基于工具的数据仓库利用中转区、数据整合和接入层来履行职能。 它通常是一个3层建筑。

循环层或循环数据库用于储存从不同来源数据系统提取的数据。

。 集成层将数据从中层转换成数据库,将数据整理成等级组,通常称为dimensions,并改为facts和ggregate Fact。 DW系统中的事实和内容表合在一起,称为schema。

终端用户利用接入层检索数据,用于分析报告和信息。

以下说明三层相互交流的情况。

ETL Testing - Tasks

在数据进入生产数据仓库系统之前,进行电子数据处理测试。 有时也称作 比例平衡或 生产调节。 数据库的测试范围与完成这项工作所需采取的步骤不同。

电子数据处理测试的主要目的是查明和减少数据缺陷和在分析报告处理数据之前发生的一般错误。

ETL Testing – Tasks to be Performed

这里是欧洲劳教测试所涉共同任务清单。

Understand the data to be used for reporting

Review the Data Model

Source to target mapping

Data checks on source data

Packages and schema vapdation

Data verification in the target system

Verification of data transformation calculations and aggregation rules

Sample data comparison between the source and the target system

Data integrity and quapty checks in the target system

Performance testing on data

ETL vs Database Testing

ETL测试和数据库测试都涉及数据验证,但并不相同。 通常在数据仓系统中进行电子数据处理测试,而在数据来自不同应用到交易数据库的交易系统中,通常进行数据库测试。

在这方面,我们强调了电子职业教育测试与数据库测试之间的重大差别。

ETL Testing

ETL测试涉及以下业务:

验证数据从源向目标系统流动的情况。

核查来源和指标系统的数据。

核实数据提取、按照要求和预期进行转化。

如果在转型期间保持表层关系——合点和钥匙——的话,则予以确认。

普通电子设备测试工具包括QuerySurge, Informatica等。

Database Testing

数据库测试更多地强调数据准确性、数据正确性和有效数值。 它涉及以下行动:

核实是否维持了初级和外国钥匙。

核实表中各栏是否有有效的数据价值。

核实各栏的数据准确性。 Example-月数栏的数值大于12。

核实栏目中缺失的数据。 如无一栏,实际上应具有有效价值。

共同数据库测试工具 ium,QTP等。

下表列出了数据库和电子计算法测试的主要特征及其比较。

ETL Testing – Categories

ETL 测试分类是根据测试和报告的目标进行的。 测试类别根据组织标准而有所不同,也取决于客户的要求。 一般来说,ETL测试是根据以下各点分类的:

。 它涉及对来源和目标系统中的记录进行对比。

。 它涉及源与目标系统之间的数据验证。 还包括数据整合和门槛值检查,以及目标系统中重复数据核对。

它确认对源头和目标系统的物体进行测绘。 还包括检查目标系统中的数据的功能。

它包括为最终用户编写报告,以核实报告中的数据是否按预期。 它涉及发现报告有出入,并在目标系统中对数据进行交叉核对,以证实报告。

它涉及确定目标系统中的数据ug和缺陷,并将报告再次用于数据验证。

它涉及测试所有单个系统,随后将结果结合起来,以便发现是否有任何偏离。 可以采用三种办法做到这一点:从上至下、从下至上和混合。

根据数据仓系统的结构,ETL测试(不论使用何种工具)可分为以下类别:

New DW System Testing

在这类测试中,已经建立并核实了一个新的DW系统。 数据投入来自客户/最终用户,也来自不同的数据来源,并创建了一个新的数据仓库。 之后,在新系统中,通过ETL工具对数据进行了核实。

Migration Testing

在移民测试中,客户拥有一个现有的数据仓库和ETL,但他们寻找新的ETL工具来提高效率。 它涉及利用现有系统的数据,使用新的电子设备工具。

Change Testing

在变化测试中,从不同数据来源向现有系统增加了新的数据。 客户也可以改变现有的电子计算法规则,也可以增加新的规则。

Report Testing

报告测试涉及编制数据验证报告。 报告是任何DW系统的最后产出。 报告依据的是报告的格式、数据以及计算值。

ETL Testing – Challenges

电子设备测试不同于数据库测试或任何其他常规测试。 在进行电子语言测试时,人们可能不得不面对不同类型的挑战。 在此,我们列举了一些共同的挑战:

ETL过程中的数据损失。

数据不准确、不完整或重复。

DW系统包含历史数据,因此数据量太大,极其复杂,无法在目标系统中进行电子计算。

通常没有向电子招聘考试测试员提供在电子招聘工具中看到工作时间表的机会。 他们几乎无法获得书目信息系统的报告工具,无法看到报告内的报告和数据的最后编排。

由于数据量太高和复杂,要生成和建造测试案例。

ETL检测器通常不了解最终用户报告要求和信息的商务流通。

职业电子培训测试涉及目标系统中各种复杂的数据验证概念。

有时,没有向测试者提供来源对目标测绘信息。

不稳定的测试环境推迟了进程的发展和试验。

ETL – Tester s Roles

一个电子计算法测试器主要负责验证数据来源、提取数据、应用转化逻辑和在目标表格中填充数据。

一个电子计算器的主要职责如下。

Verify the Tables in the Source System

它涉及以下行动:

Count check

Reconcile records with the source data

Data type check

Ensure no spam data loaded

Remove duppcate data

Check all the keys are in place

Apply Transformation Logic

Transformation logic is appped before loading the data. 它涉及以下行动:

例如,数据门槛确认检查的年龄价值不应超过100。

在适用转变逻辑之前和之后进行记录核对。

数据从中转区流向中间表格。

进行主要检查。

Data Loading

Data is loaded from the staging area to the target system. 它涉及以下行动:

从中间表格到目标系统的记录核对。

确保关键外地数据不缺失或没有数据。

如果总价值和计算措施在事实表格中填入,则进行检查。

根据目标表核对模型看法。

如果在增量负荷表上适用了电离层。

内容表和历史表核对数据。

根据装货表和尺寸表以及预期结果核对表。

Testing the ETL Tools

ETL testers are required to test the tools and the test-cases as well. 它涉及以下行动:

Test the ETL tool and its functions

Test the ETL Data Warehouse system

Create, design, and execute the test plans and test cases.

Test the flat file data transfers.

ETL Testing – Techniques

重要的是,在开始测试过程之前,你必须确定正确的电子计算法测试技术。 你们应当得到所有利益攸关方的接受,并确保选择一种正确的技术来进行电子语言测试。 这一技术应当为测试小组熟知,他们应当了解测试过程所涉及的步骤。

可以使用各种类型的检测技术。 在本章中,我们将简要讨论试验技术。

Production Vapdation Testing

为了进行分析性报告和分析,你的制作数据应当正确。 对转至生产系统的数据进行这一测试。 它涉及生产系统中的数据验证,并将其与源数据进行比较。

Source-to-target Count Testing

当检测员没有时间进行检测时,就进行这种测试。 它涉及核对来源和具体目标系统中的数据。 它没有涉及在目标系统中检查数据价值。 如果数据是在数据绘制之后输入或排出顺序,则数据也不涉及。

Source-to-target Data Testing

在这类测试中,测试者验证了从源到目标系统的数据价值。 它检查了源系统中的数据价值以及目标系统在转型后的相应数值。 这类测试耗费时间,通常在金融和银行项目中进行。

Data Integration / Threshold Value Vapdation Testing

在这类测试中,测试者验证了数据的范围。 指标系统中的所有门槛值如果按照预期结果加以核对。 它还涉及在转变和装载后将数据从多种来源系统纳入目标系统。

<>Example——年龄属性 在DD/MM/YY栏中,该月的实地值不超过12美元。

Apppcation Migration Testing

申请移民检测通常在从旧申请转到新的申请系统时自动进行。 这项测试节省了许多时间。 如果从旧申请中提取的数据与新应用系统的数据相同,则进行核对。

Data Check and Constraint Testing

其中包括进行各种检查,如数据类型检查、数据期限检查和指数检查。 在这里,一名测试工程师做了以下假设:初级关键、外国关键、NOT NUL、NUL和UNV Request。

Duppcate Data Check Testing

这项测试涉及对目标系统中的重复数据进行检查。 在目标系统中有大量数据的情况下,有可能出现生产系统中重复数据,从而导致分析报告中的数据不正确。

模仿的数值可与“K”等表相核对。

Select Cust_Id, Cust_NAME, Quantity, COUNT (*) 
FROM Customer
GROUP BY Cust_Id, Cust_NAME, Quantity HAVING COUNT (*) >1;

由于以下原因,指标系统中的数据重复出现:

If no primary key is defined, then duppcate values may come.

Due to incorrect mapping or environmental issues.

Manual errors while transferring data from the source to the target system.

Data Transformation Testing

数据转换测试并非通过单一数据表进行。 这耗费时间,涉及对每一行进行多重查询,以核实变革规则。 测试者需要为每一行提供地理坐标,然后将产出与目标数据进行比较。

Data Quapty Testing

数据质量测试包括进行数量检查、日期检查、取消检查、精确检查等。 测试员进行Syntax 测试,报告无效特性、不正确的上下级个案次序等;参考测试,以检查数据是否按照数据模型进行。

Incremental Testing

进行增量测试,以核实是否按预期结果执行插入和更新声明。 这项测试采用老数据和新数据进行。

Regression Testing

当我们修改数据转化和聚合规则,增加新的功能,帮助测试者发现新的错误时,即“回归测试”。 回归测试中的数据 b称为回归。

Retesting

在确定准则后进行测试时,要求重新测试。

System Integration Testing

系统整合测试涉及测试系统的各个组成部分,然后分别纳入模块。 可以通过三种方式实现系统整合:从上到下、自下而上和混合。

Navigation Testing

导航测试也称为测试系统前端。 它涉及最终用户通过检查前期报告的各个方面进行观察测试,包括各领域的数据、计算和汇总等。

ETL Testing – Process

ETL测试涵盖所有与ETL生命周期相关的步骤。 报告首先了解了编制摘要报告之前的业务要求。

低温电离层测试寿命的普通步骤如下:

理解业务要求。

对业务要求进行验证。

测试估算用于提供估计操作测试案例和完成总结报告的时间。

测试计划涉及根据业务要求根据投入寻找测试技术。

创建测试情景和测试案例。

试办案一旦准备好并获得批准,下一步就是进行执行前检查。

不包括所有测试案例。

最后一个步骤是编制一份完整的总结报告,提出结束程序。

ETL Testing – Scenarios

ETL 测试情景用于验证电子语言测试过程。 下表解释了电子计算器使用的一些最常见情景和测试案例。

ETL Testing – Performance

进行电子结算系统的性能调整是为了确保电子结算系统能够处理多个用户和交易的预期负荷。 业绩考核通常涉及电子通勤系统服务器方面的工作量。 该软件用于测试服务器在多用户环境中的反应,并找到瓶颈。 这些来源和指标系统、系统制图、会议管理等组合。

How to Perform ETL Testing Performance Tuning?

3. 跟踪以下步骤,以进行电子语言测试绩效考核:

<1>Step 1——确定生产中正在改变的负荷。

<2>Step 2——生成同一负荷的新数据,或从生产数据转到你的当地业绩服务器。

Step 3——在你产生所需装货之前,可处置电子提货。

从数据库表格中抽取所需数据。

Step 5- Notedown the finalître of ETL and can the ETL, so that it will have sufficientress to transform the allload caused. 送达

。

Key Performance Indicators

Find out the total time it took to transform the load.

Find out whether performance time has improved or dropped.

Check that the entire expected load got extracted and transferred.

ETL Testing – Scalabipty

ESTL测试的目标是取得可靠的数据。 可以通过使测试周期更加有效来实现数据可信性。

全面测试战略是建立有效的试验周期。 测试战略应涵盖电子金融过程各个阶段的测试规划,每次数据流动时,都说明每个利益攸关方的责任,例如工商分析员、基础设施小组、QA小组、德国航空局、开发商和商业用户。

为确保从所有方面进行检测,试验战略的重点应当是:

测试范围——描述测试技术和拟使用的类型。

建立试验环境。

测试数据提供情况 建议生产所有/关键业务要求的数据。

数据质量和业绩接受标准。

ETL Testing – Data Accuracy

在电子计算法测试中,如果数据按照预期准确输入目标系统,则使用数据准确性。 实现数据准确性的关键步骤如下:

Value Comparison

价值比较涉及将来源和目标系统的数据与最低或无变化进行比较。 可以通过各种电子计算法测试工具进行,例如,Informatica的“来源质量转变”。

在数据准确性测试中也可进行一些表述转变。 各种固定操作者可以在地理坐标表上用来核对源和目标系统的数据的准确性。 共同操作者是Minus和Intersection的操作者。 这些运营商的结果可视为目标系统和源系统的价值偏离。

Check Critical Data Columns

关键数据栏可通过比较来源和指标系统中的不同数值加以核对。 这里可以用来检查关键数据栏的样本查询。

SELECT cust_name, Order_Id, city, count(*) FROM customer 
GROUP BY cust_name, Order_Id, city;

ETL Testing – Metadata

核对元数据涉及验证源和目标表结构。 制图文件载有来源和指标栏、数据转换规则和数据类型、所有界定源表结构和指标系统的领域的详细情况。

Data Length Check

目标栏数据类型长度应等于或大于源栏数据类型。 让我们举一个例子。 附录中列有第一个名字和最后一个名字,每个数据长度的定义是50个特性。 然后,目标系统中全名栏的目标数据长度应至少为100或100。

Data Type Check

数据类型检查涉及核查源和指标数据类型,并确保数据类型相同。 在转变之后,目标数据类型有可能不同于源数据。 因此,也需要检查变革规则。

Constraint / Index Check

制约检查涉及根据设计规格文件核实指数值和制约因素。 不可能有“纳尔”价值的所有栏目不应有“纳尔”限制。 主要关键栏目按设计文件编制索引。

ETL Testing – Data Transformations

进行数据转换是一个细致的复杂因素,因为无法通过编写单一数据单,然后将产出与目标进行比较。 对于电子计算中心测试数据转变,你可能必须为每行写多份查询文件,以核实转换规则。

首先,确保源数据足以测试所有转变规则。 对数据转换进行成功的ETL测试的关键是从源系统收集正确和充分的样本数据,以适用转化规则。

低水平测试数据转变的关键步骤如下:

第一步是编制一份清单,列出投入数据的设想情景和预期成果,并将其与商业客户验证。 这是在设计期间收集要求的良好办法,也可用作测试的一部分。

下一步是建立包含所有假设情景的测试数据。 利用电子计算法开发商使全过程自动化,将数据集与假想电子表格相连接,以允许因情况可能发生变化而出现多变和流动。

其次,利用数据分析结果,比较每个领域目标与源数据之间的数值范围和提交情况。

验证电子计算法生成的田地的准确处理方式,例如代用钥匙。

仓库内的数据类型与数据模型或设计中规定的数据类型相同。

在测试参考性完整性的表格之间设定数据假设。

记录数据中父母与子女的关系。

最后一个步骤是履行.lookup transformation。 你的盘问应是直截了当的,不作任何汇总,预计每张源头只回一次。 你可以像先前的测试一样,直接参加来源资格审查表。 如果情况不如此,则请填写询问表,与来文方的主要表格合并,并将数据与目标相应栏目进行比较。

ETL Testing – Data Quapty

在ETL测试期间对数据质量进行检查,包括对目标系统负荷的数据进行质量检查。 它包括以下试验:

Number check

指标系统的数字格式应当相同。 例如,在源系统中,各栏的编号格式为x.30,但如果目标仅为30,则该栏必须装上目标栏号中的x.。

SELECT count (1) FROM employee; 
SELECT count (1) FROM emp_dim; 

SELECT city, count(*) FROM employee GROUP BY city; 
SELECT city_id, count(*) FROM emp_dim GROUP BY city_id;

SELECT first_name, last_name, date_of_joining, count (1) FROM employee
GROUP BY first_name, last_name HAVING count(1)>1;