ETL Testing – Introduction

数据仓系统中的数据是用ETL(Extract、trans、Load)工具装载的。 如名称所示,它开展以下三项行动:

摘录贵国作为Oracle、Microsoft或任何其他关系数据库的交易系统的数据,

通过开展数据清理行动来改变数据,然后进行数据清理。

将数据输入法律事务厅数据库仓库。

也可以利用电子设备工具,从电子表格和CSV文档等固定文档中提取数据,并将数据输入法律厅的数据仓库,以供数据分析和报告。 让我们树立一个更好理解的榜样。

Example

让我们假设有一个制造业公司,有多个部门,如销售、人力资源、材料管理、欧洲商品交易所等。 所有这些部门都有单独的数据库,它们用来维护自己的工作,每个数据库都有不同的技术、景观、表格名称、栏目等。 现在,如果公司想分析历史数据并生成报告,则应从这些数据来源提取所有数据并将其输入数据仓库,以将其用于分析工作。

一种ETL工具从所有这些不同数据来源提取数据,将数据(如应用计算、合并田、钥匙、去除不正确的数据领域等)转换成数据仓库。 之后,你可以使用各种商业情报工具,利用这些数据生成有意义的报告、仪表板和图像。

Difference between ETL and BI Tools

用于从不同数据来源提取数据、改变数据并将其输入数据系统;然而,使用数据表工具为终端用户、高级管理人员仪表板、每月、季度和年度委员会会议制作互动和临时报告。

最常见的电子设备工具包括SAP BO数据服务、Informatica - Power Center、Microsoft - SSIS、Oracle Data Integrator ODI、Talend 开放式演播室、Lover ETL 公开来源等。

一些受欢迎的BI工具包括SAP Business Object、SAP Lumira、IBM Cognos、JasperSoft、Microsoft BI平台、表U、Oracle Business Intelpgence Business Edition等。

ETL Process

我们现在要更详细地讨论电子金融程序所涉及的关键步骤——

Extracting the Data

它涉及从不同种类的数据来源提取数据。 从交易系统中提取的数据根据要求和所使用的ETL工具而有所不同。 通常通过在非营业时间从事预定工作,如在夜间或周末从事工作。

Transforming the Data

它涉及将数据转换成一种可轻易装入DW系统的合适格式。 数据转换涉及计算、合并和确定数据上的主要和外国钥匙。 例如,如果你想要占全部收入的%,则在转换和装载数据时将采用百分比公式。 同样,如果您在不同的栏目中拥有第一名用户和最后一名用户,那么,在装上数据之前,你可以进行压缩操作。 有些数据不需要任何改动;这种数据称为 直接移动或通过数据通过。

数据转化还涉及数据校正和数据清洗、消除不正确数据、数据编造不完整以及确定数据错误。 还包括数据的完整性和在将数据输入DW系统之前对不兼容的数据进行格式化。

Loading the Data into a DW System

它涉及将数据输入DW系统,用于分析报告和资料。 指标系统可以是简便的固定文档或数据仓库。

ETL Tool Function

一个典型的ETL基于工具的数据仓库利用中转区、数据整合和接入层来履行职能。 它通常是一个3层建筑。

循环层或循环数据库用于储存从不同来源数据系统提取的数据。

。 集成层将数据从中层转换成数据库,将数据整理成等级组,通常称为dimensions,并改为facts和ggregate Fact。 DW系统中的事实和内容表合在一起,称为schema。

终端用户利用接入层检索数据,用于分析报告和信息。

以下说明三层相互交流的情况。