ETL工作流活动优先级的确定及并行实现(2)

工作流技术介绍

执行ＥＴＬ工作流中的活动，通过比较这两种方法的时间效率，证明所提出算法的有效性。

１　ＥＴＬ工作流模型

在ＥＴＬ流程设计中，首先应该根据业务需求和相关数据源的结构建立概念模型，确定源数据库与目标数据库之间的映射关系，然后根据概念模型建立逻辑模型。１畅１　ＥＴＬ概念模型

概念建模是整个ＥＴＬ流程设计的最初阶段，在这个阶段，ＥＴＬ数据源的结构及其内容

流程设计者的主要任务是搜集用户的需求［２］

，确定抽取操作所使用的数据源，然后分析相关。

ＥＴＬ之间的映射关系概念模型主要是建立数据源与数据仓库的模式或者属性，以及在映射过程所需要的转换和清洗操作。下面给出在本文中使用的几个ＥＴＬ概念模型基本元素的

定义：

转换（ｔｒａｎｓｆｏｒｍ）　是从数据源到目标数据仓库属性映射过程中对数据进行必要的转换、清洗操作。它包括了数据清洗／过滤操作与模式转换操作。

约束（ＥＴＬｃｏｎｓｔｒａｉｎ）　对数据集合中的数据必须满足的某些条件进行建模的结果。

数据供应关系（ｐｒｏｖｉｄｅｒｒｅｌａｔｉｏｎｓｈｉｐ）　定义从数据源到目标数据仓库的属性之间的映射关系，以及中间可选的相关转换。

下面以一个例子来说明ＥＴＬ流程的概念建模。一家电子商务跨国企业，需要从中国和美国两个分公司的数据库抽取注册用户的信息到集中的数据仓库中进行分析，假设数据源和数据仓库中的模式如下：

ＳＳ１．Ｓ１．ｃｕｓｔｏｍｅｒｃｉｔｙ（ｃｉｔｙＩＤ（ｃｕｓｔｏｍｅｒＩＤ，ｃｉｔｙＮａｍｅ，，ｎａｍｅｃｏｕｎｔｒｙＮａｍｅ，ｃｉｔｙＩＤ，）

ｅｍａｉｌ，ｄａｔｅ）ＤＷ２．ｃｕｓｔｏｍｅｒ．ｃｕｓｔｏｍｅｒ（ｎａｍｅ（ｃｕｓｔｏｍｅｒＩＤ，ｃｏｕｎｔｒｙＮａｍｅ，ｎａｍｅ，，ｃｏｕｎｔｒｙＮａｍｅｃｉｔｙＮａｍｅ，ｅｍａｉｌ，ｃｉｔｙＮａｍｅ，ｄａｔｅ）

，ｅｍａｉｌ，ｄａｔｅ）

对于这个ＥＴＬ场景，可以建立如图１所示的概念模型。

其中：Ｓ１和Ｓ２表示数据源中的表，ＤＳＡ表示中间数据库，ＤＷ表示目标数据仓库。

在上面这个例子中，为了保证目标数据仓库中数据的完整性，需要从Ｓ１和Ｓ２两个数据源抽取数据，对它们执行并（ｕｎｉｏｎ）操作。为了与数据仓库中事实表的模式一致，必须对Ｓｄａｔｅ１中的属性的数据从北美的日期格式ｃｕｓｔｏｍｅｒ表和ｃｉｔｙ表执行外连接，而且还要将Ｓ２中的日期格式（ｙｙｙｙ／ｍｍ／ｄｄ），还需要根据（ｍｍ／ｄｄＳ２／的其他属性组合ｙｙｙｙ）转换成中国

（ｎａｍｅ、ｅｍａｉｌ）为Ｓ２表计算生成一个主键。其中，并运算、外连接运算以及日期转换属于概念模型中的转换（ｔｒａｎｓｆｏｒｍ），其他的操作如ＰＫ、ＳＫ则属于约束（ＥＴＬｃｏｎｓｔｒａｉｎ）。１畅２　ＥＴＬＥＴＬ概念模型并不是一个完整的工作流模型

逻辑模型

［７］

，它定义了

数据源与目标数据仓库属性之间的映射关系以及中间必要的转换，但并不关注转换的语义以及执行顺序。

在逻辑建模阶段ＥＴＬ流程的逻辑模型是一个以数据为中心的工作流模型，ＥＴＬ流程的设计者需要明确定义数据流所经，

过的各个活动的操作语义，并确定整个流程中各个活动的执行

顺序。

活动（ａｃｔｉｖｉｔｙ）是ＥＴＬ工作流的基本执行单元，是ＥＴＬ逻辑模型中一个重要元素。它定义了输入数据模式、输出数据模式、活动的操作语义以及活动的执行优先级。活动的操作语义定义了活动对输入数据所执行的操作，以及输入数据模式到输出数据模式之间的映射关系，可以使用ＳＱＬ语言或者其他的形式化语言对语义进行描述，也可以使用ＥＴＬ工具箱中的操作组件和相应的运行时参数进行表示。在一个ＥＴＬ流程中，必须明确规定每一个活动的执行优先级，ＥＴＬ流程中的任意两个活动，如果存在依赖关系，即一个活动的输入模式依赖于另一个活动的输出模式（不一定是相邻活动），那么，这两个活动构成严格偏序关系，可以确定其执行的先后顺序。一般情况下，在一个ＥＴＬ流程中，抽取操作（ｅｘｔｒａｃｔ）总是最先执行，加载操作（ｌｏａｄ）最后执行。

约束，ＥＴＬ但它提供了更详细的运行时信息逻辑模型中的活动对应于ＥＴＬ。概念模型中的转换或每一个活动都必须定

义明确的操作语义，还必须规定每一个活动的执行优先级。本文的第３章将给出一个算法，阐述如何在一个ＥＴＬ工作流中计算每个活动的执行优先级。

对于１．１节所举的例子，图２是它所对应的逻辑模型图，图中主要表示了活动的语义以及执行优先级，对于比较明显的语义没有标出。

２　ＥＴＬ活动优先级的确定及并行执行

在ＥＴＬ逻辑模型中，必须确定每一个活动的执行优先级，以确定整个ＥＴＬ工作流的执行顺序。在确定了执行的优先级之后，可对相互之间没有依赖关系的活动并行执行，以提高整

个ＥＴＬ工作流的执行效率。２畅１　确定ＥＴＬ工作流活动优先级

下面首先阐述确定活动执行优先级的算法思想，然后使用伪码对算法进行形式化描述：

在ＥＴＬ逻辑模型中，可能会存在多个数据供应关系，每一个数据供应关系都是以抽取操作开始，以加载操作结束的。在