Pular para o conteúdo principal

FunnelStageTransformer

Visão geral​

Converte estágios FUNNEL do DataStage em instruções SQL UNION ALL. Combina múltiplas entradas com esquemas idênticos em um único conjunto de dados de saída.

Tipo de estágio: FUNNEL (operador funnel) Saída: SQL UNION ALL

Recursos​

  • Combina 2 ou mais conjuntos de dados de entrada
  • UNION ALL (preserva duplicatas)
  • Filtragem de colunas pela cláusula keep
  • Preserva todas as linhas de todas as entradas
  • Pressupõe esquemas idênticos entre as entradas

Exemplo de estágio DataStage​

Entrada (formato .dsx)​

#### STAGE: CombineData
## Operator
funnel
## General options
[ident('CombineData'); jobmon_ident('CombineData')]
## Inputs
0< [] 'DataSource1:output.v'
1< [] 'DataSource2:output.v'
2< [] 'DataSource3:output.v'
3< [] 'DataSource4:output.v'
## Outputs
0> [modify (
keep
EVENT_DATE,PERIOD,REGION,SEGMENT,
PRODUCT_CODE,DEMAND_TYPE,PROJECT_NAME,PROCESS_NAME,
MULTIPLIER_VALUE,CLASSIFICATION,QUANTITY;
)] 'CombineData:output.v'

Esquemas de entrada (todos idênticos)​

[
{"name": "EVENT_DATE", "type": "date"},
{"name": "PERIOD", "type": "string"},
{"name": "REGION", "type": "string"},
{"name": "SEGMENT", "type": "string"},
{"name": "PRODUCT_CODE", "type": "string"},
{"name": "DEMAND_TYPE", "type": "string"},
{"name": "PROJECT_NAME", "type": "string"},
{"name": "PROCESS_NAME", "type": "string"},
{"name": "MULTIPLIER_VALUE", "type": "number"},
{"name": "CLASSIFICATION", "type": "string"},
{"name": "QUANTITY", "type": "number"}
]

SQL gerado​

SELECT EVENT_DATE, PERIOD, REGION, SEGMENT, PRODUCT_CODE, DEMAND_TYPE, PROJECT_NAME, PROCESS_NAME, MULTIPLIER_VALUE, CLASSIFICATION, QUANTITY FROM datasource1_V0S23
UNION ALL
SELECT EVENT_DATE, PERIOD, REGION, SEGMENT, PRODUCT_CODE, DEMAND_TYPE, PROJECT_NAME, PROCESS_NAME, MULTIPLIER_VALUE, CLASSIFICATION, QUANTITY FROM datasource2_V14S0
UNION ALL
SELECT EVENT_DATE, PERIOD, REGION, SEGMENT, PRODUCT_CODE, DEMAND_TYPE, PROJECT_NAME, PROCESS_NAME, MULTIPLIER_VALUE, CLASSIFICATION, QUANTITY FROM datasource3_V15S0
UNION ALL
SELECT EVENT_DATE, PERIOD, REGION, SEGMENT, PRODUCT_CODE, DEMAND_TYPE, PROJECT_NAME, PROCESS_NAME, MULTIPLIER_VALUE, CLASSIFICATION, QUANTITY FROM datasource4_V19S0

Esquema de saída​

[
{"name": "EVENT_DATE", "type": "date"},
{"name": "PERIOD", "type": "string"},
{"name": "REGION", "type": "string"},
{"name": "SEGMENT", "type": "string"},
{"name": "PRODUCT_CODE", "type": "string"},
{"name": "DEMAND_TYPE", "type": "string"},
{"name": "PROJECT_NAME", "type": "string"},
{"name": "PROCESS_NAME", "type": "string"},
{"name": "MULTIPLIER_VALUE", "type": "number"},
{"name": "CLASSIFICATION", "type": "string"},
{"name": "QUANTITY", "type": "number"}
]

Como funciona​

1. Identificar as entradas​

Analisa todos os links de entrada:

## Inputs
0< [] 'DataSource1:output.v'
1< [] 'DataSource2:output.v'
2< [] 'DataSource3:output.v'

2. Extrair a cláusula keep​

Lê a lista de colunas da seção modify:

keep
EVENT_DATE,PERIOD,REGION,SEGMENT,
PRODUCT_CODE,QUANTITY;

3. Gerar UNION ALL​

Cria um SELECT para cada entrada e os combina com UNION ALL:

SELECT <columns> FROM input1
UNION ALL
SELECT <columns> FROM input2
UNION ALL
SELECT <columns> FROM input3

4. Preservar o esquema​

O esquema de saída corresponde à primeira entrada (todas as entradas devem ter esquemas idênticos).

UNION ALL e UNION​

O estágio FUNNEL usa UNION ALL, que:

  • Preserva todas as linhas, incluindo duplicatas
  • É mais rápido que UNION (sem o custo de deduplicação)
  • Não garante a ordem, a menos que ORDER BY seja adicionado

Se precisar remover duplicatas, use RemoveDuplicatesTransformer após o estágio Funnel.

Cláusula keep​

Com cláusula keep​

keep
EVENT_DATE,REGION,SEGMENT,QUANTITY;

Apenas as colunas especificadas aparecem no SELECT:

SELECT EVENT_DATE, REGION, SEGMENT, QUANTITY FROM input1
UNION ALL
SELECT EVENT_DATE, REGION, SEGMENT, QUANTITY FROM input2

Sem cláusula keep​

## Outputs
0> [] 'CombineData:output.v'

Todas as colunas são selecionadas:

SELECT * FROM input1
UNION ALL
SELECT * FROM input2

Exemplo com múltiplas entradas​

2 entradas​

## Inputs
0< [] 'Source1:output.v'
1< [] 'Source2:output.v'

5 entradas​

## Inputs
0< [] 'Source1:output.v'
1< [] 'Source2:output.v'
2< [] 'Source3:output.v'
3< [] 'Source4:output.v'
4< [] 'Source5:output.v'

Cada entrada se torna um SELECT na sequência UNION ALL.

Limitações​

  • ⚠️ Esquemas idênticos obrigatórios - Todas as entradas devem ter as mesmas colunas e tipos
  • ⚠️ Sem ORDER BY - A ordem de saída não é garantida (use um estágio SORT posterior, se necessário)
  • ⚠️ Mínimo de 2 entradas - Funnel exige pelo menos 2 conjuntos de dados de entrada
  • ⚠️ Sem deduplicação - Usa UNION ALL (preserva duplicatas); use RemoveDuplicatesTransformer, se necessário
  • RemoveDuplicatesTransformer - Para remover duplicatas após UNION ALL
  • AggregatorStageTransformer - Para agrupar/agregar os dados combinados
  • ModifyStageTransformer - Para filtrar colunas após a combinação