FunnelStageTransformer
Visão geral
Converte estágios FUNNEL do DataStage em instruções SQL UNION ALL. Combina múltiplas entradas com esquemas idênticos em um único conjunto de dados de saída.
Tipo de estágio: FUNNEL (operador funnel)
Saída: SQL UNION ALL
Recursos
- Combina 2 ou mais conjuntos de dados de entrada
- UNION ALL (preserva duplicatas)
- Filtragem de colunas pela cláusula keep
- Preserva todas as linhas de todas as entradas
- Pressupõe esquemas idênticos entre as entradas
Exemplo de estágio DataStage
Entrada (formato .dsx)
#### STAGE: CombineData
## Operator
funnel
## General options
[ident('CombineData'); jobmon_ident('CombineData')]
## Inputs
0< [] 'DataSource1:output.v'
1< [] 'DataSource2:output.v'
2< [] 'DataSource3:output.v'
3< [] 'DataSource4:output.v'
## Outputs
0> [modify (
keep
EVENT_DATE,PERIOD,REGION,SEGMENT,
PRODUCT_CODE,DEMAND_TYPE,PROJECT_NAME,PROCESS_NAME,
MULTIPLIER_VALUE,CLASSIFICATION,QUANTITY;
)] 'CombineData:output.v'
Esquemas de entrada (todos idênticos)
[
{"name": "EVENT_DATE", "type": "date"},
{"name": "PERIOD", "type": "string"},
{"name": "REGION", "type": "string"},
{"name": "SEGMENT", "type": "string"},
{"name": "PRODUCT_CODE", "type": "string"},
{"name": "DEMAND_TYPE", "type": "string"},
{"name": "PROJECT_NAME", "type": "string"},
{"name": "PROCESS_NAME", "type": "string"},
{"name": "MULTIPLIER_VALUE", "type": "number"},
{"name": "CLASSIFICATION", "type": "string"},
{"name": "QUANTITY", "type": "number"}
]
SQL gerado
SELECT EVENT_DATE, PERIOD, REGION, SEGMENT, PRODUCT_CODE, DEMAND_TYPE, PROJECT_NAME, PROCESS_NAME, MULTIPLIER_VALUE, CLASSIFICATION, QUANTITY FROM datasource1_V0S23
UNION ALL
SELECT EVENT_DATE, PERIOD, REGION, SEGMENT, PRODUCT_CODE, DEMAND_TYPE, PROJECT_NAME, PROCESS_NAME, MULTIPLIER_VALUE, CLASSIFICATION, QUANTITY FROM datasource2_V14S0
UNION ALL
SELECT EVENT_DATE, PERIOD, REGION, SEGMENT, PRODUCT_CODE, DEMAND_TYPE, PROJECT_NAME, PROCESS_NAME, MULTIPLIER_VALUE, CLASSIFICATION, QUANTITY FROM datasource3_V15S0
UNION ALL
SELECT EVENT_DATE, PERIOD, REGION, SEGMENT, PRODUCT_CODE, DEMAND_TYPE, PROJECT_NAME, PROCESS_NAME, MULTIPLIER_VALUE, CLASSIFICATION, QUANTITY FROM datasource4_V19S0
Esquema de saída
[
{"name": "EVENT_DATE", "type": "date"},
{"name": "PERIOD", "type": "string"},
{"name": "REGION", "type": "string"},
{"name": "SEGMENT", "type": "string"},
{"name": "PRODUCT_CODE", "type": "string"},
{"name": "DEMAND_TYPE", "type": "string"},
{"name": "PROJECT_NAME", "type": "string"},
{"name": "PROCESS_NAME", "type": "string"},
{"name": "MULTIPLIER_VALUE", "type": "number"},
{"name": "CLASSIFICATION", "type": "string"},
{"name": "QUANTITY", "type": "number"}
]
Como funciona
1. Identificar as entradas
Analisa todos os links de entrada:
## Inputs
0< [] 'DataSource1:output.v'
1< [] 'DataSource2:output.v'
2< [] 'DataSource3:output.v'
2. Extrair a cláusula keep
Lê a lista de colunas da seção modify:
keep
EVENT_DATE,PERIOD,REGION,SEGMENT,
PRODUCT_CODE,QUANTITY;
3. Gerar UNION ALL
Cria um SELECT para cada entrada e os combina com UNION ALL:
SELECT <columns> FROM input1
UNION ALL
SELECT <columns> FROM input2
UNION ALL
SELECT <columns> FROM input3
4. Preservar o esquema
O esquema de saída corresponde à primeira entrada (todas as entradas devem ter esquemas idênticos).
UNION ALL e UNION
O estágio FUNNEL usa UNION ALL, que:
- Preserva todas as linhas, incluindo duplicatas
- É mais rápido que UNION (sem o custo de deduplicação)
- Não garante a ordem, a menos que ORDER BY seja adicionado
Se precisar remover duplicatas, use RemoveDuplicatesTransformer após o estágio Funnel.
Cláusula keep
Com cláusula keep
keep
EVENT_DATE,REGION,SEGMENT,QUANTITY;
Apenas as colunas especificadas aparecem no SELECT:
SELECT EVENT_DATE, REGION, SEGMENT, QUANTITY FROM input1
UNION ALL
SELECT EVENT_DATE, REGION, SEGMENT, QUANTITY FROM input2
Sem cláusula keep
## Outputs
0> [] 'CombineData:output.v'
Todas as colunas são selecionadas:
SELECT * FROM input1
UNION ALL
SELECT * FROM input2
Exemplo com múltiplas entradas
2 entradas
## Inputs
0< [] 'Source1:output.v'
1< [] 'Source2:output.v'
5 entradas
## Inputs
0< [] 'Source1:output.v'
1< [] 'Source2:output.v'
2< [] 'Source3:output.v'
3< [] 'Source4:output.v'
4< [] 'Source5:output.v'
Cada entrada se torna um SELECT na sequência UNION ALL.
Limitações
- ⚠️ Esquemas idênticos obrigatórios - Todas as entradas devem ter as mesmas colunas e tipos
- ⚠️ Sem ORDER BY - A ordem de saída não é garantida (use um estágio SORT posterior, se necessário)
- ⚠️ Mínimo de 2 entradas - Funnel exige pelo menos 2 conjuntos de dados de entrada
- ⚠️ Sem deduplicação - Usa UNION ALL (preserva duplicatas); use RemoveDuplicatesTransformer, se necessário
Transformadores relacionados
- RemoveDuplicatesTransformer - Para remover duplicatas após UNION ALL
- AggregatorStageTransformer - Para agrupar/agregar os dados combinados
- ModifyStageTransformer - Para filtrar colunas após a combinação