TransformerStageTransformer
Visão geral
Converte estágios TRANSFORMER do DataStage em instruções SQL SELECT. Este é um transformador híbrido que trata repasses simples de colunas de forma determinística e usa LLM para código de transformação C complexo.
Tipo de estágio: TRANSFORMER
Saída: SQL SELECT com derivações de colunas
Recursos
Determinístico (sem LLM)
- Repasses simples de colunas (padrão
LinkName.ColumnName) - Renomeação de colunas (
output_col = input_col) - Restrições (filtros WHERE)
- Verificações de nulos e condições básicas
- Transformações com um único link de saída
Híbrido (usa LLM)
- Código de transformação C complexo
- Expressões DataStage BASIC
- Derivações personalizadas com funções
- Uso de GPT-5-nano para tradução rápida
- Chamadas paralelas de LLM para múltiplas derivações
Exemplo de estágio DataStage
Entrada (formato .dsx)
Seção Orchestrate:
#### STAGE: TransformData
## Operator
transform
## Operator options
-flag run
-name 'V0S107_Transform_Data'
-oldnullhandling
## General options
[ident('TransformData'); jobmon_ident('TransformData')]
## Inputs
0< [] 'SourceData:In_Transform.v'
## Outputs
0> [] 'TransformData:Output_Link.v'
Código de transformação C (em DSRECORD):
// define our input/output link names
inputname 0 In_Transform;
outputname 0 Output_Link;
initialize {
// define our control variables
int8 RowRejected0;
int8 NullSetVar0;
}
mainloop {
// initialise the rejected row variable
RowRejected0 = 1;
// evaluate columns (no constraints) for link: Output_Link
Output_Link.ID_FIELD = In_Transform.ID_COL;
Output_Link.KEY_1 = In_Transform.KEY_FIELD_1;
Output_Link.KEY_2 = In_Transform.KEY_FIELD_2;
Output_Link.KEY_3 = In_Transform.KEY_FIELD_3;
Output_Link.DESC_FIELD = In_Transform.DESCRIPTION;
Output_Link.VALUE_FIELD = In_Transform.VALUE_COL;
writerecord 0;
RowRejected0 = 0;
}
finish {
}
SQL gerado
SELECT
ID_COL AS ID_FIELD,
KEY_FIELD_1 AS KEY_1,
KEY_FIELD_2 AS KEY_2,
KEY_FIELD_3 AS KEY_3,
DESCRIPTION AS DESC_FIELD,
VALUE_COL AS VALUE_FIELD
FROM sourcedata_V0S8
Esquema de saída
[
{"name": "ID_FIELD", "type": "string"},
{"name": "KEY_1", "type": "number"},
{"name": "KEY_2", "type": "number"},
{"name": "KEY_3", "type": "number"},
{"name": "DESC_FIELD", "type": "string"},
{"name": "VALUE_FIELD", "type": "number"}
]
Como funciona
1. Analisar o código de transformação C
Extrai a seção mainloop que contém a lógica de derivação:
Output_Link.ID_FIELD = In_Transform.ID_COL;
2. Detectar o tipo de padrão
- Atribuição simples (determinístico):
output.col = input.col - Renomeação de coluna (determinístico):
output.new_name = input.old_name - Expressão complexa (LLM):
output.col = func(input.col1, input.col2)
3. Gerar SQL
Para atribuições simples:
SELECT
input_col AS output_col
FROM upstream_stage
Para expressões complexas (exige LLM):
SELECT
<translated_expression> AS output_col
FROM upstream_stage
Decisão entre determinístico e LLM
| Padrão de código C | Método | Exemplo |
|---|---|---|
output.col = input.col | Determinístico | ID_FIELD = ID_COL |
output.col = input.col1 | Determinístico (renomeação) | KEY_1 = KEY_FIELD_1 |
output.col = SetNull() | Determinístico | NULL AS col |
if (condition) ... | Determinístico (WHERE) | Convertido em cláusula WHERE |
output.col = Trim(input.col) | LLM | Exige tradução da expressão |
output.col = func(...) | LLM | Funções DataStage personalizadas |
Otimização de desempenho
Quando LLM é necessário:
- Usa GPT-5-nano para traduções rápidas e de baixo custo
- Faz chamadas paralelas para múltiplas derivações
- Armazena padrões de expressões comuns em cache
- Recorre ao repasse sem LLM se a tradução falhar
Limitações
- ⚠️ Múltiplas saídas não suportadas - Estágios Transformer com múltiplos links de saída (por exemplo,
Output_Link1,Output_Link2) não podem ser convertidos. Cada transformador deve ter exatamente um link de saída. - ⚠️ Parâmetros de transformação (argruns) não suportados - Estágios Transformer que usam parâmetros de execução por meio de opções
argrunnão podem ser convertidos de forma determinística - Restrições - Apenas restrições simples são convertidas em WHERE; lógica complexa é ignorada
- Variáveis de estágio - Não suportadas (exigem LLM ou revisão manual)
- Lógica de laços - Laços for/while não são suportados
- Links de rejeição - Ignorados (pressupõe-se que todas as linhas passam)
Alternativas
Múltiplas saídas
Se um transformador tiver múltiplas saídas, divida-o em estágios separados:
- Original: 1 transformador → 2 saídas
- Alternativa: 2 transformadores → 1 saída cada
Parâmetros de transformação
Se um transformador usar parâmetros argrun:
- Substitua por parâmetros do job (
[&"param"]) - Ou use valores fixos, se eles não mudarem
Transformadores relacionados
- CopyStageTransformer - Para leituras simples de conjuntos de dados sem transformação
- ModifyStageTransformer - Para renomeação de colunas sem código C
- ContainerTransformer (Tableau) - Abordagem híbrida semelhante para nós Tableau