Pular para o conteúdo principal

TransformerStageTransformer

Visão geral​

Converte estágios TRANSFORMER do DataStage em instruções SQL SELECT. Este é um transformador híbrido que trata repasses simples de colunas de forma determinística e usa LLM para código de transformação C complexo.

Tipo de estágio: TRANSFORMER Saída: SQL SELECT com derivações de colunas

Recursos​

Determinístico (sem LLM)​

  • Repasses simples de colunas (padrão LinkName.ColumnName)
  • Renomeação de colunas (output_col = input_col)
  • Restrições (filtros WHERE)
  • Verificações de nulos e condições básicas
  • Transformações com um único link de saída

Híbrido (usa LLM)​

  • Código de transformação C complexo
  • Expressões DataStage BASIC
  • Derivações personalizadas com funções
  • Uso de GPT-5-nano para tradução rápida
  • Chamadas paralelas de LLM para múltiplas derivações

Exemplo de estágio DataStage​

Entrada (formato .dsx)​

Seção Orchestrate:

#### STAGE: TransformData
## Operator
transform
## Operator options
-flag run
-name 'V0S107_Transform_Data'
-oldnullhandling
## General options
[ident('TransformData'); jobmon_ident('TransformData')]
## Inputs
0< [] 'SourceData:In_Transform.v'
## Outputs
0> [] 'TransformData:Output_Link.v'

Código de transformação C (em DSRECORD):

// define our input/output link names
inputname 0 In_Transform;
outputname 0 Output_Link;

initialize {
// define our control variables
int8 RowRejected0;
int8 NullSetVar0;
}

mainloop {
// initialise the rejected row variable
RowRejected0 = 1;

// evaluate columns (no constraints) for link: Output_Link
Output_Link.ID_FIELD = In_Transform.ID_COL;
Output_Link.KEY_1 = In_Transform.KEY_FIELD_1;
Output_Link.KEY_2 = In_Transform.KEY_FIELD_2;
Output_Link.KEY_3 = In_Transform.KEY_FIELD_3;
Output_Link.DESC_FIELD = In_Transform.DESCRIPTION;
Output_Link.VALUE_FIELD = In_Transform.VALUE_COL;
writerecord 0;
RowRejected0 = 0;
}

finish {
}

SQL gerado​

SELECT
ID_COL AS ID_FIELD,
KEY_FIELD_1 AS KEY_1,
KEY_FIELD_2 AS KEY_2,
KEY_FIELD_3 AS KEY_3,
DESCRIPTION AS DESC_FIELD,
VALUE_COL AS VALUE_FIELD
FROM sourcedata_V0S8

Esquema de saída​

[
{"name": "ID_FIELD", "type": "string"},
{"name": "KEY_1", "type": "number"},
{"name": "KEY_2", "type": "number"},
{"name": "KEY_3", "type": "number"},
{"name": "DESC_FIELD", "type": "string"},
{"name": "VALUE_FIELD", "type": "number"}
]

Como funciona​

1. Analisar o código de transformação C​

Extrai a seção mainloop que contém a lógica de derivação:

Output_Link.ID_FIELD = In_Transform.ID_COL;

2. Detectar o tipo de padrão​

  • Atribuição simples (determinístico): output.col = input.col
  • Renomeação de coluna (determinístico): output.new_name = input.old_name
  • Expressão complexa (LLM): output.col = func(input.col1, input.col2)

3. Gerar SQL​

Para atribuições simples:

SELECT
input_col AS output_col
FROM upstream_stage

Para expressões complexas (exige LLM):

SELECT
<translated_expression> AS output_col
FROM upstream_stage

Decisão entre determinístico e LLM​

Padrão de código CMétodoExemplo
output.col = input.colDeterminísticoID_FIELD = ID_COL
output.col = input.col1Determinístico (renomeação)KEY_1 = KEY_FIELD_1
output.col = SetNull()DeterminísticoNULL AS col
if (condition) ...Determinístico (WHERE)Convertido em cláusula WHERE
output.col = Trim(input.col)LLMExige tradução da expressão
output.col = func(...)LLMFunções DataStage personalizadas

Otimização de desempenho​

Quando LLM é necessário:

  • Usa GPT-5-nano para traduções rápidas e de baixo custo
  • Faz chamadas paralelas para múltiplas derivações
  • Armazena padrões de expressões comuns em cache
  • Recorre ao repasse sem LLM se a tradução falhar

Limitações​

  • ⚠️ Múltiplas saídas não suportadas - Estágios Transformer com múltiplos links de saída (por exemplo, Output_Link1, Output_Link2) não podem ser convertidos. Cada transformador deve ter exatamente um link de saída.
  • ⚠️ Parâmetros de transformação (argruns) não suportados - Estágios Transformer que usam parâmetros de execução por meio de opções argrun não podem ser convertidos de forma determinística
  • Restrições - Apenas restrições simples são convertidas em WHERE; lógica complexa é ignorada
  • Variáveis de estágio - Não suportadas (exigem LLM ou revisão manual)
  • Lógica de laços - Laços for/while não são suportados
  • Links de rejeição - Ignorados (pressupõe-se que todas as linhas passam)

Alternativas​

Múltiplas saídas​

Se um transformador tiver múltiplas saídas, divida-o em estágios separados:

  • Original: 1 transformador → 2 saídas
  • Alternativa: 2 transformadores → 1 saída cada

Parâmetros de transformação​

Se um transformador usar parâmetros argrun:

  • Substitua por parâmetros do job ([&"param"])
  • Ou use valores fixos, se eles não mudarem
  • CopyStageTransformer - Para leituras simples de conjuntos de dados sem transformação
  • ModifyStageTransformer - Para renomeação de colunas sem código C
  • ContainerTransformer (Tableau) - Abordagem híbrida semelhante para nós Tableau