Pular para o conteúdo principal

Como funciona | Documentação Dadosfera

O Conversor DDF converte seus fluxos Tableau Prep e jobs DataStage em SQL validado por meio de um processo inteligente, estágio por estágio.

Fluxo detalhado do processo​


1. Ler e analisar​

  1. Clique em Ver fluxos de trabalho
  2. Clique em Enviar fluxo de trabalho
  3. Selecione um arquivo .zip ou .dsx
  4. Selecione o nome do fluxo de trabalho
  5. Clique em Criar fluxo de trabalho

Ao enviar seu arquivo, o sistema:

  • Extrai a estrutura do fluxo de trabalho (todos os nós e conexões)
  • Identifica origens de entrada e destinos de saída
  • Mapeia as dependências do fluxo de dados
  • Analisa tipos e configurações de nós
  • Prepara os metadados de conversão

2. Criar uma sessão de conversão para um fluxo de trabalho​

  1. Selecione um fluxo de trabalho existente ou o que acabou de criar
  2. Inicie uma nova sessão
  3. Você entrará na página de detalhes do estágio, que tem esta aparência:

3. Configuração da sessão​

Você escolhe qual nó de saída converter:

  • Um fluxo de trabalho pode ter múltiplos nós de saída
  • Crie uma sessão separada para cada saída
  • Configure os mapeamentos de entrada, se necessário. Eles são úteis para nós ou estágios que não estão no data warehouse (LoadExcel, LoadSQLProxy, Copy). Você pode mapear algo que depende de arquivos externos para uma tabela no data warehouse.
  • O sistema calcula o total de estágios necessários
  • Nesta sessão, você também pode visualizar as dependências do grafo extraídas do fluxo de trabalho selecionando uma entrada e clicando em Mostrar subgrafo.
  • Ao clicar em Iniciar sessão, você será redirecionado para a página de detalhes do estágio, onde poderá gerar as instruções SQL passo a passo.

4. Página de detalhes do estágio - visão geral​


A página de detalhes do estágio é onde você passará a maior parte do tempo durante a conversão. Ela oferece 6 painéis de validação especializados para revisar, editar e aprovar cada estágio da transformação do fluxo de trabalho.

Botões específicos do estágio:​

  • Gerar estágio: Gera SQL para o estágio atual usando IA
  • Aprovar estágio: Após validar a consulta gerada, aprove-a para desbloquear os estágios posteriores
  • Reportar problema: Relata problemas com a consulta gerada - a IA tentará corrigi-los
  • Redefinir estágio: Redefine o estágio para gerá-lo novamente (isso também redefinirá todos os estágios posteriores)

Estado do estágio​


Este painel exibe o estado atual de cada estágio. Os estágios podem ter seis status:

🔒 Bloqueado – O estágio não pode prosseguir porque suas dependências anteriores não foram atendidas. Aguarda a geração e aprovação dos estágios anteriores. Será desbloqueado automaticamente quando todas as dependências forem atendidas.

⭕ Pendente – O estágio ainda não foi gerado, mas está pronto (todas as dependências atendidas). Pode ser gerado agora.

⟳ Gerando – A API está gerando o estágio. Não é possível fazer alterações durante a geração.

→ Gerado – O SQL foi gerado com sucesso e está pronto para revisão. Pode ser editado ou aprovado.

✓ Validado – O usuário aprovou o estágio. Ele fica bloqueado para edição e será usado pelos estágios posteriores. Redefini-lo redefinirá todos os estágios posteriores.

❌ Falhou – Ocorreu um erro de geração. É necessário gerar novamente ou corrigir manualmente.

Importante: Estágios posteriores dependem da aprovação dos anteriores. Isso garante que os nomes de colunas e os esquemas estejam finalizados antes da geração do SQL posterior.

Redefinição e geração em lote​

Você pode selecionar múltiplos estágios e clicar em "Gerar selecionados ..." ou "Redefinir selecionados" para aplicar uma ação a múltiplos estados ao mesmo tempo. Estágios bloqueados não são afetados por essa ação.

5. Os 6 painéis de validação​

Durante a conversão do fluxo de trabalho, você usará 6 painéis especializados. Cada painel tem uma finalidade específica na revisão e validação da conversão.

Painel 1: configuração do nó (Tableau Prep / IBM DataStage)​

O que mostra:

  • Configuração original do nó no arquivo do fluxo de trabalho (.tfl ou .dsx)
  • Detalhes do desenho e da transformação do nó
  • Origens de entrada e parâmetros
  • Condições de junção, filtros e outras configurações

Como usar:

  • Entenda o que o nó deve fazer
  • Use como referência ao validar o SQL gerado
  • Verifique se o SQL corresponde à intenção do nó original
  • Confira as origens de entrada e a lógica de transformação

Painel 2: SQL gerado​

O que mostra:

  • Transformação SQL para o estágio atual
  • Instrução SQL completa como CTE (expressão de tabela comum)
  • Pode ser editada e personalizada manualmente

Como usar:

  • Revise erros de sintaxe e a correção da lógica
  • Edite manualmente, se necessário - suas edições são preservadas e não serão sobrescritas
  • Valide condições JOIN, cláusulas WHERE e funções de agregação
  • Adicione lógica personalizada ou otimizações

Painel 3: consulta intermediária​

O que mostra:

  • SQL completo, incluindo todas as CTEs anteriores
  • Todas as transformações do início do fluxo de trabalho até o estágio atual
  • Consulta pronta para testar com dados de exemplo

Como usar:

  • Copie o SQL para seu banco de dados para testar
  • Valide o fluxo de dados e os resultados de ponta a ponta
  • Teste transformações cumulativas com dados reais
  • Verifique se a lógica do fluxo de trabalho está funcionando corretamente

Importante:

  • Se uma consulta anterior for editada, os estágios posteriores devem ser gerados novamente para propagar as alterações

Painel 4: esquema​

O que mostra:

  • Nomes das colunas de saída e tipos de dados inferidos
  • Esquema que será propagado para os estágios posteriores
  • Atualização automática quando você edita o SQL gerado

Como usar:

  • Revise os nomes das colunas e os tipos de dados
  • Edite os nomes das colunas, se necessário
  • Atualize os tipos de dados, se estiverem incorretos
  • Verifique as colunas antes de aprovar o estágio

Essencial:

  • Estágios posteriores dependem desses nomes exatos de colunas
  • Alterações aqui se propagam para todos os estágios posteriores
  • Os nomes das colunas devem corresponder ao que os estágios posteriores esperam

Painel 5: histórico de feedback​

O que mostra:

  • Histórico completo do feedback do usuário para este estágio
  • Todas as novas gerações e iterações
  • Problemas relatados e como foram tratados

Como usar:

  • Revise iterações anteriores
  • Entenda o que mudou e por quê
  • Acompanhe a evolução do estágio
  • Consulte ao fazer novas edições

Finalidade:

  • Acompanhar o histórico de refinamento
  • Entender o processo de tomada de decisão
  • Ver quais problemas foram relatados e resolvidos

Painel 6: conversa com LLM (recurso futuro)​

Este painel dará transparência ao processo de geração, mostrando prompts, raciocínio e parâmetros usados.

Siga este processo passo a passo ao revisar cada estágio:

  1. Confira a configuração do nó

    • Entenda o que o nó deve fazer
    • Verifique entradas e parâmetros
  2. Revise o SQL gerado

    • Revise a sintaxe e a lógica do SQL
    • Procure erros evidentes
  3. Teste a consulta intermediária

    • Copie e teste a consulta no seu banco de dados
    • Valide o fluxo de dados e os resultados
  4. Verifique o esquema

    • Confira nomes e tipos das colunas
    • Garanta a correção para os estágios posteriores
  5. Confira o histórico de feedback

    • Revise iterações anteriores, se houver
    • Entenda a tomada de decisão
  6. Aprove ou reporte problemas

    • Se o SQL estiver correto: aprove para desbloquear os estágios posteriores
    • Se encontrar problemas: reporte-os para nova geração, edite manualmente ou prossiga mesmo assim
    • Nota: reportar problemas NÃO bloqueia os estágios posteriores - você pode continuar trabalhando