Pular para o conteúdo principal

Funcionalidades

FuncionalidadeSuportadoNotas
Definir frequência da pipelineSim
Sincronização incrementalSim
Sincronização full loadNão
Seleção de entidadesNão
Seleção de colunasNão
Microtransformação: HashNão

📘 Tipos de arquivo

Os formatos atualmente suportados são CSV, JSON e Parquet.

Apenas um tipo de arquivo pode ser carregado por vez.

Guia rápido

Para criar uma pipeline, acesse Coletar > Pipelines > Nova Pipeline.

Escolha a fonte de dados​

Você pode utilizar uma fonte já cadastrada ou registrar uma nova conexão.

Parâmetros de conexão​

Nome do campoDescriçãoExemplo
Access Key IDChave de acesso fornecida por um usuário IAM ou pela conta root da AWS. Deve possuir 20 caracteres.ACHLNDKM6AIPSWH3TP
Secret Access KeyChave secreta fornecida junto com a AWS Access Key. Deve possuir 40 caracteres.KwYmQq/zZQAjc+pMRiQ

Informações da pipeline​

Defina um nome e uma breve descrição para a pipeline.

Configuração da pipeline​

CSV​

Nome do campoDescriçãoExemplo
Tipo de arquivoFormato do arquivo.CSV
NomeNome descritivo do arquivo.Minha planilha
BucketNome do bucket de origem.meu_bucket
Nome do arquivoCaminho completo do arquivo dentro do bucket.meusdados/2021/dados.csv
SeparadorCaractere delimitador das colunas.;, ,, tab, /
Tipo de codificaçãoConjunto de caracteres do arquivo.UTF-8, ISO-8859-1, US-ASCII, UTF-16BE, UTF-16, UTF-16LE
Ativar cabeçalhoIndica se o arquivo possui cabeçalho.Sim

📘 CSV com múltiplas linhas

Se o conteúdo do CSV quebrar linha dentro de um campo, esse valor deve estar entre aspas.

Exemplo aceito:

name,age,address
john,29,"19 Street
Ohio"

Exemplo não aceito:

name,age,address
john,
29,
19 Street Ohio

JSON​

Nome do campoDescriçãoExemplo
Tipo de arquivoFormato do arquivo.JSON
NomeNome descritivo do arquivo.Minha planilha
BucketNome do bucket de origem.meu_bucket
Nome do arquivo a ser extraídoCaminho do arquivo dentro do bucket, sem espaços ou caracteres especiais.meusdados/2021/dados.json
Tipo de codificaçãoConjunto de caracteres do arquivo.UTF-8, ISO-8859-1, US-ASCII, UTF-16BE, UTF-16, UTF-16LE

Parquet​

Nome do campoDescriçãoExemplo
Tipo de arquivoFormato do arquivo.Parquet
NomeNome descritivo do arquivo.Minha planilha
BucketNome do bucket de origem.meu_bucket
Nome do arquivo a ser extraídoCaminho do arquivo dentro do bucket, sem espaços ou caracteres especiais.meusdados/2021/dados.parquet

❗️ Nunca utilize / no início ou no fim do campo "Nome do Arquivo"

A Dadosfera considera o primeiro nome como a primeira pasta dentro do bucket. Use data/2023 para extrair todos os arquivos .csv dentro da pasta 2023, incluindo suas subpastas.

Carga incremental​

Os dados no S3 podem estar organizados em diretórios e partições:

data/
|-- year=2023/
|-- month=01/
|-- 0.csv
|-- 1.csv
|-- month=02/
|-- 0.csv
|-- 1.csv

Crie uma única pipeline apontando o campo Nome do arquivo a ser extraído para o diretório principal, por exemplo data, sem barras. Ela identifica e extrai automaticamente os arquivos das subdivisões ou partições.

Informações importantes sobre o funcionamento​

🚧 Deleção de ativos

Em uma pipeline S3 incremental, não altere o nome da pipeline nem exclua os ativos já criados. Essas ações colocam a pipeline em erro, exigindo sua recriação.

📘 Caracteres especiais

Mesmo ajustando o tipo de codificação, caracteres especiais podem não aparecer no catálogo devido aos parâmetros utilizados.

📘 Tipos de dados

  • Uma coluna é reconhecida como number somente quando todos os seus elementos são números inteiros.
  • Uma coluna é reconhecida como float somente quando todos os elementos seguem o padrão de ponto flutuante, como xxxx.xx.
  • Vírgulas na formatação numérica, como x,xxx.xx, fazem a coluna ser convertida em text.

Frequência​

Configure a frequência desejada nas opções disponíveis ou use uma expressão cron. Consulte o guia de frequência.

Aguarde o dia e horário agendados ou execute manualmente em Pipelines > Lista > Sincronizar Pipeline. Após alguns minutos, os dados serão catalogados como um Data Asset.

📘

A tabela recebe a coluna _processing_timestamp, que indica quando o registro foi escrito. Em coletas incrementais com valores sobrescritos, ela permite identificar o último valor do registro e auxilia na análise.

Em Ver pipeline, consulte o resumo, as entidades e colunas coletadas, o histórico de execução e de microtransformação.

Observações​

  • O nome do arquivo não deve conter espaços ou caracteres especiais que possam impedir a coleta.
  • Após criar a pipeline, use a tela de monitoramento para acompanhar execução, importação e logs.