Funcionalidades
| Funcionalidade | Suportado | Notas |
|---|---|---|
| Definir frequência da pipeline | Sim | |
| Sincronização incremental | Sim | |
| Sincronização full load | Não | |
| Seleção de entidades | Não | |
| Seleção de colunas | Não | |
| Microtransformação: Hash | Não |
📘 Tipos de arquivo
Os formatos atualmente suportados são
CSV,JSONeParquet.Apenas um tipo de arquivo pode ser carregado por vez.
Guia rápido
Para criar uma pipeline, acesse Coletar > Pipelines > Nova Pipeline.
Escolha a fonte de dados
Você pode utilizar uma fonte já cadastrada ou registrar uma nova conexão.
Parâmetros de conexão
| Nome do campo | Descrição | Exemplo |
|---|---|---|
| Access Key ID | Chave de acesso fornecida por um usuário IAM ou pela conta root da AWS. Deve possuir 20 caracteres. | ACHLNDKM6AIPSWH3TP |
| Secret Access Key | Chave secreta fornecida junto com a AWS Access Key. Deve possuir 40 caracteres. | KwYmQq/zZQAjc+pMRiQ |
Informações da pipeline
Defina um nome e uma breve descrição para a pipeline.
Configuração da pipeline
CSV
| Nome do campo | Descrição | Exemplo |
|---|---|---|
| Tipo de arquivo | Formato do arquivo. | CSV |
| Nome | Nome descritivo do arquivo. | Minha planilha |
| Bucket | Nome do bucket de origem. | meu_bucket |
| Nome do arquivo | Caminho completo do arquivo dentro do bucket. | meusdados/2021/dados.csv |
| Separador | Caractere delimitador das colunas. | ;, ,, tab, / |
| Tipo de codificação | Conjunto de caracteres do arquivo. | UTF-8, ISO-8859-1, US-ASCII, UTF-16BE, UTF-16, UTF-16LE |
| Ativar cabeçalho | Indica se o arquivo possui cabeçalho. | Sim |
📘 CSV com múltiplas linhas
Se o conteúdo do CSV quebrar linha dentro de um campo, esse valor deve estar entre aspas.
Exemplo aceito:
name,age,address
john,29,"19 Street
Ohio"
Exemplo não aceito:
name,age,address
john,
29,
19 Street Ohio
JSON
| Nome do campo | Descrição | Exemplo |
|---|---|---|
| Tipo de arquivo | Formato do arquivo. | JSON |
| Nome | Nome descritivo do arquivo. | Minha planilha |
| Bucket | Nome do bucket de origem. | meu_bucket |
| Nome do arquivo a ser extraído | Caminho do arquivo dentro do bucket, sem espaços ou caracteres especiais. | meusdados/2021/dados.json |
| Tipo de codificação | Conjunto de caracteres do arquivo. | UTF-8, ISO-8859-1, US-ASCII, UTF-16BE, UTF-16, UTF-16LE |
Parquet
| Nome do campo | Descrição | Exemplo |
|---|---|---|
| Tipo de arquivo | Formato do arquivo. | Parquet |
| Nome | Nome descritivo do arquivo. | Minha planilha |
| Bucket | Nome do bucket de origem. | meu_bucket |
| Nome do arquivo a ser extraído | Caminho do arquivo dentro do bucket, sem espaços ou caracteres especiais. | meusdados/2021/dados.parquet |
❗️ Nunca utilize
/no início ou no fim do campo "Nome do Arquivo"A Dadosfera considera o primeiro nome como a primeira pasta dentro do bucket. Use
data/2023para extrair todos os arquivos.csvdentro da pasta2023, incluindo suas subpastas.
Carga incremental
Os dados no S3 podem estar organizados em diretórios e partições:
data/
|-- year=2023/
|-- month=01/
|-- 0.csv
|-- 1.csv
|-- month=02/
|-- 0.csv
|-- 1.csv
Crie uma única pipeline apontando o campo Nome do arquivo a ser extraído para o diretório principal, por exemplo data, sem barras. Ela identifica e extrai automaticamente os arquivos das subdivisões ou partições.
Informações importantes sobre o funcionamento
🚧 Deleção de ativos
Em uma pipeline S3 incremental, não altere o nome da pipeline nem exclua os ativos já criados. Essas ações colocam a pipeline em erro, exigindo sua recriação.
📘 Caracteres especiais
Mesmo ajustando o tipo de codificação, caracteres especiais podem não aparecer no catálogo devido aos parâmetros utilizados.
📘 Tipos de dados
- Uma coluna é reconhecida como
numbersomente quando todos os seus elementos são números inteiros.- Uma coluna é reconhecida como
floatsomente quando todos os elementos seguem o padrão de ponto flutuante, comoxxxx.xx.- Vírgulas na formatação numérica, como
x,xxx.xx, fazem a coluna ser convertida emtext.
Frequência
Configure a frequência desejada nas opções disponíveis ou use uma expressão cron. Consulte o guia de frequência.
Aguarde o dia e horário agendados ou execute manualmente em Pipelines > Lista > Sincronizar Pipeline. Após alguns minutos, os dados serão catalogados como um Data Asset.
📘
A tabela recebe a coluna
_processing_timestamp, que indica quando o registro foi escrito. Em coletas incrementais com valores sobrescritos, ela permite identificar o último valor do registro e auxilia na análise.
Em Ver pipeline, consulte o resumo, as entidades e colunas coletadas, o histórico de execução e de microtransformação.
Observações
- O nome do arquivo não deve conter espaços ou caracteres especiais que possam impedir a coleta.
- Após criar a pipeline, use a tela de monitoramento para acompanhar execução, importação e logs.