Funcionalidades
| Funcionalidade | Suportado | Notas |
|---|---|---|
| Definir frequência da pipeline | Sim | |
| Sincronização incremental | Sim | |
| Sincronização full load | Não | |
| Seleção de entidades | Não | |
| Seleção de colunas | Não | |
| Microtransformação: Hash | Não |
📘 Tipos de arquivo
Os formatos atualmente suportados são
CSV,JSONeParquet.Apenas um tipo de arquivo pode ser carregado por vez.
Guia rápido
Para criar uma pipeline, acesse Coletar > Pipelines > Nova Pipeline.
Escolha a fonte de dados
Você pode utilizar uma fonte já cadastrada ou registrar uma nova conexão.
Parâmetros de conexão
| Nome do campo | Descrição | Exemplo |
|---|---|---|
| Access Key ID | Chave de acesso fornecida por um usuário IAM ou pela conta root da AWS. | ACHLNDKM6AIPSWH3TP |
| Secret Access Key | Chave secreta fornecida junto com a AWS Access Key. | KwYmQq/zZQAjc+pMRiQ |
Informações da pipeline
Defina um nome e uma breve descrição para a pipeline.
Configuração da pipeline
CSV
| Nome do campo | Descrição | Exemplo |
|---|---|---|
| Tipo de arquivo | Formato do arquivo. | CSV |
| Nome | Nome descritivo do arquivo. | Minha planilha |
| Bucket | Nome do bucket de origem. | meu_bucket |
| Nome do arquivo | Caminho completo do arquivo dentro do bucket. | meusdados/2021/dados.csv |
| Separador | Caractere delimitador das colunas. | ;, ,, tab, / |
| Tipo de codificação | Conjunto de caracteres do arquivo. | UTF-8, ISO-8859-1, UTF-16LE |
| Ativar cabeçalho | Indica se o arquivo possui cabeçalho. | Sim |
📘 CSV com múltiplas linhas
Se o conteúdo do CSV quebrar linha dentro de um campo, esse valor deve estar entre aspas.
JSON
Para arquivos JSON, informe o bucket, o nome do arquivo e a estrutura esperada do documento.
Parquet
Para arquivos Parquet, informe o bucket e o caminho do arquivo a ser coletado.
Observações
- O nome do arquivo não deve conter espaços ou caracteres especiais que possam impedir a coleta.
- Após criar a pipeline, use a tela de monitoramento para acompanhar execução, importação e logs.