Funcionalidades
| Funcionalidade | Suportado | Notas |
|---|---|---|
| Definir frequência da pipeline | Sim | Para mais detalhes, acesse. |
| Sincronização Full load | Sim | |
| Sincronização Incremental - Append | Não | |
| Definição das tabelas coletadas | Sim |
Guia rápido
Para iniciar a criação de uma Pipeline, basta ir no módulo Coletar, "Pipelines" aperte em "Nova Pipeline".
Escolha a fonte de dados
Utilize uma fonte já cadastrada ou cadastre uma nova
Parâmetros para conexão (cadastro da fonte)
| Nome do campo | Descrição | Exemplo |
|---|---|---|
| Access Key ID | Access key fornecido de um IAM user ou AWS account root user. Deve possuir 20 caracteres. | ACHLNDKM6AIPSWH3TP |
| Secret Access Key | Chave secreta fornecido em conjunto com a AWS Access Key. Deve possuir 40 caracteres. | KwYmQq/zZQAjc+pMRiQ |
Informações da pipeline
Atribua o nome e uma breve descrição para sua Pipeline.
Parâmetros para configurações da pipeline
| Nome do campo | Descrição | Exemplo |
|---|---|---|
| Nome da região | Localização geográfica onde se localizam seus recursos cloud da AWS | us-east-1 |
Especificar tabelas
Digite o nome das tabelas do banco que devem ser coletadas.
📘
Para cada tabela importada será criado um dataset diferente no catálogo.
Agendamento
- Por último, configure a frequência desejada para que sua pipeline rode. É possível escolher dentre as opções apresentadas ou inserir uma frequência customizada através de uma expressão cron. Para saber mais, acesse.
📘
O fuso horário padrão utilizado na frequência é o UTC.
Todos os métodos de frequência definem quando as extrações serão iniciadas. Eles não controlam por quanto tempo o trabalho de replicação será executado ou quando os dados estarão efetivamente no destino.
Pronto! Agora basta aguardar a coleta ser feita no horário e dia agendado.
Caso queira executar a pipeline imediatamente, é possível executá-la manualmente em até 30 segundos após a criação da pipeline. Vá em "Pipelines", "Lista" e "Sincronizar Pipeline".
Após alguns minutos, sua pipeline estará catalogada na aba de exploração como um Data Asset.
É possível também consultar na lista de pipelines os detalhes da pipeline, como: resumo, lista de entidades e colunas coletadas, histórico de execução e de micro-transformação, em "Ver pipeline".