Pipeline Monitoring

The Pipeline Monitoring screen provides a detailed view of execution status and history so teams can follow activity across the platform. To access it, open the Collect module, go to "Pipelines", and click "Monitoring".

This area is organized into three main tabs, each designed for a different monitoring depth.

---

1. Visão Geral de Pipelines

Objetivo:

Proporcionar uma visão ampla e de alto nível sobre o status, tendências e saúde das execuções de pipelines.

Principais Recursos:

• Métricas Resumidas:
  Visualize as métricas principais das últimas execuções:
  • Total de pipelines executados (últimas 24h, semana, mês).
  • Status mais recente das pipelines.
  • Histórico completo das execuções em um período específico.

---

2. Visão Temporal de Pipelines

Objetivo:

Acompanhar agendamentos, prever possíveis sobrecargas e otimizar a distribuição temporal das execuções de pipelines.

Principais Recursos:

• Próximas Execuções Agendadas:
  Veja os horários programados de início e previsão de término , com base na mediana histórica do tempo de execução da pipeline.

• Distribuição Horária:
  Analise a distribuição dos agendamentos ao longo do dia:

  • Gráfico de barras (BarChart) mostrando a quantidade de pipelines programadas por hora (horario_agendado).
  • Contagem das execuções por slot horário.

---

3. Visão Detalhada de Jobs de Pipelines de Coleta

Objetivo:

Fornecer uma visão detalhada de cada job executado, com métricas técnicas que permitem um acompanhamento preciso do desempenho e uso de recursos.

Principais Recursos:

• Métricas Técnicas por Job:

Campo	Descrição	Exemplo
allocated_job_memory	Memória alocada (MB) para o job	4096 MB
replication_method	Estratégia de replicação utilizada (FULL_LOAD ou INCREMENTAL)	INCREMENTAL
plugin & connector	Tecnologias utilizadas para coleta de dados	snowflake, postgres
cron_schedule	Frequência de execução agendada (formato Cron)	0 12 * * *
avg_collected_rows	Média de linhas processadas por execução	1,250,000
estimated_table_rows	Estimativa total de linhas na tabela de destino	15,000,000

• Detalhamento Ampliado:

  • Link Direto: Acesse a pipeline diretamente através de um link para o Dadosfera App.
  • Estratégia de Carga:
    • FULL_LOAD: Recriação completa da tabela.
    • INCREMENTAL: Atualização parcial da tabela.

• Alocação de Recursos:

  • A relação entre a memória alocada e o volume de dados processados (collected_rows).
  • Identificação de jobs que estão subutilizando ou superutilizando recursos.