Skip to main content

Funções da Dadosfera Library | Processar | Documentação

bulk_delete_data_assets​

O step define a estrutura para um payload JSON destinado à exclusão em massa de ativos de dados no Maestro, com objetivo de manter um conjunto de dados organizado, removendo dados redundantes ou indesejados em massa, garantindo uma gestão eficiente dos dados.

Pré-requisitos​

  • Um nome de usuário e senha da Dadosfera.
  • Permissões para excluir os ativos de dados.
  • Compreensão adequada dos ativos de dados que você deseja excluir.

Configuração​

Variáveis de Ambiente​

As seguintes variáveis de ambiente são requeridas para execução do step:

  • DADOSFERA_USERNAME: O usuário de login no ambiente Dadosfera.
  • DADOSFERA_PASSWORD: A senha de login no ambiente Dadosfera.
Parâmetros:​

  • maestro_base_url: representa a URL base da API do Maestro. Os valores permitidos incluem "https://maestro.dadosfera.ai" e "https://maestro.stg.dadosfera.ai".

  • additional_params: um array de parâmetros que atuam como filtros para determinar quais ativos de dados serão excluídos. Cada parâmetro consiste em uma chave (nome do filtro) e um valor (critério de filtro).

Observação: Certifique-se de selecionar a URL base correta e as informações de acesso de forma apropriada para evitar perda acidental de dados ou redirecionamentos incorretos.

get_data_assets​

Sobre o projeto​

Este step é usado para obter ativos de dados da plataforma Maestro da Dadosfera, permitindo armazenar e utilizar os resultados nos pipelines de inteligência.

Pré-requisitos​

  • Acesso à API do Maestro.
  • Conhecimento dos ativos de dados específicos que pretende recuperar.

Configuração​

Variáveis de Ambiente​

As seguintes variáveis de ambiente são requeridas para execução do step:

  • DADOSFERA_USERNAME: O usuário de login no ambiente Dadosfera.
  • DADOSFERA_PASSWORD: A senha de login no ambiente Dadosfera.
Parâmetros:​

  • maestro_base_url: Representa a URL base para a API do Maestro. Valores aceitáveis são "https://maestro.dadosfera.ai" e "https://maestro.stg.dadosfera.ai".

  • output_type: Define como a saída será gerada: pode ser salva em uma variável (to_outgoing_variable) ou em um arquivo de saída (to_filepath).

  • output_variable_name: Define o nome da variável de saída.

  • additional_params: Um array contendo parâmetros que atuam como filtros para determinar quais ativos de dados serão recuperados. Cada parâmetro é definido por uma chave (nome do filtro) e um valor (critério do filtro).

Observação: É essencial definir a URL base correta e especificar a variável de saída com cuidado para garantir que os dados sejam extraídos com precisão.

Exemplos de configuração​
Obtendo todos os dados de uma pipeline especifica​
{
  "maestro_base_url": "https://maestro.dadosfera.ai",
  "output_variable_name": "arbitrary_output_name",
  "additional_params": [
    {
      "key": "pipeline_id",
      "value": "28f8de4d-f46d-47a4-83fb-42069c1861ae"
    }
  ]
}
Obtendo todos os dashboards​
{
  "maestro_base_url": "https://maestro.dadosfera.ai",
  "output_variable_name": "arbitrary_output_name",
  "additional_params": [
    {
      "key": "data_asset_type",
      "value": "dashboard"
    }
  ]
}

get_files_from_google_drive​

O step permite acessar e extrair todos os arquivos em uma pasta específica do Google Drive, autenticando-se com um serviço de conta de serviço.

Pré-requisitos​

  • Acesso ao serviço de conta de serviço (service account) do Google Drive.
  • Conhecimento do ID da pasta no Google Drive que deseja listar.

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • service_account_file: caminho para o arquivo JSON de credenciais da conta de serviço do Google Drive.
  • selected_folder_id: ID da pasta no Google Drive da qual deseja listar os arquivos.
  • outgoing_variable_name: nome da variável de saída a ser utilizada para armazenar a lista de arquivos.

Obs: Essa função é facilmente integrável com outras funções, e assim sendo, a variável outgoing_variable_name deverá ter o mesmo nome da variável input_variable_name do step posterior.

get_objects_from_s3​

O step lista e recupera objetos de um bucket S3 da AWS, com base em um prefixo fornecido. Ela retorna uma lista de dicionários contendo o conteúdo dos arquivos, suas chaves e nomes.

Pré-requisitos​

  • Credenciais AWS: É necessário ter as credenciais da AWS configuradas no ambiente para que o boto3 possa autenticar e acessar o bucket S3
  • Conhecimento de quais objetos desejam ser importados da AWS.

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • bucket_name: nome do bucket S3 onde os objetos serão listados. (Obrigatório)
  • prefix: prefixo que será utilizado para filtrar os objetos. (Opcional)
Resposta​

A função retorna uma lista de dicionários, onde cada dicionário representa um objeto encontrado. Cada dicionário contém as seguintes informações:

  • file_content: conteúdo do arquivo em bytes.
  • key: Chave do objeto no bucket S3.
  • file_name: nome do arquivo sem a extensão.

get_pipelines​

O step é utilizado para obter uma lista de pipelines do Maestro.

Pré-requisitos​

  • Credenciais na Dadosfera

Configuração​

Variáveis de Ambiente​

As seguintes variáveis de ambiente são requeridas para execução do step:

  • DADOSFERA_USERNAME: O usuário de login no ambiente Dadosfera.
  • DADOSFERA_PASSWORD: A senha de login no ambiente Dadosfera.
Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • maestro_base_url: representa a URL base para a API do Maestro. Valores aceitáveis são "https://maestro.dadosfera.ai" e "https://maestro.stg.dadosfera.ai".
  • additional_params_array: Um array de dicionários que contém os parâmetros adicionais de filtro
  • output_type: define como a saída será gerada: pode ser salva em uma variável (to_outgoing_variable) ou em um arquivo de saída (to_filepath).

get_status_of_all_pipelines​

O step é utilizado para obter o situação dos pipelines do Maestro.

Pré-requisitos​

  • Credenciais na Dadosfera

Configuração​

Variáveis de Ambiente​

As seguintes variáveis de ambiente são requeridas para execução do step:

  • DADOSFERA_USERNAME: O usuário de login no ambiente Dadosfera.
  • DADOSFERA_PASSWORD: A senha de login no ambiente Dadosfera.
Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • maestro_base_url: representa a URL base para a API do Maestro. Valores aceitáveis são "https://maestro.dadosfera.ai" e "https://maestro.stg.dadosfera.ai".
  • additional_params_array: Um array de dicionários que contém os parâmetros adicionais de filtro
  • output_type: define como a saída será gerada: pode ser salva em uma variável (to_outgoing_variable) ou em um arquivo de saída (to_filepath).

get_table_from_snowflake​

Este step é responsável por extrair dados de uma tabela do Snowflake e retornar um DataFrame Pandas.

Pré-requisitos​

  • Credenciais com acesso ao Snowflake

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • secret_id: id secreto para conexão com o snowflake;
  • table_identifier: identificador da tabela a ser extraida do snowflake;
  • output_type: define como a saída será gerada: pode ser salva em uma variável (to_outgoing_variable) ou em um arquivo de saída (to_filepath).

put_objects_in_s3​

Este step é responsável por enviar um ou mais objetos para um bucket S3 na AWS. Ela recebe como parâmetros:

Pré-requisitos​

  • Credenciais com acesso ao AWS;
  • Arquivos para upload para o S3;

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • bucket_name: O nome do bucket S3 onde os objetos serão enviados;
  • objects: objetos que serão enviados para o bucket. Todos os objetos terão que ter as chaves
    key: O nome do objeto no S3
    body: O corpo do conteúdo
    content_type: tipo de conteúdo do objeto;
  • input_type: define tipo de entrada: pode ser a partir de um arquivo (from_filepath) ou de uma variável de ambiente (from_incoming_variable);
  • file_extension: informa a extensão do arquivo a ser carregada;
  • prefix: caminho dentro do bucket onde serão direcionados os arquivos;

rfm_analysis​

Este step realiza a análise RFM (Recência, Frequência, Valor Monetário) em uma tabela do banco de dados Snowflake. Ele calcula os escores RFM para cada cliente com base em seu comportamento de compra e os categoriza em diferentes tipos de clientes.

Pré-requisitos​

  • Credenciais com acesso ao Snowflake;
  • Tabela com estrutura chave identificadoras para cliente, compras e valores;

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • secret_id: id secreto para conexão com o snowflake;
  • customer_id_column: O nome da coluna que contém o ID do cliente;
  • date_col: O nome da coluna que contém a data da compra;
  • monetary_col: O nome da coluna que contém o valor da compra;
  • output_type: define como a saída será gerada: pode ser salva em uma variável (to_outgoing_variable) ou em um arquivo de saída (to_filepath);

save_data_in_snowflake​

Este step é responsável por salvar os dados em uma tabela Snowflake, executando consultas SQL fornecidas

Pré-requisitos​

  • Credenciais com acesso ao Snowflake;

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • secret_id: id secreto para conexão com o snowflake;
  • table_identifier: identificador da tabela a ser extraida do snowflake;
  • input_type: define tipo de entrada: pode ser a partir de um arquivo (from_filepath) ou de uma variável de ambiente (from_incoming_variable);
  • snowflake_queries_object: Instrução SQL para criar os objetos para criar as tabelas dentro do Snowflake;

snowflake_flatten_column​

Este step é responsável pela etapa de processamento de dados com o objetivo de consolidar colunas aninhadas do tipo snowflake (objeto) em um conjunto de dados

Pré-requisitos​

  • Credenciais com acesso ao Snowflake;

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • secret_id: id secreto para conexão com o snowflake;
  • auto_discovery_flatten_mode: Permite a detecção automática de colunas para consolidar.;
  • columns_to_flatten: explicitar as colunas para consolidar caso o parametro auto_discovery_flatten_mode não esteja habilitado;
  • incoming_variable_name: nome da variável da etapa que contém a consulta da tabela base;
  • before_apply_operations(opcional): Configurações para modificação das tabela:
    columns_to_remove: Lista de colunas a ser removidas of columns to be excluded.
    column_prefixes_to_remove: Identificar colunas a ser removidas com base no prefixo.
    remove_prefixes_from_columns: Remover prefixo das colunas.

snowflake_remove_columns​

Este step é responsável por remover colunas do ambiente do snowflake.

Pré-requisitos​

  • Credenciais com acesso ao Snowflake;

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • secret_id: id secreto para conexão com o snowflake;
  • columns_to_remove: definir as colunas para remover;
  • input_type: define tipo de entrada: pode ser a partir de um arquivo (from_filepath) ou de uma variável de ambiente (from_incoming_variable);
  • output_type: define como a saída será gerada: pode ser salva em uma variável (to_outgoing_variable) ou em um arquivo de saída (to_filepath);

snowflake_rename_columns​

Este step é responsável por renomear colunas de uma tabela especifica no ambiente do snowflake.

Pré-requisitos​

  • Credenciais com acesso ao Snowflake;
  • Nome das colunas que deseja renomear;

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • secret_id: id secreto para conexão com o snowflake;
  • columns_to_rename: definir as colunas para renomear numa estrutura de chave-valor ("nome da coluna a renomear":"novo nome") ;
  • input_type: define tipo de entrada: pode ser a partir de um arquivo (from_filepath) ou de uma variável de ambiente (from_incoming_variable);
  • output_type: define como a saída será gerada: pode ser salva em uma variável (to_outgoing_variable) ou em um arquivo de saída (to_filepath);

snowflake_text_transformation​

Este step é responsável por transformar colunas do tipo texto no ambiente do snowflake.

Pré-requisitos​

  • Credenciais com acesso ao Snowflake;
  • Nome das colunas para transformação;

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • secret_id: id secreto para conexão com o snowflake;
  • text_transformations: definir que tipo de transformação será aplicada (lower, upper ou trim) ;
  • input_type: define tipo de entrada: pode ser a partir de um arquivo (from_filepath) ou de uma variável de ambiente (from_incoming_variable);
  • output_type: define como a saída será gerada: pode ser salva em uma variável (to_outgoing_variable) ou em um arquivo de saída (to_filepath);

snowflake_unpivot_data​

Este step é responsável por "pivotar" uma tabela (transformar linhas em colunas e vice-versa).

Pré-requisitos​

  • Credenciais com acesso ao Snowflake;

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • secret_id: id secreto para conexão com o snowflake;
  • categorical_column_name: nome da coluna categórica que será usada na operação unpivot. ;
  • numerical_column_name: nome da coluna numérica associada;
  • columns_to_unpivot: nome das colunas que serão recombinadas ("desempacotadas") combinando seus valores para a nova estrutura da tabela;
  • input_type: define tipo de entrada: pode ser a partir de um arquivo (from_filepath) ou de uma variável de ambiente (from_incoming_variable);
  • output_type: define como a saída será gerada: pode ser salva em uma variável (to_outgoing_variable) ou em um arquivo de saída (to_filepath);

standardize_tables_in_snowflake​

Este step é responsável padronizar tabelas em um banco de dados Snowflake. Ela recebe como entrada uma lista de tabelas e um dicionário de configurações de padronização. A função itera sobre cada tabela da lista e aplica as configurações de padronização especificadas no dicionário.

Pré-requisitos​

  • Credenciais com acesso ao Snowflake;
  • Arquivo de padronização de colunas;

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • secret_id: id secreto para conexão com o snowflake;
  • mapping_file_path: caminho do arquivo onde o mapeamento de padronização das colunas está salvo;

standardized_tables_union_all​

Em complemento ao step anterior, este step seleciona todas as tabelas padronizadas (que estarão com um prefixo "STANDARDIZED_") e cria uma view, unindo todas as tabelas padronizadas;

Pré-requisitos​

  • Credenciais com acesso ao Snowflake;
  • Realizada a padronização de tabelas;

Configuração​

Parâmetros​

Os seguintes parâmetros deverão ser fornecidos ao executar o step:

  • secret_id: id secreto para conexão com o snowflake;

trigger_job​

Este step permite acionar um job específico (aqui chamado de Target Job), com base na execução de outra pipeline. Normalmente esse step estará no final da pipeline. Vale observar que esse step funciona tanto para acionarmos jobs no mesmo projeto dentro do módulo de inteligência, quanto para jobs em projetos diferentes.

Pré-requisitos​

  • Conhecimento do instance_url, target_pipeline_uuid e target_job_name do job que deseja acionar;

Configuração​

Parâmetros​

Esses parâmetros deverão ser selecionados no step na pipeline:

  • instance_url: URL base para o módulo de inteligência. Normalmente estão nesse formato: https://app-intelligence-CLIENTE.dadosfera.ai
  • target_pipeline_uuid: ID da pipeline onde o job que deseja acionar está localizado.
  • target_job_name: Nome do job que deseja acionar. É importante manter o mesmo nome sempre que recriar o job.

Ainda, quando executar esse step fora do módulo de inteligência é possível ter os mesmos resultados, porém deve ser utilizado um arquivo de configuração .json, conforme o exemplo abaixo:

{
  "instance_url": "https://app-intelligence-CLIENTE.dadosfera.ai",
  "target_pipeline_uuid": "pipeline_uuid_a",
  "target_job_name": "nome_do_job_01"
}

Este exemplo aciona o job com o nome "nome_do_job_01" na pipeline com o ID "pipeline_uuid_a".