Manipulando Staging Tables

Para iniciar a manipulação de staging tables o usuário precisará:

1. acessar no menu lateral a opção de conectores;
2. clicar no conector que contém a staging table desejada;
3. clicar sobre a staging table para a abertura da sua página.

Dentre as ações disponíveis na página temos representados na imagem:

1. Ícone, ao lado do nome da staging que permite a navegação para dentro do data journey;
2. Filter, botão que permite a seleção de filtros a serem aplicados na busca dentre os quais listamos:
   • Record id
   • Date created
   • Ingestion date
   • Last updated
   • Audit id
   • Batch id
   • Batch id sequence
   • Staging fields
3. Query Editor, ícone e link que permite a navegação para dentro de um editor de consultas SQL;
4. Options, botão que permite editar configurações avançadas da staging;
5. Reset, link que limpa os filtros aplicados na busca;
6. Atualização da tabela, botão que permite atualizar os resultados da pesquisa;
7. Manage table columns, botão que permite:
   • a seleção de colunas a serem exibidas ou escondidas da tabela de registros;
   • a ordenação das colunas da tabela;
   • a seleção entre a exibição ou não de caracteres especiais.
   • o reset das configurações das colunas

Data Management

Área de configuração avançada responsável pelo gerenciamento dos dados, acessível após clicar no botão Options, apresenta as seguintes opções:

1. Reprovision Staging Table, permite ao usuário recriar a tabela e seus registros no BigQuery;
2. Consolidate records, permite ao usuário remover versões do mesmo registro, mantendo apenas a última. Quando ativado o processo é gerido automaticamente pela plataforma. Quando desativado não será executado a rotina de consolidação, mantendo todas as versões dos dados na plataforma Carol.
3. Flexible, permite a criação de novas colunas na tabela a partir de dados recebidos da ingestão.
4. Staging Table Case sensitive, quando ativado a geração do ID interno (mdmID) será case-sensitive, indicando que valores maiúsculos e minúsculos serão tratados de forma diferente (exemplo, "A" será diferente do que "a"). Importante destacar que alterações nesta opção exige uma nova consolidação para geração do novo ID interno (mdmId). A alteração desta propriedade pode impactar como os ID são gerados e consequentemente fazer com que a consolidação remova registros duplicados.

Consolidação lógica e física

A Carol não sobrescreve registros: cada nova chegada de um registro entra como nova versão, com o mesmo mdmId e um mdmCounterForEntity maior. A versão atual é a de maior mdmCounterForEntity.

A consolidação física (Consolidate records) apaga as versões antigas e é realizada no final de semana. Durante a semana, as versões voltam a se acumular na staging. Para consumir só a versão atual, faça a consolidação lógica na consulta:

• use a view deduplicated_stg_<conector>_<staging>, que já traz a última versão de cada mdmId; ou
• escreva a sua própria deduplicação com filtro de partição, que é mais performática porque a view lê a tabela inteira.

select *
from stg_<conector>_<staging>
where <filtro na coluna de partição>
qualify 1 = row_number() over (partition by mdmId order by mdmCounterForEntity desc)

Table Schema

Área de configuração avançada responsável pelo gerenciamento do esquema da tabela, acessível após clicar no botão Options, contém as seguintes opções:

1. + Add identifier, ação que permite adicionar novos campos como chave primária da tabela.
2. + Add field, ação que permite adicionar novos campos ao esquema da tabela.
3. Audit information, possui como objetivo permitir o rastreio de ações na plataforma para gerenciamento; Ao clicar nela podemos ver dados sobrea as últimas ações realizadas:
   • Created at: Data/hora e username que criou a staging table.
   • Updated at: Data/hora e username que fez última alteração na staging.
4. Ações presentes ao passar o mouse sobre cada linha, e que permitem a edição ou remoção de campos presentes no esquema da tabela.

Query Editor

Editor que permite a construção de consultas SQL para análise mais aprofundadas. apresenta as seguintes opções:

1. Área de edição principal onde são construídas as consultas por meio de instruções SQL. Nesta área existe ainda um botão + que permite criar abas adicionais para novas consultas. Há ainda uma opção para esconder a área de edição que fica ao lado do botão Share query e um divisor no estilo drag'n drop que fica entre área de edição e a lista dos resultados que pode aumentar ou reduzir a área de edição.
2. Painel lateral, contendo a estrutura de entidades presentes na tenant na forma de uma árvore hierárquica e um campo de pesquisa, e que podem ser adicionadas à consulta por meio de um duplo clique.
3. Share query, botão que permite ao usuário compartilhar a consulta, por meio da cópia da sua URL.
4. Run, botão que permite ao usuário executar a consulta.
5. Lista contendo o resultado (Hits) da consulta e o tempo decorrido na execução, com as seguintes funções adicionais:
   • Query Executed, apresenta a instrução SQL utilizada na execução da consulta;
   • Execution Plan, apresenta uma visão geral do plano de execução da consulta com dados estatísticos e uma representação gráfica, permitindo uma análise do seu desempenho;
   • Show full values, exibe os valores dos campos de forma completa, ao invés do formato compacto;
   • Export results, permite exportar os resultados para arquivos nos formatos CSV e JSON;
   • Expandir resultados em tela cheia, por meio de um ícone ao lado do botão Export results;
   • Rodapé com ações de paginação.