Manipulando Staging Tables

Para iniciar a manipulação de staging tables o usuário precisará:

1. acessar no menu lateral a opção de conectores;
2. clicar no conector que contém a staging table desejada;
3. clicar sobre a staging table para a abertura da sua página.

Dentre as ações disponíveis na página temos representados na imagem:

1. Ícone, ao lado do nome da staging que permite a navegação para dentro do data journey;
2. Filter, botão que permite a seleção de filtros a serem aplicados na busca dentre os quais listamos:
   • Record id
   • Date created
   • Ingestion date
   • Last updated
   • Audit id
   • Batch id
   • Batch id sequence
   • Staging fields
3. Query Editor, ícone e link que permite a navegação para dentro de um editor de consultas SQL;
4. Options, botão que permite editar configurações avançadas da staging;
5. Reset, link que limpa os filtros aplicados na busca;
6. Atualização da tabela, botão que permite atualizar os resultados da pesquisa;
7. Manage table columns, botão que permite:
   • a seleção de colunas a serem exibidas ou escondidas da tabela de registros;
   • a ordenação das colunas da tabela;
   • a seleção entre a exibição ou não de caracteres especiais.
   • o reset das configurações das colunas

Data Management

Área de configuração avançada responsável pelo gerenciamento dos dados, acessível após clicar no botão Options, apresenta as seguintes opções:

1. Reprovision Staging Table, permite ao usuário recriar a tabela e seus registros no BigQuery;
2. Consolidate records, permite ao usuário remover versões do mesmo registro, mantendo apenas a última. Quando ativado o processo é gerido automaticamente pela plataforma. Quando desativado não será executado a rotina de consolidação, mantendo todas as versões dos dados na plataforma Carol.
3. Flexible, permite a criação de novas colunas na tabela a partir de dados recebidos da ingestão.
4. Staging Table Case sensitive, quando ativado a geração do ID interno (mdmID) será case-sensitive, indicando que valores maiúsculos e minúsculos serão tratados de forma diferente (exemplo, "A" será diferente do que "a"). Importante destacar que alterações nesta opção exige uma nova consolidação para geração do novo ID interno (mdmId). A alteração desta propriedade pode impactar como os ID são gerados e consequentemente fazer com que a consolidação remova registros duplicados.

Table Schema

Área de configuração avançada responsável pelo gerenciamento do esquema da tabela, acessível após clicar no botão Options, contém as seguintes opções:

1. + Add identifier, ação que permite adicionar novos campos como chave primária da tabela.
2. + Add field, ação que permite adicionar novos campos ao esquema da tabela.
3. Audit information, possui como objetivo permitir o rastreio de ações na plataforma para gerenciamento; Ao clicar nela podemos ver dados sobrea as últimas ações realizadas:
   • Created at: Data/hora e username que criou a staging table.
   • Updated at: Data/hora e username que fez última alteração na staging.
4. Ações presentes ao passar o mouse sobre cada linha, e que permitem a edição ou remoção de campos presentes no esquema da tabela.

Query Editor

Editor que permite a construção de consultas SQL para análise mais aprofundadas. apresenta as seguintes opções:

1. Área de edição principal onde são construídas as consultas por meio de instruções SQL. Nesta área existe ainda um botão + que permite criar abas adicionais para novas consultas. Há ainda uma opção para esconder a área de edição que fica ao lado do botão Share query e um divisor no estilo drag'n drop que fica entre área de edição e a lista dos resultados que pode aumentar ou reduzir a área de edição.
2. Painel lateral, contendo a estrutura de entidades presentes na tenant na forma de uma árvore hierárquica e um campo de pesquisa, e que podem ser adicionadas à consulta por meio de um duplo clique.
3. Share query, botão que permite ao usuário compartilhar a consulta, por meio da cópia da sua URL.
4. Run, botão que permite ao usuário executar a consulta.
5. Lista contendo o resultado (Hits) da consulta e o tempo decorrido na execução, com as seguintes funções adicionais:
   • Query Executed, apresenta a instrução SQL utilizada na execução da consulta;
   • Execution Plan, apresenta uma visão geral do plano de execução da consulta com dados estatísticos e uma representação gráfica, permitindo uma análise do seu desempenho;
   • Show full values, exibe os valores dos campos de forma completa, ao invés do formato compacto;
   • Export results, permite exportar os resultados para arquivos nos formatos CSV e JSON;
   • Expandir resultados em tela cheia, por meio de um ícone ao lado do botão Export results;
   • Rodapé com ações de paginação.