Skip to main content

Antes de começar

Para começar a inserir dados na Carol é necessário antes adicionar um ou mais Connectors e respectivas Staging Tables.

Dúvidas sobre o que é um connector?
→ Veja mais informações na seção de conceitos.

Adicionando um Connector​

Adicione um novo Connector clicando em Add a Connector na página de Connectors ou Data Journey.

A imagem abaixo exibe todas as fontes de dados permitidas neste momento:

Ingestion: outras formas de obter dados

  • TOTVS Protheus, TOTVS Datasul, TOTVS RM: conectores específicos dos produtos TOTVS que possuem integração com a Carol através do Smart Link. O Smart Link é um aplicativo embarcado no ERP que possui como finalidade a integração de dados com a plataforma Carol.

  • TOTVS Carol Connect: conector próprio da Carol utilizado para integrar dados existentes em banco de dados com a plataforma.
    → Veja mais informações na seção Configuração do 2C..

  • Generic => File: este conector permite o upload de arquivos csv, json e xls, com limite de 100mb, para a plataforma Carol. Esse procedimento de subida de dados é perfeito para dados estáticos que não possuem atualização constante. Os dados contidos nos arquivos serão carregados em Staging Tables.
    → Veja como adicionar um Connector do tipo File

  • Generic => Custom: este conector é a representação de dados que serão integrados através da API da Carol, descrito na documentação Envio de dados por API.

Adicionando uma Staging Table​

É possível adicionar uma nova Staging Table clicando em Add a Staging Table na página de Connectors, ou em mais opções no card do Connector, em Data Journey.
É necessário informar um nome para a nova Staging, e fazer o upload do snapshot ou criar os campos manualmente.

Visualizando a lista de Connectors​

É possível visualizar todos os connectors presentes na Tenant clicando em Connectors no menu lateral esquerdo da plataforma Carol.

Lista de Connectors

Nesta página são apresentadas as seguintes informações:

É apresentada a rota (path) completa desde a página de início na plataforma até os connectors.

  • Add a connector: botão que permite criar um novo connector.
  • Filter: campo contendo uma lista com opções de filtro.
  • Ícone Atualizar: botão que permite atualizar a visualização da lista de connectors.
  • Nome do connector com link que dá acesso a lista de stagings.
  • Tag com o nome do projeto ao qual este connector pertence.
  • Total: Total de staging tables do connector.
  • Paused: número de staging tables pausadas.
  • Not initialized: número de staging tables não inicializadas.
  • Edit connector: botão que permite editar dados do connector, como nome e projeto.
  • ...: botão que permite acessar as opções para visualizar os detalhes do connector ou eliminá-lo.

Visualizando os detalhes do Connector​

É possível visualizar os detalhes do connector clicando em ... e selecionando a opção Connector Details do menu.

Hearbeat

Nesta tela são apresentadas informações coletadas do Carol Connect (Heartbeat):

Em Connection to Database

  • Database Type: informa qual o tipo de banco de dados utilizado.
  • Version: informa a versão deste banco de dados.

Em Server Information

  • Total memory: quantidade total de memória do servidor.
  • Max memory: máximo de memória disponível no servidor.
  • Free memory: quantidade de memória livre no servidor.
  • 2C version: versão do Carol Connect instalado no servidor.
  • Java version: versão do Java instalado no servidor.
  • Timezone: fuso horário utilizado no servidor.
  • osArch: arquitetura do processador no servidor.
  • osName: nome do sistema operacional instalado no servidor.
  • osVersion: versão do sistema operacional instalado no servidor.
  • Host Address: endereço ipv4 do servidor.
  • Encoding: esquema de codificação de caracteres utilizado no servidor.
  • Entities Syncing: número de entidades sincronizadas.

Em Carol Info

  • Username: nome de usuário na Carol.

Em Carol Connect Info

  • Start time: data de inicialização do Carol Connect (2C)
  • Last status update: data da última atualização de status do Carol Connect (2C)
  • Records synced last hour: quantidade de registros sincronizados na última hora.
  • Records synced last 24 hours: quantidade de registros sincronizados nas últimas 24 horas.
  • Last record sent to Carol: data do último envio de registros para a Carol.
  • Additional Information: conjunto detalhado de informações e parâmetros que constam no log do Carol Connect para fins de investigação.

Visualizando as Staging Tables do Connector​

É possível visualizar todas as staging tables presentes no connector clicando em Connectors no menu lateral esquerdo da plataforma Carol e selecionando um Connector da lista ou então a partir da página com a lista de Connectors clicando sobre um deles.

Lista de Staging Tables

Nesta página são apresentadas as seguintes informações:

Topo da Página
É apresentada a rota (path) completa desde a página de início na plataforma até o connector.

  • Ícone do Data Journey: botão que fica ao lado da rota e leva o usuário à página do Data journey.
  • Tag: nome e ID do connector, posicionados ao lado do ícone do Data journey.
  • Add a staging table: botão para adicionar uma nova staging table.
  • Connector Details: botão para visualizar os detalhes do connector.
  • Ícone de Pesquisa: campo utilizado para busca de staging tables.

Colunas da Tabela

  • Staging table: nome da staging table.
  • BigQery records (events): quantidade de registros e eventos no BigQuery.
  • Last consolidation: data da última consolidação de registros realizada.
  • ...: botão com as opções:
    • Download snpashot: baixa o schema da tabela em um arquivo no formato JSON.
    • Delete Staging Table Records: elimina todos os registros, mantendo a staging table sem nenhum registro.
    • Drop Staging Table: elimina a staging table e todos os registros dela.

Visualizando os registros de uma Staging Table​

É possível visualizar os registros de uma staging table a partir da página com a lista de staging tables clicando sobre uma delas.

Registros da Staging Table

Nesta página são apresentadas as seguintes informações:

Topo da Página
É apresentada a rota (path) completa desde a página de início na plataforma até a staging table.

  • Ícone do Data Journey: botão que fica ao lado da rota e leva o usuário à página do Data journey.
  • Tag: nome e ID do connector, posicionados ao lado do ícone do Data journey.
  • Last consolidation: data da última consolidação de registros realizada.
  • Query Editor: botão que abre a visualização do editor de consultas SQL.
  • Options: botão que abre a tela de opções avançadas da staging table.
  • Filter: campo contendo uma lista com opções de filtro.
  • Consolidation: parâmetro que permite a escolha entre visualizar todos os registros ou apenas consolidados.
  • Ícone Atualizar: botão que permite atualizar a visualização dos registros.
  • Ícone Manage table columns: botão que exibe uma lista de opções como ordenação de colunas, exibir caracteres especiais e filtrar colunas.

Colunas da Tabela

note

O schema da tabela é definido pelo cliente conforme o seu negócio e deste modo as colunas irão variar, porém existem colunas de metadados que são fixos na plataforma conforme abaixo.

  • Date created: data em que o registro foi criado na Carol.
  • Last updated: data da útlima mudança do registro na Carol.
  • Record id: identificador único do registro na Carol.
  • Deleted: campo booleano que indica se um registro sofreu eliminação lógica pela regra de rejeição definida na pipeline. Caso verdadeiro (true), o registro será eliminado fisicamente da Carol na próxima consolidação.

Rodapé da Páagina

  • Showing Table Preview: esta Tag demonstra que esta é uma visualização prévia executada em cache de alguns registros não consolidados da tabela (sample data). Ao removê-la é executada uma consulta diretamente no BigQuery para a visualização completa dos registros consolidados.