Baixa Latência

O recurso de Baixa Latência (BL) na plataforma Carol é projetado para otimizar a velocidade de acesso a dados. A ativação deste recurso é altamente recomendada para projetos que exigem resposta rápida e/ou com a necessidade de vetorização dos dados. Esse recurso é essencial, especialmente quando os dados serão utilizados por agentes de Inteligência Artificial e consumidos em ambientes agênticos através de MCP Servers (Model Context Protocol).

Boas Práticas para Dados em Baixa Latência (Pré-Habilitação)

Antes de prosseguir com a ativação do Baixa Latência, é crucial garantir que seus dados e processos atendam às seguintes boas práticas para maximizar a performance e evitar problemas:

• Dado pronto para consumo: Regras de negócio aplicadas, significado claro e documentado.
• Qualidade validada: Campos obrigatórios, tipos corretos, domínio válido e ausência de duplicidades validados.
• Custo e escala avaliados: Cardinalidade, crescimento e índices planejados para gerenciar custos e escalabilidade.
• Segurança e governança aplicadas antes: Classificação, mascaramento e controle de acesso definidos e aplicados.
• Rastreabilidade garantida: Origem, pipeline e versão dos dados identificáveis.

Criação do Ambiente IDEIA e Armazenamento dos Dados em Baixa Latência.

A execução da tarefa de criação de um banco de dados de baixa latência resultará na criação de um workspace dedicado na plataforma IDEIA. Consequentemente, todos os administradores de tenants registrados na plataforma Carol terão o acesso concedido a este domínio no IDEIA. A gestão de acesso às plataformas deve ser efetuada de forma independente, podendo ser restrito o acesso à plataforma IDeIA.

Todos os dados que serão armazenados na camada de baixa latência (POSTGRES / ALLOY DB) na plataforma IDEIA também estão armazenados na plataforma Carol, no BigQuery.

Observação: Este recurso de baixa latência é passível de cobrança futura. Embora ainda não tenhamos uma estimativa de custo definida, as equipes que tiverem a funcionalidade habilitada serão devidamente informadas antes que a cobrança seja iniciada.

Ativando o Baixa Latência em sua tenant

A primeira etapa: A ativação da Feature Flag de baixa latência para a sua tenant apenas pode ser realizada por um Administrador da Organização (Org Admin).

Caso você não seja um Org Admin, é necessário solicitar a habilitação via issue em nosso projeto do Jira antes de começar os próximos passos. Após a confirmação da habilitação na sua tenant, você poderá seguir para os próximos tópicos.

Se você for um Administrador da Organização (Org Admin), você pode habilitar a feature flag de baixa latência para a sua tenant diretamente através da interface de administração:

• Acesse sua Organização.
• Clique em Manage e depois em Tenants.
• Localize a tenant desejada.

• Clique em Edit (Editar).
• Marque a opção Enable low latency (Habilitar baixa latência).

Validando se a tenant está ativada para o baixa latência

Para validar se sua tenant está habilitada para o baixa latência:

• Clique em Tenant Admin, no canto superior direito da tela.
• Em Setting, você encontrará o parâmetro low latency. Se estiver aparecendo Low latency enabled, significa que sua tenant está com o baixa latência habilitado.

Criando connector e schema com baixa latência

Com o ambiente de baixa latência habilitado, você pode criar o connector e o schema que farão parte dele.

Observação: Após a habilitação do BL na tenant, para a criação de um novo schema de baixa latência, é necessário passar o parâmetro mdmlowlatency:true na criação de um schema.

1. Criação do Connector

• Crie um connector do tipo custom (documentação).
• Para criar uma staging table com baixa latência no connector, ao clicar em add staging table a opção low latency deve ser marcada como habilitada.

Após habilitado, dentro da tabela criada é possível ver a flag Low latency. Essa flag informa que todo dado salvo na Staging Table na Plataforma Carol(Big Query) e , também terá seus dados salvos no Baixa latência na plataforma IDeIA.

2. Como desabilitar a gravação dos dados na camada de baixa latência da tabela

Após a ativação do Baixa Latência (Low Latency) em sua tenant, você tem a opção de controlar a gravação dos dados na camada de baixa latência para uma staging table específica.

Para habilitar ou desabilitar essa funcionalidade:

• Clique na staging table desejada.
• No canto superior direito, acesse Options.
• Selecione Low Latency e use a opção para habilitar ou desabilitar a gravação conforme sua preferência.

Criando um Data Model em baixa latência

1. Siga o passo a passo de criação de um Data Model como de costume na plataforma de dados TOTVS Carol .
2. Durante a etapa de criação, existe a opção de habilitar o low latency para que esse dado também seja armazenado no Baixa Latência.

Visualização e Uso dos Dados em Baixa Latência

Uma vez o Baixa Latência habilitado, os dados brutos de staging tables que estão no seu BigQuery (BQ) também serão direcionados para esta camada.

Para interagir com os dados armazenados em Baixa Latência, é necessário acessar a plataforma IDEIA . Enquanto na plataforma Carol você consegue apenas visualizar que sua tabela possui a camada de Baixa Latência (por exemplo, a flag Low Latency na Staging Table), é no IDEIA que você poderá, de fato, acessar os dados e utilizá-los para criar tools e realizar outras operações.

Para visualizar seu dado armazenado no Baixa Latencia, acesse a plataforma IDEIA .