Skip to main content

CAPL_22

· 8 min read
TOTVS Inteligência de Dados

🚀 Melhorias

BIG_QUERY CAPL-8144 Criada feature flag na Carol para autorização de tenants na funcionalidade de baixa latência

Criada uma feature flag na Carol para definir quais tenants estão autorizadas a usar a funcionalidade de baixa latência (BL). A interface da Carol agora verifica se a tenant está na lista de autorização antes de habilitar a BL na plataforma IDeIA.

BILLING CAPL-8577 Resolve problema de exportação de dados que adiciona coluna em branco no arquivo CSV

Resolvido o problema do export de dados adicionando uma coluna em branco no arquivo CSV. A exportação agora funciona corretamente, garantindo que nenhum espaço em branco indesejado apareça nos arquivos gerados. Isso melhora a qualidade dos dados exportados e facilita o uso posterior das informações.

CAROL_APP CAPL-8201 Gerencia o Carol App em tenants de clientes no Tenant Admin

O Tenant Admin agora pode gerenciar o Carol App em tenants de clientes quando atua em tenants UNIF ou DEV. As operações permitidas incluem atualizar, remover e rodar processos do Carol App, além de atualizar as configurações do aplicativo e instalar o Carol App na tenant cliente, desde que sejam apps da tenant unificada ou desenvolvidos na tenant DEV. Essas ações garantem maior flexibilidade e controle na gestão do aplicativo.

CONNECTOR, DATA_MODEL CAPL-8467 Implementa criação de índices para atributos do tipo vector em PostgreSQL e BigQuery

Implementa a criação de índices para atributos do tipo vector, otimizando buscas nos bancos PostgreSQL (Baixa Latência) e BigQuery. Adiciona mensagens orientativas e links discretos para a documentação em todas as UIs. Os parâmetros essenciais para os índices vetoriais, como "Distance type", "Leaf_node_embedding_count" e "Normalization type" são implementados no BigQuery. No PostgreSQL, são implementados índices como B-tree, Hash, GIN, GiST, SP-GiST e BRIN, além dos parâmetros para IVFFlat e HNSW, garantindo flexibilidade e baixo acoplamento para futuras evoluções.

ORGANIZATION/TENANT CAPL-8195 Atribui automaticamente Org Admin como Tenant Admin durante a criação de Tenants na Carol

O processo de criação de Tenants na Carol agora atribui automaticamente o Org Admin como Tenant Admin, garantindo que a integração com a Refinaria funcione corretamente. Assim, ao criar um Tenant, o e-mail do Org Admin é automaticamente vinculado como Tenant Admin, eliminando a necessidade de intervenção do usuário. Essa melhoria resolve o problema de vinculação de owner na Conta da Refinaria.

ORGANIZATION/TENANT CAPL-8196 Atribui automaticamente o Org Admin como Tenant Admin na criação de Tenants na Carol

A funcionalidade de criação de Tenants na Carol agora atribui automaticamente o Org Admin como Tenant Admin durante o processo. Um novo campo de e-mail para o Org Admin é adicionado, tornando-o obrigatório na criação de uma Org. Essa mudança garante que cada Tenant criada na Carol tenha um Tenant Admin vinculado, atendendo à necessidade da Refinaria de que toda Conta possua um owner. Essa integração melhora a eficiência e a conformidade no gerenciamento de Tenants e Contas.

ORGANIZATION/TENANT CAPL-8542 Implementa fluxos de baixa latência para o front-end na Carol

Implementados os fluxos de baixa latência para o front-end na Carol. Agora, ao solicitar o provisionamento ou inativação de uma tenant, a interface apresenta opções para ativar ou desativar a baixa latência. Além disso, são adicionadas mensagens de bloqueio quando existem entidades com baixa latência ativa. O fluxo de exclusão também é aprimorado, garantindo que a exclusão de tenants e entidades respeitem as regras de baixa latência, comunicando os usuários quando necessário.

PLATAFORMA_IDEIA CAPL-8048 Atualiza funcionalidade de provisionamento de entidades com baixa latência para integrar com a Plataforma IDeIA

A funcionalidade de provisionamento de entidades com baixa latência na plataforma Carol é atualizada para integrar-se com a Plataforma IDeIA. Agora, ao criar ou atualizar entidades, é possível habilitar a flag lowLatency, permitindo que dados críticos sejam processados em tempo real no AlloyDB. A interface do usuário é aprimorada com opções para gerenciar o armazenamento em baixa latência, incluindo limites de 100 GB e mensagens informativas. Além disso, as tarefas de provisionamento ocorrem de forma síncrona, garantindo a integridade dos dados entre Carol e IDeIA.

PLATAFORMA_IDEIA CAPL-8123 Inativação de Baixa Latência de entidade na Carol garante exclusão na Plataforma Ideia

Ao inativar Baixa Latência de uma entidade na Carol, a plataforma garante que a exclusão da BL também ocorra na Plataforma Ideia. O processo de eliminação de entidades com baixa latência é integrado, permitindo que ao eliminar (DROP) entidades, o usuário seja notificado para desativar a baixa latência antes da exclusão.

SQL_PIPELINES CAPL-8191 Fluxos de baixa latência no front-end para otimização do processo

Implementada opção na UI para ativar e desativar a baixa latência no nível da tenant, além de bloqueios e mensagens informativas para ações que envolvem entidades ativas. Adiciona funcionalidades para a criação, habilitação, desabilitação e exclusão de entidades com baixa latência, garantindo que as operações sejam realizadas com segurança. Também permite a navegação entre a Carol e a Refinaria para entidades de baixa latência.

SQL_PIPELINES CAPL-8373 Adiciona mensagem sobre limpeza de dados de Low Latency no clean reprocess

Adiciona uma mensagem informando que o clean reprocess não limpa dados de Low Latency. Essa atualização visa esclarecer o funcionamento do sistema e evitar confusões entre os usuários sobre o tratamento dos dados. A nova mensagem é exibida durante o processo de limpeza, garantindo que os usuários estejam cientes dessa limitação.

🐛 Correções

ACTIVITY_MANAGEMENT CAPL-7663 Documenta problema no AI Process onde execução continua após cancelamento da task

O problema identificado no AI Process, onde a execução continua mesmo após a task ser cancelada, foi documentado. Ao utilizar as opções de cancelamento na interface e nas APIs, o container associado à task permanece ativo, gerando logs desnecessários e custos adicionais. Testes realizados com diferentes métodos de cancelamento confirmam que o comportamento não é o esperado, pois o container finaliza somente após aproximadamente 10 minutos. O comportamento correto seria a finalização imediata do container após a chamada dos endpoints.

ACTIVITY_MANAGEMENT CAPL-7915 Ajuste em tasks de DELETE_TENANT para evitar execuções em loop com reinício de worker

As tasks de DELETE_TENANT foram ajustadas para evitar execuções em loop quando um worker reinicia. Anteriormente, erros de GCS faziam com que a task fosse reexecutada, mesmo após a exclusão bem-sucedida do bucket. Agora, se a task tentar excluir um bucket que já foi removido, ela conclui sem lançar exceções, garantindo um fluxo mais eficiente e evitando falhas desnecessárias.

BILLING CAPL-8256 Criação de novas pipelines para captura de dados GCP visando aprimorar o sistema de billing

A nova funcionalidade suporta a criação de novas pipelines para captura de dados GCP, visando aprimorar o sistema de billing. As novas pipelines permitem a integração de dados essenciais, garantindo uma melhor análise e gestão das informações.

CONNECTOR CAPL-8242 Modal de criação de connector não congela mais e lista novo connector corretamente

Ao criar um connector, o modal não congela mais, permitindo que o usuário finalize a criação sem necessidade de refresh da tela. O novo connector criado é listado corretamente, proporcionando uma experiência mais fluida e eficiente.

CONNECTOR CAPL-8367 Corrige preenchimento automático do Field name e desabilitação do Field type na criação de campos em Staging

Na criação manual de campos em uma Staging, após adicionar o primeiro field, o segundo field name estava sendo preenchido automaticamente com o valor do primeiro, e o Field type aparece desabilitado. Ao salvar nesse estado, o Field type não era preenchido no resumo da tela. Além disso, ao editar o campo, ocorria uma validação que informa que o Field name já existe, causando confusão ao usuário.

DATA_MODEL CAPL-8198 Implementada validação para impedir cadastro de URLs inválidas no Data Subscription

Implementada uma validação que impeça o cadastro de URLs inválidas no Data Subscription. Essa melhoria visa aumentar a robustez do sistema e facilitar a identificação de problemas relacionados a URLs inválidas.

DATA_MODEL CAPL-8390 O botão de edição de registros no Data Model retorna à tela e permite edição de registros

O botão de edição de registros no Data Model, que havia sido descontinuado, volta a aparecer na tela. A funcionalidade permite editar registros e, ao ser utilizado, o registro fica com o connector "Carol Explore", aguardando processamento da Pipeline.

ORGANIZATION/TENANT CAPL-8432 Corrige o problema de looping entre Carol e Azure durante login e logout no Clockin Web

O problema no Clockin Web foi identificado e corrigido, onde os usuários enfrentam um looping entre Carol e Azure durante o login e logout, impedindo o acesso ao aplicativo.

SHARED_DATA CAPL-8476 Corrigido erro ao referenciar campos com espaços nos nomes ao criar novas views pela interface/API da Carol

Corrigido erro ao referenciar campos com espaços nos nomes ao criar novas views pela interface/API da Carol. O erro ocorria quando o nome do alias não era passado entre crases, mesmo que o BigQuery aceite a query como válida.

SQL_PIPELINES CAPL-8497 Plataforma não interpreta manifesto V2 em certas posições

Corrigido problema onde a plataforma não reconhecia o manifesto como V2 caso "version": "V2" estivesse em certas posições. Existiam diferenças nas tags entre as tasks geradas com "version": "V2" no início e no final do manifesto.

TENANT_ADMIN CAPL-7944 Integração de grupos de usuários do Google Groups no BigQuery via Google Integration

A Carol agora suporta a integração de grupos de usuários (Google Groups) no BigQuery via Google Integration. A API foi ajustada para aceitar grupos no formato exigido pelo GCP, permitindo habilitar permissões de acesso e melhorar a escalabilidade no gerenciamento de acessos. O acesso ao BigQuery é concedido ao grupo, mas as consultas são filtradas por políticas de acesso, garantindo maior rastreabilidade e governança de dados. Essa atualização facilita a criação de dashboards baseados em grupos de usuários, otimizando iniciativas de dados.