Skip to main content

CAPL_27

· 9 min read
TOTVS Inteligência de Dados
Product & Support Team

🚀 Melhorias

ACTIVITY_MANAGEMENT CAPL-8836 Implementa criação de índices BQ para badges de storage type baixa latência

Implementa a capacidade de criar índices BQ, garantindo que os badges de storage type baixa latência linkem corretamente para a plataforma ideal em seus diferentes contextos.

CAROL_APP CAPL-9660 Adapta a UI da Carol para criação e publicação de aplicações com integração à Plataforma IDeIA

A UI da Carol é adaptada para a criação, nova versão, publicação e aprovação de aplicações, integrando-se com a Plataforma IDeIA. As operações passam a ser assíncronas, utilizando novos endpoints no path /dataApps, em vez dos anteriores no path /carolApps. Isso permite a criação simultânea de CarolApp e IdeiaApp, com o retorno da task criada na Carol. TenantAdmins podem continuar utilizando as mesmas telas para essas operações, que agora informam o andamento e não permitem novas requisições do mesmo tipo enquanto uma operação está em andamento.

CAROL_APP CAPL-9988 Torna campo de descrição obrigatório na criação de novo Carol App

O campo de descrição é tornado obrigatório na criação de um novo Carol App, garantindo que todos os apps criados na Carol estejam em conformidade com a plataforma IDeIA. Essa alteração previne a quebra do fluxo de integração, assegurando que o campo de descrição seja preenchido automaticamente durante o processo de criação. Assim, a integração entre as plataformas se torna mais eficiente e coesa.

EXPLORE CAPL-9772 Endpoints filter e named query agora suportam Accept-Encoding: gzip

Os endpoints {{filter}} e {{named query}} passaram a suportar respostas compactadas via {{Accept-Encoding: gzip}} (feature flag). Sem header ou sem flag, o retorno segue em JSON. Reduz tráfego e custo de rede para os tenants.

ORGANIZATION_ADMIN CAPL-9771 Impedir Org Admin de eliminar tenant DEV com app em desenvolvimento ou tenants associados

Adiciona uma validação que impede o Org Admin de eliminar um tenant DEV que possui um app em desenvolvimento e tenants com o app instalado. Quando essa tentativa ocorre, é exibida a mensagem informativa sobre a impossibilidade da ação até que o app seja removido de todos os tenants associados. O Org Admin ainda pode eliminar um tenant DEV se ele não tiver tenants com o app instalado. Essa mudança garante a integridade dos dados e a continuidade dos serviços para os tenants.

SQL_PIPELINES CAPL-9776 Implementa habilitação e desabilitação de AI para tenants com gerenciamento pelo ORG ADMIN

O recurso de habilitação e desabilitação de AI para tenants está implementado, permitindo que ORG ADMIN gerencie o uso do BQ ML nas pipelines Carol para geração de embeddings. A conexão com o Vertex é criada para tenants que têm a feature habilitada. A flag {{allowedUsageAI}} é adicionada na tenant, integrando a ativação e inativação com os endpoints de Integration. Uma nova task é criada para tratar o processo de habilitação/inativação, que só pode ser ativado após o provisionamento bem-sucedido do BQ.

🐛 Correções

2C-CAROL_CONNECT CAPL-10071 Atualiza script cloud para instalação do 2C dos clientes permitindo acesso a versões superiores à 3.7.0

A atualização do script cloud para a instalação do 2C dos clientes é realizada, permitindo que o time de cloud acesse versões superiores à 3.7.0. A versão 3.7.0 apresenta problemas que foram corrigidos a partir da versão 3.7.1. Esta atualização é crítica, pois impacta diretamente a continuidade das atividades produtivas e as implantações nos ambientes dos clientes. O processo já está em produção e a atualização é necessária para garantir a estabilidade e eficiência do serviço. Versões do 2C disponíveis em CAROL CONNECT Versions

ACTIVITY_MANAGEMENT CAPL-10179 Amplia funcionalidade de criação de índices de baixa latência para incluir índices BQ

A funcionalidade de criação de índices de baixa latência é ampliada para permitir também a criação de índices BQ, assim como já é possível no modal de opções avançadas de ST/DM. Isso melhora a eficiência na migração para signals, oferecendo mais flexibilidade na gestão de dados. As alterações são refletidas nas interfaces do usuário conforme os designs apresentados.

ACTIVITY_MANAGEMENT CAPL-10201 Identificam-se regressões na plataforma após migração para componentes autônomos e signals
Editor de queries SQL não permite escrita
Filtro Date Updated no Activity Management exibe valores incorretos em vermelho
Task Logs não aparecem e necessitam

Identificam-se regressões na plataforma após a migração para componentes autônomos e signals. O Editor de queries SQL não permite a escrita, e o filtro Date Updated no Activity Management exibe valores incorretos em vermelho. Os task Logs não aparecem, mas parecem ter retornado, necessitando de investigação adicional. Além disso, o código SQL não é exibido na drawer de detalhamento da pipeline. Esses pontos foram corrigidos.

CONNECTOR CAPL-9751 Validação na gravação de atributos de meta informação (Carol)

Foram realizados ajustes nas rotinas internas de validação de escrita de dados para garantir consistência em variações de formato (como atributos do tipo TIMESTAMP), assegurando a correta gravação dos atributos de meta informação.

DATA_PROCESSING CAPL-9622 Permite o update da tenant com a atualização do campo MDM_UNIFIED_TENANTS_MAPPING pelo carolAdmin

Permite o update da tenant com a atualização do campo MDM_UNIFIED_TENANTS_MAPPING quando realizado por carolAdmin, possibilitando corrigir problemas referente a connector não encontrado na tenant customer.

DATA_PROCESSING CAPL-10091 Os dados não estão sendo removidos da tabela unificada após a execução da task de remoção de dados.

Os dados não estão sendo removidos da tabela unificada após a execução da task de remoção de dados. Durante a execução da task PROVISION_BIGQUERY_UPDATE_DATA_MODEL_AND_STAGING, foi identificado que a ausência de um connector declarado em unified_tenants_mapping gera uma exceção, impedindo a continuidade da task. A solução proposta permite que, caso o conector não exista, a execução prossiga normalmente, indicando a falta do conector, sem bloquear a task. Além disso, o update da tenant deve permitir a atualização do campo MDM_UNIFIED_TENANTS_MAPPING.

DATA_PROCESSING CAPL-10100 Identifica falha na task de copy data após desinstalação de app de customer

A falha na task de copy data é identificada, onde, após a desinstalação de um app de um customer, a task de remove tenant data in unified é disparada e executada corretamente, mas alguns dados permanecem na staging da unificada. Além disso, as tasks de copy data também falham quando o CDSV2 está ativo, conforme observado nos testes realizados com o cdsv2 e storageapi ativos. A situação foi corrigida.

PLATFORM CAPL-7516 Adiciona resiliência para quando ocorre erro de gateway timeout no elasticsearch

O erro de execução de busca ocorre devido a um timeout de 504 Gateway, resultando em uma resposta inválida do Elasticsearch. Isso pode ser causado por um overload no Elasticsearch, problemas de configuração da aplicação, ou falhas na rede do GKE. A solução adiciona resiliência ao processo com retry nesses cenários, para garantir que esses records sejam publicados no NATS.

PLATFORM CAPL-7666 Resolve problema de ingestão de dados que interrompe subscrição antes de conclusão

O problema de ingestão de dados é resolvido, onde a subscrição é interrompida antes de ser concluída, resultando em um erro ao publicar registros no NATS. A situação ocorre devido a uma interrupção da thread durante uma operação de leitura no couchbase, possivelmente causada por um evento externo, como um shutdown da aplicação ou timeout. A correção garante que a operação de publicação funcione corretamente sem interrupções indesejadas, melhorando a estabilidade do sistema.

PLATFORM CAPL-9762 Validação e sanitização no formulário de cadastro de usuários

Identificou-se uma falha de validação no formulário de cadastro de usuários, onde caracteres especiais eram aceitos no campo de nome do usuário. Foi feita a implementação de validação e sanitização dos campos de entrada, permitindo apenas caracteres válidos

PLATFORM CAPL-9900 Aprimora validação e sanitização dos campos de entrada no formulário de cadastro de usuários

A validação e sanitização dos campos de entrada no formulário de cadastro de usuários são aprimoradas. O sistema agora restringe a inserção de caracteres especiais no campo de nome de usuário, permitindo apenas letras e espaços. Essa mudança resolve a vulnerabilidade identificada durante os testes de PENTEST, garantindo maior segurança contra entradas maliciosas. Além disso, são implementados testes automatizados para assegurar a robustez do sistema em relação a novas vulnerabilidades.

SQL_PIPELINES CAPL-9798 Corrige problema de dispatch duplicado na Pipeline Hashes que causa latência e erros intermitentes

O problema de dispatch duplicado da Pipeline Hashes resulta na indisponibilidade de recursos, causando latência e erros intermitentes durante a persistência dos dados. Essa situação gera tentativas automáticas que aumentam a duração das tasks, atrasando a disponibilização das informações aos clientes. Além disso, a validação redundante após a conclusão do job provoca um estado ambíguo de processamento, o que pode levar à desatualização de dados críticos no ambiente de produção, comprometendo a integridade das informações.

SQL_PIPELINES CAPL-9799 Detecta falha intermitente na execução da Pipeline Hashes no ambiente unificado após migração

Detecta-se uma falha intermitente na execução da Pipeline Hashes no ambiente unificado (clockinunif) após a migração bem-sucedida. Apesar da configuração correta, instabilidades na infraestrutura da Plataforma Carol causam interrupções no processamento, resultando em erros durante a montagem da pipeline. Os logs indicam uma exceção do Elasticsearch por índice não encontrado, afetando todos os clientes no ambiente unificado, ao contrário do modelo anterior que isolava as falhas por tenant. A situação gera um impacto operacional crítico.