Skip to main content

CAPL_4.10

· 6 min read
TOTVS Inteligência de Dados

🚀 Melhorias

ALERTS_MANAGEMENT CAPL-6828 Permite acesso ao Alerts Management para tenants DEV e UNIF com visualização de dados vinculados à organização

Permite que os tenants DEV e UNIF acessem o Alerts Management, visualizando os dados vinculados à organização. O clientID do Alerts Management utiliza o orgID associado à tenant em que o usuário está logado, garantindo que essa funcionalidade seja válida apenas para os tenants DEV e UNIF.

CONNECTOR CAPL-6650 Melhorar a eficiência do processamento SQL para bachID e consultas genéricas com dados de aterrissagem do BQ

O uso dos dados de aterrissagem do BQ melhora a eficiência do processamento SQL para bachID e consultas genéricas. Essa implementação otimiza a performance das operações, garantindo resultados mais rápidos e precisos.

DATAFLOW CAPL-6651 Atualiza coluna last_record_landed na tabela staging_entity_stats com eventos de confirmação de aterrisagem no BigQuery

A funcionalidade de coleta de eventos de confirmação de aterrisagem no BigQuery agora atualiza a coluna last_record_landed da tabela staging_entity_stats. A implementação utiliza o método de escrita STREAMING_INSERT, garantindo que os registros sejam processados em tempo real. Essa melhoria permite um acompanhamento mais preciso dos dados aterrados, beneficiando os usuários que dependem dessas informações para análise e relatórios.

DATAFLOW, PLATFORM CAPL-6786 Ajusta valor default de ingestionDatetime na tabela BQ ao inserir dados via STORAGE_API

O valor default de _ingestionDatetime agora é corretamente atribuído na tabela BQ ao inserir dados via STORAGE_API. Anteriormente, esse valor não era inserido, resultando em dados nulos e impactando o funcionamento do Clockin, o que dificultava a migração de tenants. Com essa atualização, a tabela BQ garante a inserção do valor padrão, melhorando a integridade dos dados e a eficácia do processo de ingestão. A validação do tempo entre ingestionDatetime e _CHANGE_TIMESTAMP também é realizada para assegurar a precisão dos dados.

DATAFLOW CAPL-6839 Descontinua jobs de Dataflow do tipo Staging e remove subscriptions relacionadas

Descontinuam-se os jobs de Dataflow do tipo Staging, que atualmente não processam dados e consomem recursos desnecessários. A remoção das subscriptions relacionadas a esses jobs será alinhada com a equipe de SRE. No deploy de Sandbox, o flag START_CDS_PIPELINE permanece sempre como TRUE, eliminando a necessidade desse flag no deploy do Jenkins. Essa ação visa otimizar o uso de recursos e simplificar a arquitetura existente.

SQL_PIPELINES CAPL-6775 Ajusta cálculo de maxNumOfWorkers para pipelines de SQL Process e melhora performance

Ajusta-se o cálculo de maxNumOfWorkers para os pipelines de SQL Process, melhorando a performance ao considerar a quantidade total de dados processados. Anteriormente, o cálculo baseava-se em arquivos parquet, o que não se aplica ao SQL Pipeline. Agora, a configuração específica para o número máximo de trabalhadores é implementada, evitando avisos sobre a capacidade de execução e otimizando o uso de recursos. Essa atualização garante que os jobs sejam mais eficientes e que os limites de execução em paralelo sejam respeitados.

TENANT_ADMIN CAPL-6837 CarolSQL permite funcionamento com Google SA e Google User Credentials

O CarolSQL agora permite funcionar tanto com Google SA quanto com Google User Credentials. Anteriormente, o serviço exigia apenas Application Default Credentials (ADC) do tipo Service Account, o que limitava o acesso ao ambiente local, especialmente no projeto labs-poc. Com essa atualização, é possível subir o CarolSQL localmente utilizando User Credentials, facilitando o desenvolvimento e o acesso ao ambiente.

🐛 Correções

ACTIVITY_MANAGEMENT CAPL-6819 Resolução de problema de travamento de tasks em diversas tenants

Identificamos e resolvemos um problema que causa o travamento de tasks em diversas tenants. A consulta realizada lista tasks com status diferente de COMPLETED, CANCELED e FAILED, focando nas que estão em estado READY e RUNNING. As tasks foram filtradas para incluir apenas aquelas que não foram executadas nas últimas 48 horas, permitindo a identificação de tasks realmente travadas. Diversas tasks foram canceladas manualmente para destravar o processo, e as imagens do processo de cancelamento estão disponíveis para referência.

BILLING CAPL-6793 Endpoint de exportação de dados para Billing Viewer gera corretamente arquivo de dados com base no filtro aplicado

O endpoint de exportação de dados para Billing Viewer agora gera corretamente o arquivo de dados do billing com base no filtro aplicado na tela. Essa melhoria permite que os usuários exportem as informações de forma eficiente, garantindo que os dados visualizados sejam disponibilizados para download.

CAROL_APP CAPL-6559 Atualiza tasks agendadas de AI Process para considerar App Settings com valores atualizados

As tasks agendadas de AI Process agora consideram os App Settings com valores atualizados. Anteriormente, ao criar uma task, os valores antigos dos App Settings eram utilizados, resultando em inconsistências durante a execução do processo. Com a correção, as tasks agendadas passam a utilizar sempre o valor atual dos App Settings, eliminando a necessidade de recriação do agendamento para refletir as alterações. Essa melhoria assegura que o processo obtenha os valores corretos armazenados na Carol, garantindo maior precisão e eficiência.

PLATFORM CAPL-6575 Investiga casos de appName ou pipelineName nulo em cenários específicos

O problema de appName ou pipelineName nulo continua ocorrendo em alguns cenários, mesmo após as melhorias implementadas. A equipe investiga os casos restantes que ainda geram esse erro, buscando identificar e corrigir as causas subjacentes. A análise detalhada dos logs e das condições que levam a essas falhas está em andamento para garantir a estabilidade do sistema.

SQL_PIPELINES CAPL-6656 Checkout da Tenant unificada retorna para versão anterior ao atualizar o App gesplanprotheuslink

Ao atualizar o App gesplanprotheuslink, o Checkout configurado na Tenant unificada retorna para uma versão anterior, causando perda da configuração atual. Se a tenant unificada estiver em um commitID superior ao empacotado no Carol App, a versão do commitID atual deve ser mantida. Essa situação gera interrupção no funcionamento da aplicação, mas não provoca impacto financeiro direto. Um vídeo com evidências do problema foi anexado para análise.

SQL_PIPELINES CAPL-6737 Atualiza endpoint de instalação do Carol App para permitir seleção de commitID na tenant unificada

Ao atualizar o App gesplanunif, o Checkout configurado no Unificado retorna para uma versão anterior, causando interrupção no funcionamento da aplicação. O objetivo é permitir que, no endpoint de instalação do Carol App, o usuário informe qual commitID deve ser mantido para a tenant unificada, exibindo informações sobre a branch e os commitIDs disponíveis. A UI orienta o usuário no fluxo de instalação, garantindo que o commitID correto seja utilizado e evitando a perda de configurações anteriores.

VSCODE CAPL-6780 Corrige o campo send real time enviado como false na extensão do VSCODE na Plataforma Carol

A extensão do VSCODE na Plataforma Carol apresenta um problema durante o processamento do pipeline, onde o campo send real time é enviado como false. Isso resulta na falha de propagação de dados para a camada RT, afetando a comunicação com o backoffice. A equipe de produto está avaliando a situação para implementar uma solução.

VSCODE CAPL-6782 Orquestrador da Carol não respeita tempTableRetentionPeriod no pipelines.json

O Orquestrador da Carol não está respeitando o tempTableRetentionPeriod informado no pipelines.json, gerando problemas na aplicação em produção. A análise da viabilidade para que o Orquestrador acate o ajuste solicitado está em andamento. Testes realizados com diferentes períodos de retenção demonstram a inconsistência no comportamento esperado. A situação é considerada de alta prioridade, pois afeta o funcionamento da aplicação sem impacto financeiro direto.