🚀 Melhorias​

BILLING CAPL-7019 Lista os Carol Apps instalados na Tenant na visão do Account Manager

Agora é possível listar os Carol Apps instalados na Tenant na visão do Account Manager, facilitando a visualização e o gerenciamento dos aplicativos disponíveis. Essa melhoria proporciona uma experiência mais completa e eficiente para os usuários que atuam nessa função.

ORGANIZATION/TENANT CAPL-7022 Desabilita botão Adicionar Usuários durante criação de novo Tenant

O botão "Adicionar Usuários" é desabilitado durante a criação de um novo Tenant, evitando que o usuário clique e receba uma mensagem de erro. Essa mudança melhora a experiência do usuário ao garantir que ações não sejam realizadas antes da finalização do processo de criação do Tenant. O botão é habilitado novamente assim que a criação do Tenant é concluída, permitindo que os usuários acessem as funcionalidades apropriadas sem interrupções.

TENANT_ADMIN CAPL-7024 Administração do Tenant permite copiar tenantId e datasetId para usuários da Carol
Permite copiar qualified name do ambiente da Carol seguindo regra estabelecida
Nova opção de abrir console do BigQuery está disponível para usuários do domínio TOTVS

A funcionalidade de administração do Tenant agora permite copiar o tenantId e o datasetId, facilitando o trabalho dos usuários da Carol. Além disso, é possível copiar o qualified name do ambiente da Carol, seguindo a regra estabelecida. A nova opção de abrir o console do BigQuery está disponível para usuários do domínio TOTVS, com a URL configurada para selecionar automaticamente o projeto correspondente. Esse link é adicionado à barra principal da Carol, no topo da página, melhorando a acessibilidade.

🐛 Correções​

CAROL_APP CAPL-6855 Corrige exibição de Invalid Date ao editar Schedule de AI Process em ambientes diversos

O problema de exibição de "Invalid Date" ao editar um Schedule de AI Process é identificado em diversos ambientes. Ao clicar em Edit em um Carol App Process agendado, o campo Starts After apresenta o erro e impede o cálculo dos próximos schedules. Esse comportamento ocorre apenas com schedules já existentes, enquanto novos agendamentos funcionam corretamente.

CAROL_APP CAPL-6990 Corrige a exibição incorreta da mensagem de erro de conexão com o Git em tenants unificados

A mensagem de erro na conexão com o Git é exibida de forma incorreta em tenants unificados. Ao navegar na tenant e retornar à home, a mensagem "There is a problem connecting with Git, please update the credentials on the Carol App." aparece, mesmo quando a conexão está correta. Além disso, ao acessar a home diretamente, a mensagem surge rapidamente antes de desaparecer. O problema foi verificado em várias tenants unificadas, apresentando o mesmo comportamento.

TENANT_ADMIN CAPL-7056 Habilita integração de recursos da Google na tenant Fluig após resolução de bloqueio de e-mail

A integração de recursos da Google na tenant Fluig está sendo habilitada, após a identificação de que o e-mail @fluig.com impede a ativação. Esse bloqueio afeta a continuidade do projeto na plataforma Carol, causando um impacto crítico nas atividades produtivas.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-6852 Separar o processo Stale em dois trabalhos distintos para gerenciar tarefas RUNNING e READY

O processo Stale é separado em dois trabalhos distintos para gerenciar tarefas órfãs do tipo RUNNING e tarefas READY por um período prolongado. Isso assegura que problemas em um job não impactem o outro. Um job é criado especificamente para o método StaleTaskCheckJob#deallocateRunningTasks, enquanto um segundo job é desenvolvido para o método StaleTaskCheckJob#replayReadyStaleTasks. Ambos os jobs operam de forma independente, melhorando a eficiência do gerenciamento de tarefas.

CONNECTOR CAPL-6848 "Atualização do Endpoint de Gravação de Golden Record"

Endpoint de gravação de golden record não deve gravar dados no CDS. O endpoint /api/v1/admin/entities/templates/%temploateID%/goldenRecords?mdmIdBasedMergeRule=true está gravando dados no CDS, o comportamento foi revisado para apenas gravar no BigQuery e RT (caso o DM tenha o storage type adicionado).

DATAFLOW, PLATFORM CAPL-6844 Implementacão de STORAGE_API para atribuir valor default a _ingestionDatetime na tabela BQ

A implementação do STORAGE_API agora permite que a tabela BQ atribua o valor default para _ingestionDatetime ao inserir dados, evitando que esse campo fique nulo. Com essa mudança, o valor que chega à tabela reflete corretamente o timestamp da ingestão, melhorando o funcionamento do Clockin e facilitando a migração de tenants que utilizam o app para STORAGE_API. A validação do tempo entre ingestionDatetime e _CHANGE_TIMESTAMP também é realizada para garantir a precisão dos dados.

DATAFLOW CAPL-6873 Descontinuação de jobs do Dataflow Staging não utilizados e remove Subscriptions em alinhamento com SRE.

Descontinua-se os jobs de Dataflow do tipo Staging que não são mais utilizados. Alinha-se com SRE a remoção das Subscriptions. Os jobs de Staging estão consumindo recursos sem processar dados. Os jobs CDS e Staging têm funcionalidades específicas. Existem 4 tópicos em uso na arquitetura.

DATA_PROCESSING CAPL-6840 Efetivar a ingestão de colunas não especificadas na tenant unificada para a tenant DEV

A ingestão de colunas não especificadas na tenant unificada para a tenant DEV é efetivada, permitindo o carregamento de colunas não especificadas na tabela da tenant unif. A funcionalidade copia atributos (chave/valor) dentro de uma coluna Json, otimizando o processo de integração de dados. Essa melhoria garante maior flexibilidade na manipulação de informações nas tenants.

DATA_PROCESSING CAPL-6887 Realiza ingestão de colunas customizadas na tenant unificada para gesplan

A ingestão de colunas customizadas na tenant unificada para o caso gesplan é realizada, permitindo o carregamento de colunas não especificadas na tabela da tenant unificada. A solução envolve a cópia de atributos (chave/valor) dentro de uma coluna Json, facilitando a leitura de atributos específicos através de um pipeline.

EXPLORE CAPL-6980 Exibição de datasets do Mandalore no Explorer e adiciona novos agrupadores Ideia - Data Products e Ideia - Subscriptions

Os datasets do Mandalore são agora exibidos no Explorer. Dois novos agrupadores são adicionados: "Ideia - Data Products" e "Ideia - Subscriptions". Cada agrupador apresenta N datasets, que contêm N objetos, incluindo tabelas e views. O endpoint do Carol SQL retorna esses dados, permitindo acesso estruturado às informações.

SHARED_DATA CAPL-6850 Exibe nomes das organizações e tenants que compartilham e recebem dados

O sistema agora exibe o nome das organizações e das tenants que estão compartilhando e recebendo dados. Essa atualização melhora a visibilidade e o controle sobre as interações entre as tenants, facilitando a gestão e o monitoramento das operações de compartilhamento de dados.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-6406 StaleTaskCheckJob não lança mais exceção NoSuchElementException ao buscar scheduled tasks ausentes

O StaleTaskCheckJob agora não lança mais a exceção "NoSuchElementException" ao tentar obter scheduled tasks que não existem. Isso ocorre quando a tarefa de desalocação de tasks encontra a ausência de scheduled tasks, permitindo que outras tasks sejam processadas corretamente. Essa atualização garante que o fluxo de execução do job não seja interrompido, mesmo que as tasks tenham sido removidas por outros processos, como a deleção de Tenants.

ALERTS_MANAGEMENT CAPL-6859 Atualiza notificações para incluir mdmName e exibir nome da tenant na lista de eventos

As notificações agora incluem o mdmName, permitindo a exibição do nome da tenant na lista de eventos. Essa atualização facilita a avaliação das notificações na Carol, que anteriormente mostrava apenas o mdmTenantId.

DATA_MODEL CAPL-6857 Resolve problema de build da pipeline arinvoice na tenant unified antecipaprotheusunif ao atualizar cache CUSTOMER_TENANTS_FROM_UNIFIED ao deletar tenant customer

O problema de build da pipeline arinvoice na tenant unified antecipaprotheusunif é resolvido. A falha ocorre devido à falta de atualização do cache CUSTOMER_TENANTS_FROM_UNIFIED ao deletar uma tenant customer, resultando em sua consideração no processo de fanout e subscription. Agora, ao deletar uma tenant, o sistema verifica se ela é do tipo Customer e a exclui do cache correspondente, evitando erros relacionados à recuperação da subscription do entity template no index do ES.

DATA_PROCESSING CAPL-6657 Preserva valores dos campos definidos no crosswalk em registros deletados

Ao acionar o serviço de eliminação de dados pelo crosswalk, o sistema preserva os valores dos campos definidos no crosswalk nos registros deletados, mantendo o mdmDeleted=true. Essa mudança facilita a rastreabilidade dos dados, permitindo que equipes externas investiguem problemas e compreendam melhor seus pipelines. Além disso, os registros na tabela de staging preservam os campos setting_name, app_name, tenantID e mdmID, garantindo que informações essenciais permaneçam acessíveis durante consultas.

DATA_SUBSCRIPTION CAPL-6993 Corrige falha de notificação no Data Subscription do cliente Gesplan

O problema identificado no cliente Gesplan refere-se à task SQL que, apesar de ter o Data Subscription habilitado, não enviou dados ao endpoint configurado. A investigação confirma que, embora os registros tenham sido gerados e inseridos no Data Model, não houve ação de notificação registrada nos logs. A ausência do recordId na tabela de logs do sistema de Data Subscription indica uma falha na persistência. Uma query foi elaborada para identificar proativamente outros casos similares, permitindo uma análise mais aprofundada.

PLATFORM CAPL-6863 Erro de entidade não existente ao corrigir staging tables com status INACTIVE ou CHANGE_IN_PROGRESS no BigQuery

A atualização do schema gera um erro de entidade não existente ao corrigir staging tables com status INACTIVE ou CHANGE_IN_PROGRESS no BigQuery. O erro indica que o documento atualizado não existe para a tenant especificada. Embora a geração do arquivo avro tenha sido bem-sucedida em outra tenant, o schema da staging table não foi atualizado. Enquanto algumas tenants resolveram o problema, outras ainda enfrentam dificuldades na atualização do schema através do processo de geração do arquivo avro.

PLATFORM CAPL-6881 Corrige vulnerabilidade de enumeração de contas na Plataforma Carol durante o login

Foi identificado um problema onde a enumeração de contas é possível através de requisições para um endpoint específico. Isso permite que usuários mal-intencionados mapeiem endereços de e-mail de usuários da TOTVS, expondo-os a potenciais ataques. Para mitigar essa vulnerabilidade, são implementadas correções que impedem a exposição de informações sobre a existência de usuários durante o login e garantem que cada usuário tenha acesso apenas ao seu respectivo Tenant.

SHARED_DATA CAPL-6882 Investiga erro na consulta de shared data entre os tenants hlcloud e telemetria na view shd_hlcloud_p07000

Identificamos um erro na consulta de shared data entre os tenants hlcloud e telemetria, onde a view shd_hlcloud_p07000 retorna um status code 500. Apesar da tabela existir e ser validada, a consulta falha, enquanto uma nova shared view com nome diferente funciona corretamente. Acreditamos que o problema não esteja relacionado a erros de requisições, pois outras consultas operam normalmente. A situação requer investigação adicional para resolver a questão de acesso e permissões na tabela.

SQL_PIPELINES CAPL-6853 Permite execução de pipelines em ambientes específicos para grupos de tenants

O orquestrador agora permite a execução de pipelines apenas em alguns ambientes, possibilitando que uma pipeline de Image seja liberada gradualmente. Essa funcionalidade permite que uma pipeline seja executada por um grupo específico de tenants, enquanto outros grupos de tenants podem ser excluídos da execução. Essa melhoria proporciona maior controle e flexibilidade na gestão das pipelines.

🚀 Melhorias​

ALERTS_MANAGEMENT CAPL-6828 Permite acesso ao Alerts Management para tenants DEV e UNIF com visualização de dados vinculados à organização

Permite que os tenants DEV e UNIF acessem o Alerts Management, visualizando os dados vinculados à organização. O clientID do Alerts Management utiliza o orgID associado à tenant em que o usuário está logado, garantindo que essa funcionalidade seja válida apenas para os tenants DEV e UNIF.

CONNECTOR CAPL-6650 Melhorar a eficiência do processamento SQL para bachID e consultas genéricas com dados de aterrissagem do BQ

O uso dos dados de aterrissagem do BQ melhora a eficiência do processamento SQL para bachID e consultas genéricas. Essa implementação otimiza a performance das operações, garantindo resultados mais rápidos e precisos.

DATAFLOW CAPL-6651 Atualiza coluna last_record_landed na tabela staging_entity_stats com eventos de confirmação de aterrisagem no BigQuery

A funcionalidade de coleta de eventos de confirmação de aterrisagem no BigQuery agora atualiza a coluna last_record_landed da tabela staging_entity_stats. A implementação utiliza o método de escrita STREAMING_INSERT, garantindo que os registros sejam processados em tempo real. Essa melhoria permite um acompanhamento mais preciso dos dados aterrados, beneficiando os usuários que dependem dessas informações para análise e relatórios.

DATAFLOW, PLATFORM CAPL-6786 Ajusta valor default de ingestionDatetime na tabela BQ ao inserir dados via STORAGE_API

O valor default de _ingestionDatetime agora é corretamente atribuído na tabela BQ ao inserir dados via STORAGE_API. Anteriormente, esse valor não era inserido, resultando em dados nulos e impactando o funcionamento do Clockin, o que dificultava a migração de tenants. Com essa atualização, a tabela BQ garante a inserção do valor padrão, melhorando a integridade dos dados e a eficácia do processo de ingestão. A validação do tempo entre ingestionDatetime e _CHANGE_TIMESTAMP também é realizada para assegurar a precisão dos dados.

DATAFLOW CAPL-6839 Descontinua jobs de Dataflow do tipo Staging e remove subscriptions relacionadas

Descontinuam-se os jobs de Dataflow do tipo Staging, que atualmente não processam dados e consomem recursos desnecessários. A remoção das subscriptions relacionadas a esses jobs será alinhada com a equipe de SRE. No deploy de Sandbox, o flag START_CDS_PIPELINE permanece sempre como TRUE, eliminando a necessidade desse flag no deploy do Jenkins. Essa ação visa otimizar o uso de recursos e simplificar a arquitetura existente.

SQL_PIPELINES CAPL-6775 Ajusta cálculo de maxNumOfWorkers para pipelines de SQL Process e melhora performance

Ajusta-se o cálculo de maxNumOfWorkers para os pipelines de SQL Process, melhorando a performance ao considerar a quantidade total de dados processados. Anteriormente, o cálculo baseava-se em arquivos parquet, o que não se aplica ao SQL Pipeline. Agora, a configuração específica para o número máximo de trabalhadores é implementada, evitando avisos sobre a capacidade de execução e otimizando o uso de recursos. Essa atualização garante que os jobs sejam mais eficientes e que os limites de execução em paralelo sejam respeitados.

TENANT_ADMIN CAPL-6837 CarolSQL permite funcionamento com Google SA e Google User Credentials

O CarolSQL agora permite funcionar tanto com Google SA quanto com Google User Credentials. Anteriormente, o serviço exigia apenas Application Default Credentials (ADC) do tipo Service Account, o que limitava o acesso ao ambiente local, especialmente no projeto labs-poc. Com essa atualização, é possível subir o CarolSQL localmente utilizando User Credentials, facilitando o desenvolvimento e o acesso ao ambiente.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-6819 Resolução de problema de travamento de tasks em diversas tenants

Identificamos e resolvemos um problema que causa o travamento de tasks em diversas tenants. A consulta realizada lista tasks com status diferente de COMPLETED, CANCELED e FAILED, focando nas que estão em estado READY e RUNNING. As tasks foram filtradas para incluir apenas aquelas que não foram executadas nas últimas 48 horas, permitindo a identificação de tasks realmente travadas. Diversas tasks foram canceladas manualmente para destravar o processo, e as imagens do processo de cancelamento estão disponíveis para referência.

BILLING CAPL-6793 Endpoint de exportação de dados para Billing Viewer gera corretamente arquivo de dados com base no filtro aplicado

O endpoint de exportação de dados para Billing Viewer agora gera corretamente o arquivo de dados do billing com base no filtro aplicado na tela. Essa melhoria permite que os usuários exportem as informações de forma eficiente, garantindo que os dados visualizados sejam disponibilizados para download.

CAROL_APP CAPL-6559 Atualiza tasks agendadas de AI Process para considerar App Settings com valores atualizados

As tasks agendadas de AI Process agora consideram os App Settings com valores atualizados. Anteriormente, ao criar uma task, os valores antigos dos App Settings eram utilizados, resultando em inconsistências durante a execução do processo. Com a correção, as tasks agendadas passam a utilizar sempre o valor atual dos App Settings, eliminando a necessidade de recriação do agendamento para refletir as alterações. Essa melhoria assegura que o processo obtenha os valores corretos armazenados na Carol, garantindo maior precisão e eficiência.

PLATFORM CAPL-6575 Investiga casos de appName ou pipelineName nulo em cenários específicos

O problema de appName ou pipelineName nulo continua ocorrendo em alguns cenários, mesmo após as melhorias implementadas. A equipe investiga os casos restantes que ainda geram esse erro, buscando identificar e corrigir as causas subjacentes. A análise detalhada dos logs e das condições que levam a essas falhas está em andamento para garantir a estabilidade do sistema.

SQL_PIPELINES CAPL-6656 Checkout da Tenant unificada retorna para versão anterior ao atualizar o App gesplanprotheuslink

Ao atualizar o App gesplanprotheuslink, o Checkout configurado na Tenant unificada retorna para uma versão anterior, causando perda da configuração atual. Se a tenant unificada estiver em um commitID superior ao empacotado no Carol App, a versão do commitID atual deve ser mantida. Essa situação gera interrupção no funcionamento da aplicação, mas não provoca impacto financeiro direto. Um vídeo com evidências do problema foi anexado para análise.

SQL_PIPELINES CAPL-6737 Atualiza endpoint de instalação do Carol App para permitir seleção de commitID na tenant unificada

Ao atualizar o App gesplanunif, o Checkout configurado no Unificado retorna para uma versão anterior, causando interrupção no funcionamento da aplicação. O objetivo é permitir que, no endpoint de instalação do Carol App, o usuário informe qual commitID deve ser mantido para a tenant unificada, exibindo informações sobre a branch e os commitIDs disponíveis. A UI orienta o usuário no fluxo de instalação, garantindo que o commitID correto seja utilizado e evitando a perda de configurações anteriores.

VSCODE CAPL-6780 Corrige o campo send real time enviado como false na extensão do VSCODE na Plataforma Carol

A extensão do VSCODE na Plataforma Carol apresenta um problema durante o processamento do pipeline, onde o campo send real time é enviado como false. Isso resulta na falha de propagação de dados para a camada RT, afetando a comunicação com o backoffice. A equipe de produto está avaliando a situação para implementar uma solução.

VSCODE CAPL-6782 Orquestrador da Carol não respeita tempTableRetentionPeriod no pipelines.json

O Orquestrador da Carol não está respeitando o tempTableRetentionPeriod informado no pipelines.json, gerando problemas na aplicação em produção. A análise da viabilidade para que o Orquestrador acate o ajuste solicitado está em andamento. Testes realizados com diferentes períodos de retenção demonstram a inconsistência no comportamento esperado. A situação é considerada de alta prioridade, pois afeta o funcionamento da aplicação sem impacto financeiro direto.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-5895 Atualiza campo lastUpdated em logs de task para tipo SQL Processing para monitoramento preciso

Atualiza o campo lastUpdated a cada novo log de task para o tipo SQL Processing, permitindo um monitoramento mais preciso pelo StaleBigQueryTaskCheckJob. Essa atualização reduz a lista de tasks a serem verificadas, garantindo que apenas as tasks que não receberam atualizações nos últimos 4 minutos sejam listadas. A solução avalia a necessidade de atualizar o lastUpdated para todas as tasks ou apenas para casos específicos como SQL Processing, melhorando a eficiência do sistema de monitoramento.

ACTIVITY_MANAGEMENT CAPL-5910 Otimiza a validação de jobs na task de processamento SQL na GCP

Otimiza a validação de jobs em execução na task de processamento SQL, ajustando a ordem de verificação dos jobs na GCP. A nova lógica verifica primeiro o DATAFLOW_JOB_ID, seguido do PROCESS_JOB_ID, e assim por diante, apenas se o status RUNNING for falso. A consulta ao Dataflow é realizada somente quando a flag useDataflow está ativa, evitando verificações desnecessárias. A implementação reduz o tempo de execução do método BigQueryProcessTaskProcessor, shouldDeallocateStale(), melhorando a eficiência do processamento.

ACTIVITY_MANAGEMENT CAPL-6655 Ajusta campo Duration da UI para corrigir inconsistências no registro de duração das tasks

Ajustes no campo Duration da UI são realizados para corrigir inconsistências no registro de duração das tasks. O cálculo atual, baseado em mdmUpdated - mdmCreated, gera confusão ao usuário sobre o tempo real de execução. Propostas incluem registrar a data e hora de criação no primeiro log, contabilizar apenas o processamento da task ou remover o campo Duration da UI. Essas mudanças visam garantir maior precisão e clareza nas informações apresentadas aos usuários.

DATA_MODEL CAPL-6644 Implementa descrição de data models para integração com Mandalore

Implementa a funcionalidade que permite informar a descrição de data models, facilitando a integração com Mandalore. Essa melhoria otimiza o processo de documentação e entendimento dos modelos de dados utilizados no sistema.

PLATFORM CAPL-6667 Recriar view ao editar staging table ou publicar data model para atualizar schema

Ao editar uma staging table ou publicar um data model, a view é recriada para forçar a atualização do schema, garantindo que a descrição do data model e os atributos estejam sempre atualizados. Essa mudança melhora a consistência dos dados e a integridade do sistema, refletindo corretamente as alterações realizadas nas tabelas e modelos. A documentação sobre atributos metadata está disponível para consulta.

SQL_PIPELINES CAPL-6711 Migra o Orchestrator para a implementação v4 dos endpoints de SQL Processing

O Orchestrator é migrado para a implementação v4 dos endpoints relacionados ao SQL Processing. Os endpoints processQuery e Get Pipelines agora utilizam as APIs /api/v4/bigQuery/processQuery e /api/v4/tenantApps/{id}/pipelines, respectivamente. Com essa migração, o Orchestrator se torna compatível com a v2 do manifest, conforme especificado na issue CAPL-6069. Essa atualização garante que o processamento de dados ocorra de forma eficiente e alinhada às novas versões das APIs.

🐛 Correções​

CONNECTOR CAPL-6653 Valida parâmetros condicionais na escrita de parquets no GCS e corrige erros de escrita

Valida os parâmetros condicionais na escrita de parquets no GCS, corrigindo erros de escrita que ocorrem devido a pré-condições não atendidas. A implementação permite o uso de opções de parametrização mais resilientes, como o overwrite de arquivos utilizando ifGenerationMatch=0 e if_metageneration_match=0, evitando mensagens de erro que indicam que as condições não foram atendidas. A documentação relevante é atualizada para refletir essas melhorias e garantir uma operação mais estável.

CONNECTOR CAPL-6684 Correção NullPointerException ao tratar exceções do BigQuery ao adicionar AuditId

Corrige um NullPointerException que ocorre ao tratar exceções do BigQuery ao adicionar o AuditId. O problema é identificado na classe BigQueryExtendedErrorHandler, especificamente nos métodos reportStats e processElement. A implementação atualiza o tratamento de erros para garantir que não haja exceções de ponteiro nulo durante o processo.

CONNECTOR CAPL-6748 Corrige o valor de ingestionDatetime nas stagings para refletir a data/hora correta de aterrizagem do registro

O valor de _ingestionDatetime nas stagings não reflete a real data/hora de aterrizagem do registro, apresentando uma diferença de minutos em relação ao _CHANGE_TIMESTAMP do BigQuery. Essa discrepância impacta o processamento. Uma solução paliativa já foi implementada, mas o tema continua em análise. Um documento detalhado sobre o caso está disponível para consulta.

EXPLORE CAPL-6660 Corrige exibição da senha no painel lateral do registro Golden Record de mdmUser para o storage Type RT

O problema de exibição da senha no painel lateral do registro Golden Record de mdmUser para o storage Type RT foi identificado e corrigido. Agora, a senha não aparece mais, garantindo a segurança das informações. O comportamento para BQ permanece inalterado e continua funcionando corretamente.

🚀 Melhorias​

BILLING CAPL-6636 Aprimora monitoramento do repasse de valores no Billing

Adiciona recursos ao Billing para aprimorar o monitoramento do repasse de valores. Na tela inicial, exibe o CC, item code, class value e o responsável. Inclui o código do workflow gerado no fluig apenas para batches consolidados, associando-o ao billing account. Mostra o código do WF do fluig e destaca billing accounts sem CC, adicionando mensagens que alertam sobre a falta de informações de cobrança e a necessidade de revisão das tenants. Um link para o Fluig é incluído no header para o Account Manager.

CAROL_APP, CONNECTOR, ORGANIZATION_ADMIN CAPL-6068 Propagar eliminação de dados na Tenant Unificada de forma segura e eficiente

Como tenant admin, é possível propagar a eliminação de dados na tenant unificada. Isso inclui a remoção de registros de staging tables, desinstalação de Carol Apps, eliminação de tenants clientes e atualização de Carol Apps na tenant unificada. O processo é realizado de forma síncrona e assíncrona, garantindo a integridade dos dados e a correta execução das tarefas.

CAROL_APP, SQL_PIPELINES CAPL-6623 Padroniza a funcionalidade de múltipla seleção em tabelas na Carol

A funcionalidade de múltipla seleção em tabelas na Carol é padronizada, garantindo um comportamento uniforme em todas as abas. Agora, quando nenhum item estiver selecionado, os botões de ação permanecem desabilitados, apresentando mensagens informativas que orientam o usuário. Para a listagem de Tenants, a mensagem "Select a valid Tenant to run Copy data" é exibida, enquanto na listagem de Pipelines, a mensagem "Select pipelines to process and manage schedules" é apresentada. Essa mudança melhora a usabilidade e a clareza nas interações.

DATA_MODEL CAPL-6644 Implementa descrição de data models para integração com Mandalore

Implementa a funcionalidade que permite informar a descrição de data models, facilitando a integração com Mandalore. Essa melhoria otimiza o processo de documentação e entendimento dos modelos de dados utilizados no sistema.

TENANT_ADMIN CAPL-6612 Exibe campo mdmdescription na interface de edição de tenants

O campo mdmdescription é agora exibido na interface de edição de tenants. Os usuários do Carol Admin, Org Admin e Tenant Admin conseguem visualizar e editar a descrição da tenant ao acessar suas respectivas interfaces. Essa atualização melhora a usabilidade e a gestão das informações dos tenants, permitindo um acesso mais fácil e direto às descrições necessárias.

🐛 Correções​

CONNECTOR CAPL-6583 Falha na task de notify schema changes ao incluir campo sem field type em ambientes Postgres

Ocorre uma falha na task de notify schema changes ao incluir um campo sem o field type, tanto em ambientes não migrados quanto migrados para o Postgres, incluindo a master. Após criar uma staging table e adicionar um campo sem o field type, erros são gerados ao enviar dados. No entanto, ao editar e salvar novamente a staging table, os erros deixam de acontecer.

PLATFORM CAPL-6401 Correção de erros de ElasticSearch relacionados ao tenant parenteandrade e evita falhas na eliminação do índice durante o snapshot

Corrige os erros de ElasticSearch relacionados ao tenant parenteandrade, evitando falhas na eliminação do índice durante o processo de snapshot. A implementação garante que a tarefa de fechamento dos índices não seja interrompida quando o ElasticSearch estiver realizando um snapshot, prevenindo assim o erro de "Bad Request" que ocorre ao tentar deletar índices em uso. A solução proporciona maior estabilidade e confiabilidade nas operações do sistema.

🚀 Melhorias​

CAROL_APP CAPL-6353 Atualizar chave de autenticação do git na Tenant Unificada e resolver problema de conexão com git

Permitir que o usuário atualize a chave de autenticação com o git na Tenant Unificada. Através do serviço PUT, é possível gerar uma nova versão draft ao alterar a chave, permitindo assim chamar o publish e restaurar o acesso ao git. Deve ser possível informar o token/password pelo fluxo da UI, salvar e publicar as alterações. Além disso, na tenant unificada, exibir que há um problema de conexão com o git e permitir a alteração da chave de autenticação sem a necessidade de uma nova liberação/instalação do Carol App.

PLATFORM CAPL-6412 Evitando perda de eventos na fila Pub/Sub observability_event_queue Atualizando retenção para evitar perda de dados e aumentar confiabilidade Implementando DLQ para armazenar eventos não processados Configurando consumer para a DLQ e monitorando alertas

Evitando perda de eventos na fila Pub/Sub observability_event_queue. Atualização da retenção para evitar perda de dados e aumentar confiabilidade. Implementação de DLQ para armazenar eventos não processados. Configuração de consumer para a DLQ e monitoramento de alertas. Melhoria na escalabilidade e gestão de demanda da plataforma.

🐛 Correções​

APP CAPL-6537 Corrigindo erro de instalação do Clock In BackOffice no ambiente brasterapicahml

Erro de instalação do Clock In BackOffice no ambiente brasterapicahml está impedindo a migração do cliente. Múltiplas tentativas de atualização sem sucesso desde 22/07/2024. Aparece o erro: "Error: Something went wrong while trying to update golden mappings for entityTemplate: employeeGolden".

CAROL_APP CAPL-6399 Corrigindo NullPointerException na conversão de manifesto V2 para V1 no endpoint de busca de manifestos

Corrigido o NullPointerException ao converter manifesto V2 para V1 no endpoint de busca de manifestos. Foram identificados e corrigidos os cenários que levavam a esse erro, conforme alerta recebido nos logs do GCP Error Reporting. Realizada análise das chamadas no endpoint /api/v1/carolApps/{id}/pipelines e implementadas correções necessárias para evitar o erro. A query genérica para os erros foi ajustada e os logs para um traceId específico foram verificados.

CONNECTOR CAPL-6400 Corrigir exceção de conversão de datas inválidas nos jobs streaming CDS

Exceção de conversão de datas inválidas nos jobs streaming CDS está causando problemas no processamento dos dados recebidos. A exceção ocorre ao tentar analisar o formato de datas inválidas, como 2024-07-24T13:41:18.459000Z. É necessário investigar se as requisições de intake receberam response 200 para evitar perda de dados. O risco é que um dado inválido pode invalidar todo o lote em processamento, impedindo a visualização na tabela de Staging schema. Os erros estão ligados aos campos mdmCreated e mdmLastUpdated das stagings.

CONNECTOR CAPL-6404 Evitar lançamento de exceção de violação de PK ao persistir dados na tabela staging_schema.

Erro de violação de PK ao inserir dados na tabela staging_schema do database mdmconfig do Postgres. Identificado o identificador da PK que originou o erro: Key (id)=(65a650cd-2d85-bb62-58da-f5b4c498af3f) já existe. Não permitir que a exceção de violação de PK seja lançada pelo core da plataforma durante a persistência de dados. Validar se o registro já existe na tabela staging_schema antes de realizar a tentativa de upsert do record no banco.

CONNECTOR CAPL-6405 Erro de parse JSON impede persistência na tabela staging_schema do PG ao persistir registro com valor JSON na coluna schema_mapping. Problema pode afetar rollout na migração de tenants para ler da tabela staging_schema do Postgres em vez do Elasticsearch

Erro de parse JSON está impedindo a persistência do record na tabela staging_schema do PG. Exception java.lang.IllegalArgumentException sendo lançada ao persistir um registro de staging_schema com valor JSON na coluna schema_mapping. Problema pode afetar o processo rollout na migração das tenants para ler da tabela staging_schema do banco Postgres em vez do Elasticsearch. Fluxo de persistência da entidade Staging Schema no Postgres não deve ser afetado por nenhum tipo de dados específico nas colunas do tipo jsonb.

DATA_MODEL CAPL-6429 Corrigir filtro de data no relatório Top 5 motivos de nAck na Dashboard de Assinaturas

O relatório Top 5 motivos de nAck na Dashboard de Assinaturas não está considerando o filtro de data. Mesmo com dados de assinatura preenchidos, o relatório mostra "Sem Dados". Após investigação, foi identificado que a query enviada para o Big Query não está considerando o filtro de data (10/05/2023). A consulta deveria usar o mesmo filtro de data das outras consultas na dashboard.

PLATFORM CAPL-6378 Ajuste de Payload e Limite de Tamanho para Observabilidade na Integração com Smart Link

Realizada alteração no payload enviado pela Carol para a API do Smart Link, a fim de evitar erros de observabilidade devido a requisições com payload muito grande. O time do Smart Link aumentou o tamanho do pub/sub, reduzindo a incidência de erros. Será implementado um limite de até 5MB, visando garantir a segurança e evitar problemas. A comunicação com o time do Smart Link sobre o maior payload enviado é essencial para o início da implementação. Garantia de envio ilimitado de mensagens de observabilidade da Carol para o Observabilidade, sem restrição na quantidade de dados durante a integração. Definição do limite para paginação no envio de mensagens pela Carol, em caso de acúmulo de dados a serem enviados para a Observabilidade.

PLATFORM CAPL-6409 Corrigir propagação do evento CarolPipelinesExecutionSummary

A propagação do evento CarolPipelinesExecutionSummary não considera todos os eventos de CarolPipelineExecuted. O batchID teve uma série de propagação dos eventos de CarolPipelineExecuted, mas o evento CarolPipelinesExecutionSummary não possui registros em seu pacote. É necessário que o evento CarolPipelinesExecutionSummary considere todos os registros gerados por todos os eventos até o momento. Recomenda-se mapear o job do BQ que gerou o evento de CarolPipelinesExecutionSummary.

PLATFORM CAPL-6410 Corrigido loop ao gerar evento de Summary para batchid de app com pipelines pausadas

Identificou-se um loop ao tentar gerar evento de Summary para batchid de app com pipelines pausadas. O app gesplanprotheuslink estava com pipelines pausadas, causando consultas em loop eterno. Isso pode gerar consumo adicional de recursos de máquina. Para evitar isso, não devemos aguardar a conclusão de tasks com processamento pausado e não enviar eventos para pipelines nessa situação. É necessário eliminar as pendências de processamento relacionadas às pipelines pausadas.

PLATFORM CAPL-6424 Correcao no PG relacionado ao limite de tamanho da query no stackdriver Aumenta parâmetro de configuração max_stack_depth para evitar erro de limite de profundidade na execução da query Realiza ajustes para evitar divergências na Carol

Corrigido erro no PG relacionado ao limite de tamanho da query no stackdriver. Aumentado o parâmetro de configuração "max_stack_depth" para evitar o erro de limite de profundidade na execução da query. Ajustes realizados para evitar divergências entre Carol e Observabilidade ao lidar com as queries mencionadas.

🚀 Melhorias​

BIG_QUERY CAPL-6257 Otimizando processo de consolidação física e preservando integridade dos dados

Realizada otimizações no processo de consolidação física para garantir consistência de dados e atender às necessidades dos clientes. Ajustes feitos para evitar exclusões incorretas de registros no Data Model, mantendo o último registro mesmo com mdmDeleted=true. Novas regras implementadas para minimizar impactos e preservar a integridade dos dados. Melhorias aplicadas visando manter registros relevantes e reduzir processamentos desnecessários.

BILLING CAPL-6306 Adiciona shortcut para visualizar MRR com filtro de últimos 6 meses, destaca MRR no primeiro card e adiciona botão para ver MRR junto com custos no gráfico

Adiciona um shortcut para visualizar MRR aplicando o filtro dos últimos 6 meses. Destaca MRR no primeiro card e adiciona botão "See MRR over costs" no chart para visualizar MRR junto com os custos.

BILLING CAPL-6428 Permitir filtro por centro de custo

Permitir filtrar por centro de custo através de input text. Aplicar filtro específico para centro de custo. Mostrar dados selecionados na visualização do site panel ao escolher uma conta de faturamento. Incluir novos campos como centro de custo, item contábil e classe valor. Exibir informações adicionais na tabela de contas de faturamento, como proprietário da conta.

CONNECTOR CAPL-6248 Marcar entidades e data models para não traduzir por tradutores

Marcar nome de entidades e data models para não serem traduzidos por tradutores. Avaliar e aplicar método para garantir essa especificidade. Ação visa evitar traduções inadequadas em tabelas e modelos de dados. Impacto direto na qualidade da tradução e compreensão dos dados. Ajuste necessário para melhorar a experiência do usuário.

CONNECTOR CAPL-6280 Gravando BatchID e Sequence na tabela de landing

Gravando os dados de BatchID e Sequence na tabela de landing para manter a integridade dos dados durante processos de validação e re-importação. Os valores são salvos como atributos key/value na tabela landing.

DATA_MODEL CAPL-6246 Adiciona validação para limitar length de campos em DataModel

Adicionada validação para limitar length de campos tipo string em DataModel. O sistema agora impede valores acima de 2048 caracteres.

PLATFORM CAPL-6265 Registros do pacote não escritos no BigQuery e registros não ingeridos pela plataforma

Registros do pacote não escritos no BigQuery e registros não ingeridos pela plataforma

SQL_PIPELINES CAPL-6069 Atualizando endpoint processQuery para manifesto de pipelines em tenant unificada

Atualizando endpoint processQuery para manifesto de pipelines em tenant unificada

TENANT_ADMIN CAPL-6384 Permite cópia do datasetId do BQ pelo Tenant Admin

Permite cópia do datasetId do BQ pelo Tenant Admin

VSCODE CAPL-6262 Permite migração de manifesto de pipeline da v1 para v2 no VSCode com valores padrão para novos atributos

Permite a migração do manifesto de pipeline da v1 para v2 no VSCode, assumindo valores padrão para novos atributos. Referência das mudanças disponíveis em slack e github.

VSCODE CAPL-6263 Criar manifestos de pipeline no VSCode utilizando o padrão v2

Criar manifesto de pipelines apenas usando o formato v2 no VSCode. Novos manifestos de pipeline devem seguir o padrão v2. Referências das mudanças disponíveis no Slack e GitHub. Os usuários devem criar manifestos de pipeline no VSCode usando o formato v2.

VSCODE CAPL-6361 Ajustando a ação de processar query no VSCode para utilizar o novo endpoint /api/v4/bigQuery/processQuery

Ajustando a ação de processar query no VSCode para utilizar o novo endpoint /api/v4/bigQuery/processQuery

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-6308 Corrigido problema de acesso aos logs de org user sem tenant vinculada

Um org user sem tenant vinculada não consegue acessar os logs devido a uma quebra no endpoint do API-UI. O problema ocorre quando a função tenta criar um filtro pelas tenants do usuário, causando a falha na execução.

BIG_QUERY CAPL-6260 Alocar a fila de carol-sql-job para o worker-provision para evitar atrasos

Alocar a fila de carol-sql-job para o worker-provision para evitar atrasos

BILLING CAPL-6252 Adequar funcionalidade de teste de pipeline para suportar pipelines de Receita

Adequação da funcionalidade de teste de pipeline para suportar pipelines do tipo "Revenue". Garantindo que o teste seja bem-sucedido mesmo nesse cenário específico.

CONNECTOR CAPL-6251 Não mantém atualização do esquema flexível ao percorrer menus de opções avançadas de staging

Não mantém atualização do esquema flexível ao percorrer menus de opções avançadas de staging

CONNECTOR CAPL-6258 Copia de dados para unificado desconsiderando campos (case sensitive) e campo não populado devido ao fator case sensitive.

Copia de dados para unificado desconsiderando campos (case sensitive). Um novo campo em caixa baixa é adicionado no ambiente customer e posteriormente em caixa alta no unificado. Apesar da alteração de schema, a cópia de dados não considera o campo, resultando em valores faltantes no unificado. A task de cópia de dados é manualmente criada, porém o campo não é populado devido ao fator case sensitive. Recomenda-se incluir o campo no SELECT da cópia de dados sem considerar a diferença de caixa.

CONNECTOR CAPL-6269 Correção de problemas de landing e steps com dados faltantes e divergentes

Corrigidos os problemas de landing e steps com faltas e divergências de dados. As tenants agora seguem o fluxo esperado de acordo com a documentação fornecida. Registros corrigidos para refletir o comportamento esperado após a resolução dos bugs.

DATA_PROCESSING CAPL-6266 Corrigir processamento incorreto de task em ambiente sem dados

Processo de task sendo processada incorretamente em ambiente sem dados, corrigir para garantir processamento eficiente. Ajuste realizado no backend para que apenas a tenant correta processe os dados, evitando processamento indevido por outras tenants.

EXPLORE CAPL-6255 Adicionando totalizador por grupo de entidades no tree view do explore

Implementado totalizador por grupo de entidades no tree view do explore. Anteriormente, a quantidade de entidades por categoria nao era exibida, o que podia gerar confusao. Agora, o usuario pode facilmente visualizar a quantidade de registros em cada grupo, mesmo em listas com mais de 50 itens.

EXPLORE CAPL-6287 Corrige erro no Editor UNIF para execução de querys simples no Explorer-Editor da página inicial

Corrigido o erro no Editor UNIF que impedia a execução de querys simples. O problema ocorria ao tentar analisar as querys no Explorer-Editor da página inicial. A correção resolveu os erros apresentados no console.

EXPLORE CAPL-6349 Corrige problema de visualização de Named Queries para Tenants com o novo Explorer

Corrige problema de visualização de Named Queries para Tenants com o novo Explorer

PLATFORM CAPL-6311 Corrigindo bug na Observabilidade do Smartlink relacionado à diferença entre contagens de Summary e Subscriptions

Corrigindo bug na Observabilidade do Smartlink relacionado à diferença entre contagens de Summary e Subscriptions

PLATFORM CAPL-6419 Corrigir falta de nome de pipeline em eventos de observabilidade

Os eventos de observabilidade não estão funcionando devido à falta de nome de pipeline nas mensagens propagadas. Identificamos que as tasks relacionadas aos eventos possuem o nome da pipeline no novo padrão adotado. É necessário propagar o nome da pipeline para a observabilidade.

SQL_PIPELINES CAPL-6267 Corrigir erro de reconhecimento de app para Tenants de Cliente do app totvspricing

Corrigir erro de reconhecimento de app para Tenants de Cliente do app totvspricing

SQL_PIPELINES CAPL-6268 Corrigir processamento de pipelines com eficiência Batch ativa.

Corrigir processamento de pipelines com eficiência Batch ativa.

SQL_PIPELINES CAPL-6420 Cancela tasks presas devido a deploy recente e investiga causas - 19 casos identificados.

Detectamos tasks presas em execução devido a um deploy recente. Realizamos cancelamentos pontuais para evitar impactos. Avaliamos e cancelamos tasks específicas. Foram identificados 19 casos hoje. O objetivo é cancelar tasks presas e investigar as causas.

TENANT_ADMIN CAPL-6250 Corrigir redirecionamento de usuário sem acesso para tela de login

Corrigir redirecionamento de usuário sem acesso para tela de login

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-6081 Adiciona treeview no editor Explore para facilitar a navegação dos Tenants Admin.

Adiciona treeview no editor Explore para facilitar a navegação dos Tenants Admin.

BIG_QUERY CAPL-6079 Permitir que o Tenant Admin inicie o processo de cópia de dados na Unified Tenant

Permitir que o Tenant Admin na Unified Tenant inicie o processo de cópia de dados. Selecionar Tenants para iniciar o processo de cópia de dados. Abrir a seleção de Tenants e permitir a seleção das staging tables no manifest de pipelines. Iniciar as tarefas de cópia dos dados.

BILLING CAPL-6077 Exibindo dados de ARR na tela de Billing e filtrando MRR por CD_PROD e CD_CNTA.

Adição do checkbox "Show recurring revenue" ao gráfico. Filtragem do MRR considerando CD_PROD e CD_CNTA.

CONNECTOR CAPL-6074 Atualiza o mdmIdOrigin baseado no mdmId da tenant cliente no processo de Copy Data.

No processo de Copy Data, o mdmIdOrigin é agora escrito com base no mdmId da tenant cliente. Isso elimina a condição de validação mdmId = mdmIdOrigin no código. O mdmIdOrigin agora reflete o mdmId da tenant cliente, conforme solicitado.

EXPLORE CAPL-6076 Adiciona treeview no editor Explore para facilitar a navegação dos Tenants Admin.

Adiciona treeview no editor Explore para facilitar a navegação dos Tenants Admin.

PLATFORM CAPL-6067 Adiciona campo sendToSubscriptions no evento CarolPipelineExecuted para rastrear valor 0 com subscriptions ativas no data model.

Adiciona campo sendToSubscriptions no evento CarolPipelineExecuted para rastrear valor 0 com subscriptions ativas no data model.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-5886 Corrigido Listagem de Tarefas em Loop e Resolução de Tela

Corrigido Listagem de Tarefas em Loop e Resolução de Tela

EXPLORE CAPL-6073 Corrigindo exibição de tenants na visualização de dados compartilhados de entrada e saída

Corrigindo exibição de tenants na visualização de dados compartilhados de entrada e saída

ORGANIZATION/TENANT CAPL-5287 Corrigido problema de loop no login para o serviço IDP Identity

Correção realizada no login do serviço IDP Identity

PLATFORM CAPL-6101 Ajuste de contagens entre CarolPipelinesExecutionSummary e CarolDataModelSubscriptionSent

Ajuste de contagens entre CarolPipelinesExecutionSummary e CarolDataModelSubscriptionSent

PLATFORM CAPL-6147 Adicionar campo de nome da subscription no payload de envio de mensagens a pubsub

Adicionar campo de nome da subscription no payload de envio de mensagens a pubsub

SHARED_DATA CAPL-6078 Corrigindo exibição de tenants na visualização de dados compartilhados de entrada e saída

Corrigido o erro que exibia o tenant errado na visualização de Incoming Shared Data. Agora, a coluna Shared with tenant mostra o nome e tenantID da tenant de origem. Na aba Outgoing Shared Data, exibe corretamente o nome e tenantID da tenant destino.

🚀 Melhorias​

BILLING CAPL-5814 Novo filtro por recursos na interface de Account Admin

Permitir que o usuário aplique um filtro por recursos na interface de Account Admin. Este filtro permitirá entender como o componente é dividido entre as tenants.

CAROL_APP CAPL-5661 Implementação da Propagação da Remoção de Dados ao Desinstalar Aplicativo Carol na Tenant Cliente

Como administrador na tenant cliente, está sendo implementada a propagação da remoção de dados ao desinstalar um aplicativo Carol. O objetivo é excluir os dados associados deste aplicativo da tenant unificada. O processo inclui a detecção e remoção assíncrona de tabelas staging e modelos de dados relacionados ao aplicativo. Após a conclusão da remoção, o app será bloqueado para instalação até que todo o processo seja finalizado. Além disso, será disponibilizado um botão para reprocessamento da desinstalação e eliminação de dados.

CAROL_APP CAPL-5710 Permitir a criação de novos Apps como "SQL Only" e tornar a tenant unificada opcional

Como usuário DEV, agora é possível criar um novo App ou uma nova versão do App como "SQL Only". Evita-se assim o aumento do período de migração, permitindo apenas a criação de novos Apps como "SQL Only". Ao clicar para criar um novo App, a opção padrão será definida como SQL Only. A definição da tenant unificada torna-se opcional. A edição do APP permitirá a vinculação de tenant unificada, gerando uma exceção se já houver uma associada. A opção de informar se o app é SQL Only ou Hybrid foi removida, sendo sempre SQL Only. A obrigatoriedade do campo Unified Tenant também foi removida, podendo ser informado a qualquer momento, mas obrigatório antes de liberar o app.

CAROL_APP CAPL-5711 Funcionalidade para criar novos Apps ou novas versões apenas como "SQL Only"

Como usuário DEV, agora é possível criar novos Apps ou versões como "SQL Only", evitando migrações prolongadas. O comportamento padrão é SQL Only, sem opções adicionais na interface. A definição da tenant unificada agora é opcional, listando apenas as unificadas sem apps instalados. Removida a opção de escolher entre SQL Only e Hybrid, sendo sempre SQL Only. O campo Unified Tenant agora é opcional, mas deve ser preenchido antes da liberação do App.

PLATFORM CAPL-5870 Correção de exibição de Locale na lista de usuários da Tenant

Realizando ajustes nos dados enviados no evento CarolPipelinesExecutionSummary. Inclusão de novos atributos originalGoldenRecordCount e originalRejectedRecordCount. Envio de informações adicionais para auxiliar o time do Smartlink. Os atributos representam a quantidade de Goldens e Rejected processados. Clientes do Smartlink com eficiência batch habilitada podem usufruir das melhorias.

PLATFORM CAPL-5880 Ajustando dados enviados no evento CarolPipelineExecuted para incluir número de subscriptions entregadas

Realizando ajustes nos dados enviados no evento CarolPipelineExecuted para incluir informações adicionais que auxiliam no cruzamento de dados. As informações adicionais incluem o número de subscriptions que a pipeline entregará. Essa melhoria beneficia o time do Smartlink ao comparar dados da Plataforma Carol com os TotvsApps. Todos os clientes do Smartlink com eficiência batch habilitada podem usufruir dessas melhorias. Os dados enviados serão utilizados para otimizar a análise de dados processados e enviados aos clientes.

PLATFORM CAPL-5967 Ajustando dados do evento CarolPipelinesExecutionSummary para melhorar observabilidade. Aprimorando informações para clientes Smartlink com eficiência batch.

Realizando ajustes nos dados enviados no evento CarolPipelinesExecutionSummary. Atualizando atributos para melhorar a observabilidade dos dados processados. Os clientes do Smartlink com eficiência batch habilitada poderão usufruir dessas melhorias. Adicionando informações essenciais nos eventos e no tasklog da task de summary.

SQL_PIPELINES CAPL-5707 Corrige bug de duplicação de pipelines no Postgres durante o checkout. Garante consistência e unicidade nas chaves da pipeline. Prioriza manutenção de pipelines com source staging compatível com o manifesto. Permite campo sourceEntities vazio.

Corrigido o bug que permitia pipelines duplicadas no Postgres. Agora, validamos se o campo sourceStagings está preenchido durante o checkout da pipeline. Isso evita duplicidades na base de dados e garante consistência na identificação das pipelines. As chaves da pipeline foram ajustadas para garantir unicidade: carol_app_name, tenant_id e pipeline_name. Também foi priorizada a manutenção de pipelines com source staging compatível com o manifesto. O campo sourceEntities agora pode ser vazio, conforme esperado.

SQL_PIPELINES CAPL-5760 Implementar validação via ORCHESTRATOR para connectorGruop

Implementando validação via ORCHESTRATOR para connectorGruop.

SQL_PIPELINES CAPL-5778 Permitir gerenciamento do Orquestrador pelo Carol Admin

Permitir que o Carol Admin gerencie o Orquestrador, reiniciando-o e visualizando instâncias em execução. Possibilitar a pré-visualização da última tarefa e das expressões cron de cada instância do orquestrador. Exibir propriedades das tarefas, como nome do aplicativo Carol, cron, grupos de tenants, nome do pipeline e detalhes adicionais.

🐛 Correções​

ACTIVITY_MANAGEMENT, SQL_PIPELINES CAPL-4877 Correção de Problema na Limpeza do BigQuery do Data Model

Foi corrigido um problema onde as tasks agendadas não limpavam o BigQuery do Data Model, pois estavam referenciando jobs da task original, que já foram concluídos, fazendo com que um novo não fosse criado. Agora, as tasks agendadas terão o mesmo comportamento que a task original, apagando a tabela do BigQuery antes de processar. Além disso, será criado outro job id de limpeza mesmo em tasks agendadas.

ACTIVITY_MANAGEMENT, CAROL_APP, SQL_PIPELINES CAPL-5804 Token expirado nas Conexões GIT: Problemas ao acessar pipelines e instalar Carol App no tenant unificado

Correção realizada nas Conexões GIT ao clonar um aplicativo com token GIT expirado, durante a instalação unificada do App, se o token estiver expirado, uma mensagem de erro será retornada e a task de instalação do Carol App não será criada; o Tenant do Cliente não deve ser impactado ao instalar o Carol App se o token expirar.

ACTIVITY_MANAGEMENT CAPL-5817 Problema de Tasks da Carol de SQL Processing trancadas em Produção corrigido

Registros estão chegando em staging tables, porém as tasks estão apresentando mensagem de "Data to process was not found or not ready". Algumas tasks ficam trancadas por 30 minutos após conclusão do job no BQ. As tasks voltam a processar sem mensagem adicional.

ACTIVITY_MANAGEMENT CAPL-5830 Corrige lentidão ao filtrar por tasks internas no Activity Management

Corrigido o bug que causava lentidão ao filtrar por tasks do tipo internal no Activity Management. A query agora retorna resultados em poucos segundos.

CAROL_APP CAPL-5839 Atualização de Carol App: Correção de erro com token revogado e orientação para criação de nova versão

Quando um usuário, com token revogado, tenta criar uma nova versão de Carol app, uma mensagem de erro é exibida. O comportamento ocorre apenas com repositórios Github. Ao pressionar F5, o usuário consegue prosseguir.

CAROL_APP CAPL-5840 Correção do botão Finish na instalação do Carol App na Tenant unificada com token revogado

Ao tentar instalar uma versão de Carol App na Tenant unificada com token revogado, o botão Finish não conclui a operação. A correção no FE/UI é feita com F5, que retorna à tela de Carol Apps.

CAROL_APP CAPL-5915 Falha na Instalação da Task de Carol App nos Customers ao Atualizar de Hybrid para SQL Only

Task de Carol App Install está falhando nos customers quando o app possui update the Hybrid para SQL Only. O problema ocorre com customers que instalam o app pela primeira vez ou realizam update. O cenário é quando o customer tem um HYBRID instalado e recebe uma nova versão como SQL_ONLY.

CONNECTOR CAPL-5813 Ajuste de limite máximo de caracteres para Staging Tables e Data Model na plataforma

Ajustado limite máximo de 30 caracteres no nome da Staging Table e Data Model. Os ERPs Consinco e RMS permitem até 26 caracteres. Limite aumentado para 30 caracteres. Compatível com Oracle, PostgreSQL, MySQL, SQL Server e OpenEdge.

CONNECTOR CAPL-5863 Atualização do Schema da Staging Table com Crosswalk Funcionando Corretamente

Atualização do Schema da Staging Table com Crosswalk Funcionando Corretamente

DATA_PROCESSING CAPL-5775 Permite processamento automático de dados copiados ao instalar novo APP no tenant existente

Permite que dados copiados sejam processados automaticamente ao instalar novo APP em tenant existente, redefinindo ingestionDateTime para "now()". Isso garante processamento imediato dos dados.

ORGANIZATION/TENANT CAPL-5936 Corrigir bug na API do FE Carol Swagger para permitir {{mdmValue}} com valor string.

A API do FE Carol Swagger exibe mensagem de erro ao tentar buscar staging schemas com JSON válido. A busca retorna um erro no Swagger, mas no Postman os resultados são retornados corretamente. Ao criar uma staging table e utilizar o endpoint /api/v2/queries/filter para buscar staging schema, o erro é observado no Swagger. O comportamento esperado após a correção do Bug é permitir {{mdmValue}} com valor string, pois atualmente é obrigatório um valor Json.

PLATFORM, SQL_PIPELINES CAPL-6000 Corrigindo erros ao salvar no BigQuery para evitar perda de dados.

Erros ao salvar no BigQuery estão causando perda de dados com frequência. O problema ocorre durante o processo de salvamento de dados no BigQuery.

SHARED_DATA CAPL-5812 Corrigir geração de falsos positivos na API de Dados Compartilhados

A API de Dados Compartilhados não suporta o uso de CTE e inner queries. Falsos positivos são gerados ao usar aliases para deduplicar tabelas, causando erros na validação da consulta SQL. A necessidade de deduplicação em consultas complexas é crucial para otimização de recursos.

SQL_PIPELINES CAPL-4583 O Tenant está de alguma forma vinculado a uma tabela de aplicativos não instalada e não encontrada no fanout

Correção realizada para que o Tenant não vincule a uma tabela de aplicativos não instalada e não encontrada no fanout

SQL_PIPELINES CAPL-5931 Botão Pause/Resume Schedule indisponível para pipelines de mesmo nome

No Menu Pipelines, o botão de Pause/Resume Schedule fica indisponível para pipelines de mesmo nome, mas para apps diferentes. É possível reproduzir o problema criando dois apps e vinculando duas pipelines diferentes com o mesmo pipelineName. Ao acessar o menu pipelines, verifique que o botão Pause/Resume Schedules está indisponível. O comportamento esperado é que o botão de Pause Schedules esteja disponível para todas as pipelines visíveis na plataforma.

SQL_PIPELINES CAPL-5956 Corrigir erro de escrita no Dataflow - Verificar vínculo com Carol App e ajustar pipeline.

Correção no Dataflow - quando o App não está instalado na tenant do cliente - Registros não estão sendo gravados no datamodel.

TENANT_ADMIN CAPL-5842 Correção de exibição de Locale na lista de usuários da Tenant

Correção de exibição de Locale na lista de usuários da Tenant

TENANT_ADMIN CAPL-5963 Corrige problema de SORT na tela de gestão de usuários

Corrigido o problema na tela de gestão de usuários que não aplicava o SORT ao clicar no header da tabela. A informação de SORT da coluna agora é devidamente considerada na request.

TENANT_ADMIN CAPL-5998 Corrigir endpoint de api-ui para trazer tasks de nível organization

Correção no endpoint de api-ui que não estava trazendo tasks de nível organization. Ao criar uma nova tenant, o activity management não notifica no ícone da plataforma, assim como na lista de tasks. O problema ocorre em produção, onde a consulta no PG mostra ter tasks para a org totvstechfin.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-5784 Funcionalidade de Filtro por Usuário de Criação e Atualização da Task

Adicionada a funcionalidade de filtro por usuário de criação e atualização da task. Os usuários agora podem aplicar filtros utilizando o tipo "string". Os filtros podem ser aplicados considerando o nome do usuário de criação ou de atualização da task.

BIG_QUERY CAPL-5087 Novas Funcionalidades de Cópia de Dados para o Unified Tenant

Nesta versão, foi adicionada a capacidade de o administrador da Tenant do Unified Tenant iniciar o processo de cópia de dados para as tabelas de staging/conectores listados no arquivo de manifesto. O administrador da Tenant pode executar uma cópia de dados completa (para todas as tabelas de staging/conectores especificados no arquivo de manifesto) ou especificando uma lista de conectores e tabelas de staging. Se já houver uma tarefa em fila (pronta) ou em execução para a tenant especificada e para a tabela escolhida (locatário_id + conector_id + staging_id), irá retornar um erro, mesmo que apenas 1 tenant/staging tenha esse cenário. Em outras palavras, não é permitido enfileirar/executar duas tarefas de cópia de dados para a mesma tenant para a mesma tabela.

BILLING CAPL-5779 Funcionalidade de configuração de chaves e valores para Billing Admin

Adicionada a funcionalidade de configuração de chaves e valores para o Billing Admin. Agora é possível utilizar chaves e valores como strings nas pipelines de billing. Exemplos de chaves incluem: basicfee_resources, basicfee_fixed_value. Os valores podem ser definidos pelo usuário. A funcionalidade está disponível para todos os usuários com permissão de Billing Admin. A interface de usuário foi atualizada para incluir um botão "Keys and values" e permitir a visualização, edição e filtragem por chaves e valores. Esta atualização visa facilitar a configuração e utilização de pipelines de billing.

CAROL_APP CAPL-5468 Revisão do Fluxo da Interface do Usuário do Carol App

Revisão do fluxo da interface do usuário do Carol App: remoção de tarefas de instalação, o problema ocorria quando a Organização ou Tenant era apenas SQL, pois era necessário remover as tarefas de instalação, também conhecidas como Reprocess DataModels.

CONNECTOR CAPL-5737 Desativação gradual da geração de documentos cdsFile e verificação do processo de paralização do Dataflow Streaming

Levantamento de esforço para inutilização de cdsFile para tenants não techfin. Desativação gradual da geração de documentos cdsFile do ES. Identificação de problema no processo de paralização do Dataflow Streaming devido à escrita de documentos no ES. Objetivo de verificar se o processo de parar o serviço do Dataflow Streaming consegue fazer o drain corretamente.

DATA_SUBSCRIPTION CAPL-5793 Observabilidade - Adição de novo campo no contrato do evento de Data Subscription

Implementamos um novo campo no contrato do evento (mdmEntityType) que permitirá ao time Smartlink comparar os eventos: CarolDataModelSubscriptionSent (Carol) e AppDataModelSubscriptionReceived (TotvsAPPs)

EXPLORE CAPL-5656 Novidades sobre a visualização e acesso de informações do modelo de dados

Permite visualizar informações do modelo de dados de forma unificada, incluindo tabela intermediária, consulta nomeada e atendimento. Permitir acessar informações do modelo de dados por meio do módulo Alert Management. Permitir visualizar informações do modelo de dados para todas as Tenants. Permitir filtrar e pesquisar informações específicas do modelo de dados. Permite exportar informações do modelo de dados em diferentes formatos.

ORGANIZATION/TENANT CAPL-5780 Remoção do número de registros do RT da página inicial do Tenant

Revisão da página inicial da Tenant e remoção do número de registros do RT.

PLATFORM CAPL-5838 Melhorias de performance na integração de usuários

Realizamos a remoção da contagem de usuários pertencentes ao grupo ao qual ele está sendo vinculado, durante a rotina de integração de usuários sem impactos a mesma, e melhorando assim seu desempenho.

SQL_PIPELINES CAPL-5221 Melhoria na Notificação de Erros de Processamento SQL no BigQuery

A solução proposta é garantir que, se o BigQuery tiver problemas para inserir registros durante o processamento SQL, o usuário será avisado de que a tarefa teve erros para ser concluída. A tarefa de SQL deve falhar.

SQL_PIPELINES CAPL-5826 Compatibilidade com o Orchestrator para desativar a eficiência do SmartLink em tenants específicos

Adicionada compatibilidade no orchestrator para enviar o parâmetro useBatchNotification no endpoint processQuery. Possibilidade de customizar o useBatchNotification para uma lista de tenants na configuração dos apps. Incluída query para detectar tenants que terão a eficiência do SmartLink (batchID) desativado.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-5741 Correção de Tasks Duplicadas na Aba de Notificações

Tasks duplicadas estavam sendo exibidas na aba de notificações. Este problema foi identificado e foi corrigido.

CAROL_APP CAPL-5776 Problemas de listagem e edição de agendamentos de processos batch

Os itens a seguir foram corrigidos: - Ao listar os agendamentos, o nome do usuário não é exibido corretamente, mesmo com o processo sendo executado normalmente. Ao editar o agendamento, o campo "Starts after" é mostrado como "Invalid Date" e o widget de calendário apresenta erro ao tentar inserir uma data válida. O campo "Run as" mostra o ID do usuário ao invés do login, e não permite realizar modificações.

CAROL_APP CAPL-5815 Correção de bug na atualização de informações ao desinstalar Carol App SQL_ONLY

Corrigido o problema de atualização da informação na Tenant ao desinstalar um Carol App SQL_ONLY de um customer. O problema ocorria apenas quando a desinstalação era feita pelo endpoint que recebe o nome do app como parâmetro. Ao usar a desinstalação por id do app, a lista de unified tenants é atualizada corretamente. Verificado o id da unified tenant do Carol App no map mdmUnifiedTenantsMapping através de consultas no PostgreSQL ou verificação do documento tenant.json no Cloud Storage. O id da unified tenant do Carol App não deve mais estar presente na mdmUnifiedTenantsMapping após a desinstalação do app por qualquer um dos dois endpoints disponíveis.

DATA_MODEL CAPL-5740 Problema com campo Start date & time em Data Subscriptions

Campo Start date & time não estava respondendo quando o usuário clicava para preenchimento. Isso ocorria ao criar e editar uma Data Subscription.

EXPLORE CAPL-5808 Erro 400 de Bad Request impede acesso aos dados de staging no Editor de Query

Ao tentar clicar no link do editor de query para visualizar os dados de staging, o erro 400 de bad request é exibido na tela do Editor. Isso impede o acesso aos dados e pode causar problemas no processo de Fullfilment. Após a correção é possível acessar os dados de staging através do link do editor de query sem a exibição do erro 400.

ORGANIZATION/TENANT CAPL-5636 Correção de erro na exibição de mensagem de falta de acesso à interface gráfica

Este bug ocorre quando o usuário não tem acesso à interface gráfica da plataforma Carol. Ao invés de uma mensagem orientativa, é exibido um erro no console. Espera-se que seja exibida uma mensagem amigável informando sobre a falta de acesso. Correção realizada para a exibição da mensagem.

SHARED_DATA CAPL-5739 O botão Salvar deve permanecer funcional após um erro na API SQL e permitir o reenvio da consulta sem a necessidade de atualizar a página

Correção para que se a API SQL retornar erros, o botão deverá ser recuperado para que o usuário possa corrigir a consulta e reenviá-la sem atualizar totalmente a página.

SQL_PIPELINES CAPL-5635 Correção de lacunas de execução no Orquestrador

Correção realizada para que o Orquestrador não tenha lacunas de execução.