🚀 Melhorias​

BIG_QUERY CAPL-6257 Otimizando processo de consolidação física e preservando integridade dos dados

Realizada otimizações no processo de consolidação física para garantir consistência de dados e atender às necessidades dos clientes. Ajustes feitos para evitar exclusões incorretas de registros no Data Model, mantendo o último registro mesmo com mdmDeleted=true. Novas regras implementadas para minimizar impactos e preservar a integridade dos dados. Melhorias aplicadas visando manter registros relevantes e reduzir processamentos desnecessários.

BILLING CAPL-6306 Adiciona shortcut para visualizar MRR com filtro de últimos 6 meses, destaca MRR no primeiro card e adiciona botão para ver MRR junto com custos no gráfico

Adiciona um shortcut para visualizar MRR aplicando o filtro dos últimos 6 meses. Destaca MRR no primeiro card e adiciona botão "See MRR over costs" no chart para visualizar MRR junto com os custos.

BILLING CAPL-6428 Permitir filtro por centro de custo

Permitir filtrar por centro de custo através de input text. Aplicar filtro específico para centro de custo. Mostrar dados selecionados na visualização do site panel ao escolher uma conta de faturamento. Incluir novos campos como centro de custo, item contábil e classe valor. Exibir informações adicionais na tabela de contas de faturamento, como proprietário da conta.

CONNECTOR CAPL-6248 Marcar entidades e data models para não traduzir por tradutores

Marcar nome de entidades e data models para não serem traduzidos por tradutores. Avaliar e aplicar método para garantir essa especificidade. Ação visa evitar traduções inadequadas em tabelas e modelos de dados. Impacto direto na qualidade da tradução e compreensão dos dados. Ajuste necessário para melhorar a experiência do usuário.

CONNECTOR CAPL-6280 Gravando BatchID e Sequence na tabela de landing

Gravando os dados de BatchID e Sequence na tabela de landing para manter a integridade dos dados durante processos de validação e re-importação. Os valores são salvos como atributos key/value na tabela landing.

DATA_MODEL CAPL-6246 Adiciona validação para limitar length de campos em DataModel

Adicionada validação para limitar length de campos tipo string em DataModel. O sistema agora impede valores acima de 2048 caracteres.

PLATFORM CAPL-6265 Registros do pacote não escritos no BigQuery e registros não ingeridos pela plataforma

Registros do pacote não escritos no BigQuery e registros não ingeridos pela plataforma

SQL_PIPELINES CAPL-6069 Atualizando endpoint processQuery para manifesto de pipelines em tenant unificada

Atualizando endpoint processQuery para manifesto de pipelines em tenant unificada

TENANT_ADMIN CAPL-6384 Permite cópia do datasetId do BQ pelo Tenant Admin

Permite cópia do datasetId do BQ pelo Tenant Admin

VSCODE CAPL-6262 Permite migração de manifesto de pipeline da v1 para v2 no VSCode com valores padrão para novos atributos

Permite a migração do manifesto de pipeline da v1 para v2 no VSCode, assumindo valores padrão para novos atributos. Referência das mudanças disponíveis em slack e github.

VSCODE CAPL-6263 Criar manifestos de pipeline no VSCode utilizando o padrão v2

Criar manifesto de pipelines apenas usando o formato v2 no VSCode. Novos manifestos de pipeline devem seguir o padrão v2. Referências das mudanças disponíveis no Slack e GitHub. Os usuários devem criar manifestos de pipeline no VSCode usando o formato v2.

VSCODE CAPL-6361 Ajustando a ação de processar query no VSCode para utilizar o novo endpoint /api/v4/bigQuery/processQuery

Ajustando a ação de processar query no VSCode para utilizar o novo endpoint /api/v4/bigQuery/processQuery

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-6308 Corrigido problema de acesso aos logs de org user sem tenant vinculada

Um org user sem tenant vinculada não consegue acessar os logs devido a uma quebra no endpoint do API-UI. O problema ocorre quando a função tenta criar um filtro pelas tenants do usuário, causando a falha na execução.

BIG_QUERY CAPL-6260 Alocar a fila de carol-sql-job para o worker-provision para evitar atrasos

Alocar a fila de carol-sql-job para o worker-provision para evitar atrasos

BILLING CAPL-6252 Adequar funcionalidade de teste de pipeline para suportar pipelines de Receita

Adequação da funcionalidade de teste de pipeline para suportar pipelines do tipo "Revenue". Garantindo que o teste seja bem-sucedido mesmo nesse cenário específico.

CONNECTOR CAPL-6251 Não mantém atualização do esquema flexível ao percorrer menus de opções avançadas de staging

Não mantém atualização do esquema flexível ao percorrer menus de opções avançadas de staging

CONNECTOR CAPL-6258 Copia de dados para unificado desconsiderando campos (case sensitive) e campo não populado devido ao fator case sensitive.

Copia de dados para unificado desconsiderando campos (case sensitive). Um novo campo em caixa baixa é adicionado no ambiente customer e posteriormente em caixa alta no unificado. Apesar da alteração de schema, a cópia de dados não considera o campo, resultando em valores faltantes no unificado. A task de cópia de dados é manualmente criada, porém o campo não é populado devido ao fator case sensitive. Recomenda-se incluir o campo no SELECT da cópia de dados sem considerar a diferença de caixa.

CONNECTOR CAPL-6269 Correção de problemas de landing e steps com dados faltantes e divergentes

Corrigidos os problemas de landing e steps com faltas e divergências de dados. As tenants agora seguem o fluxo esperado de acordo com a documentação fornecida. Registros corrigidos para refletir o comportamento esperado após a resolução dos bugs.

DATA_PROCESSING CAPL-6266 Corrigir processamento incorreto de task em ambiente sem dados

Processo de task sendo processada incorretamente em ambiente sem dados, corrigir para garantir processamento eficiente. Ajuste realizado no backend para que apenas a tenant correta processe os dados, evitando processamento indevido por outras tenants.

EXPLORE CAPL-6255 Adicionando totalizador por grupo de entidades no tree view do explore

Implementado totalizador por grupo de entidades no tree view do explore. Anteriormente, a quantidade de entidades por categoria nao era exibida, o que podia gerar confusao. Agora, o usuario pode facilmente visualizar a quantidade de registros em cada grupo, mesmo em listas com mais de 50 itens.

EXPLORE CAPL-6287 Corrige erro no Editor UNIF para execução de querys simples no Explorer-Editor da página inicial

Corrigido o erro no Editor UNIF que impedia a execução de querys simples. O problema ocorria ao tentar analisar as querys no Explorer-Editor da página inicial. A correção resolveu os erros apresentados no console.

EXPLORE CAPL-6349 Corrige problema de visualização de Named Queries para Tenants com o novo Explorer

Corrige problema de visualização de Named Queries para Tenants com o novo Explorer

PLATFORM CAPL-6311 Corrigindo bug na Observabilidade do Smartlink relacionado à diferença entre contagens de Summary e Subscriptions

Corrigindo bug na Observabilidade do Smartlink relacionado à diferença entre contagens de Summary e Subscriptions

PLATFORM CAPL-6419 Corrigir falta de nome de pipeline em eventos de observabilidade

Os eventos de observabilidade não estão funcionando devido à falta de nome de pipeline nas mensagens propagadas. Identificamos que as tasks relacionadas aos eventos possuem o nome da pipeline no novo padrão adotado. É necessário propagar o nome da pipeline para a observabilidade.

SQL_PIPELINES CAPL-6267 Corrigir erro de reconhecimento de app para Tenants de Cliente do app totvspricing

Corrigir erro de reconhecimento de app para Tenants de Cliente do app totvspricing

SQL_PIPELINES CAPL-6268 Corrigir processamento de pipelines com eficiência Batch ativa.

Corrigir processamento de pipelines com eficiência Batch ativa.

SQL_PIPELINES CAPL-6420 Cancela tasks presas devido a deploy recente e investiga causas - 19 casos identificados.

Detectamos tasks presas em execução devido a um deploy recente. Realizamos cancelamentos pontuais para evitar impactos. Avaliamos e cancelamos tasks específicas. Foram identificados 19 casos hoje. O objetivo é cancelar tasks presas e investigar as causas.

TENANT_ADMIN CAPL-6250 Corrigir redirecionamento de usuário sem acesso para tela de login

Corrigir redirecionamento de usuário sem acesso para tela de login

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-6081 Adiciona treeview no editor Explore para facilitar a navegação dos Tenants Admin.

Adiciona treeview no editor Explore para facilitar a navegação dos Tenants Admin.

BIG_QUERY CAPL-6079 Permitir que o Tenant Admin inicie o processo de cópia de dados na Unified Tenant

Permitir que o Tenant Admin na Unified Tenant inicie o processo de cópia de dados. Selecionar Tenants para iniciar o processo de cópia de dados. Abrir a seleção de Tenants e permitir a seleção das staging tables no manifest de pipelines. Iniciar as tarefas de cópia dos dados.

BILLING CAPL-6077 Exibindo dados de ARR na tela de Billing e filtrando MRR por CD_PROD e CD_CNTA.

Adição do checkbox "Show recurring revenue" ao gráfico. Filtragem do MRR considerando CD_PROD e CD_CNTA.

CONNECTOR CAPL-6074 Atualiza o mdmIdOrigin baseado no mdmId da tenant cliente no processo de Copy Data.

No processo de Copy Data, o mdmIdOrigin é agora escrito com base no mdmId da tenant cliente. Isso elimina a condição de validação mdmId = mdmIdOrigin no código. O mdmIdOrigin agora reflete o mdmId da tenant cliente, conforme solicitado.

EXPLORE CAPL-6076 Adiciona treeview no editor Explore para facilitar a navegação dos Tenants Admin.

Adiciona treeview no editor Explore para facilitar a navegação dos Tenants Admin.

PLATFORM CAPL-6067 Adiciona campo sendToSubscriptions no evento CarolPipelineExecuted para rastrear valor 0 com subscriptions ativas no data model.

Adiciona campo sendToSubscriptions no evento CarolPipelineExecuted para rastrear valor 0 com subscriptions ativas no data model.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-5886 Corrigido Listagem de Tarefas em Loop e Resolução de Tela

Corrigido Listagem de Tarefas em Loop e Resolução de Tela

EXPLORE CAPL-6073 Corrigindo exibição de tenants na visualização de dados compartilhados de entrada e saída

Corrigindo exibição de tenants na visualização de dados compartilhados de entrada e saída

ORGANIZATION/TENANT CAPL-5287 Corrigido problema de loop no login para o serviço IDP Identity

Correção realizada no login do serviço IDP Identity

PLATFORM CAPL-6101 Ajuste de contagens entre CarolPipelinesExecutionSummary e CarolDataModelSubscriptionSent

Ajuste de contagens entre CarolPipelinesExecutionSummary e CarolDataModelSubscriptionSent

PLATFORM CAPL-6147 Adicionar campo de nome da subscription no payload de envio de mensagens a pubsub

Adicionar campo de nome da subscription no payload de envio de mensagens a pubsub

SHARED_DATA CAPL-6078 Corrigindo exibição de tenants na visualização de dados compartilhados de entrada e saída

Corrigido o erro que exibia o tenant errado na visualização de Incoming Shared Data. Agora, a coluna Shared with tenant mostra o nome e tenantID da tenant de origem. Na aba Outgoing Shared Data, exibe corretamente o nome e tenantID da tenant destino.

🚀 Melhorias​

BILLING CAPL-5814 Novo filtro por recursos na interface de Account Admin

Permitir que o usuário aplique um filtro por recursos na interface de Account Admin. Este filtro permitirá entender como o componente é dividido entre as tenants.

CAROL_APP CAPL-5661 Implementação da Propagação da Remoção de Dados ao Desinstalar Aplicativo Carol na Tenant Cliente

Como administrador na tenant cliente, está sendo implementada a propagação da remoção de dados ao desinstalar um aplicativo Carol. O objetivo é excluir os dados associados deste aplicativo da tenant unificada. O processo inclui a detecção e remoção assíncrona de tabelas staging e modelos de dados relacionados ao aplicativo. Após a conclusão da remoção, o app será bloqueado para instalação até que todo o processo seja finalizado. Além disso, será disponibilizado um botão para reprocessamento da desinstalação e eliminação de dados.

CAROL_APP CAPL-5710 Permitir a criação de novos Apps como "SQL Only" e tornar a tenant unificada opcional

Como usuário DEV, agora é possível criar um novo App ou uma nova versão do App como "SQL Only". Evita-se assim o aumento do período de migração, permitindo apenas a criação de novos Apps como "SQL Only". Ao clicar para criar um novo App, a opção padrão será definida como SQL Only. A definição da tenant unificada torna-se opcional. A edição do APP permitirá a vinculação de tenant unificada, gerando uma exceção se já houver uma associada. A opção de informar se o app é SQL Only ou Hybrid foi removida, sendo sempre SQL Only. A obrigatoriedade do campo Unified Tenant também foi removida, podendo ser informado a qualquer momento, mas obrigatório antes de liberar o app.

CAROL_APP CAPL-5711 Funcionalidade para criar novos Apps ou novas versões apenas como "SQL Only"

Como usuário DEV, agora é possível criar novos Apps ou versões como "SQL Only", evitando migrações prolongadas. O comportamento padrão é SQL Only, sem opções adicionais na interface. A definição da tenant unificada agora é opcional, listando apenas as unificadas sem apps instalados. Removida a opção de escolher entre SQL Only e Hybrid, sendo sempre SQL Only. O campo Unified Tenant agora é opcional, mas deve ser preenchido antes da liberação do App.

PLATFORM CAPL-5870 Correção de exibição de Locale na lista de usuários da Tenant

Realizando ajustes nos dados enviados no evento CarolPipelinesExecutionSummary. Inclusão de novos atributos originalGoldenRecordCount e originalRejectedRecordCount. Envio de informações adicionais para auxiliar o time do Smartlink. Os atributos representam a quantidade de Goldens e Rejected processados. Clientes do Smartlink com eficiência batch habilitada podem usufruir das melhorias.

PLATFORM CAPL-5880 Ajustando dados enviados no evento CarolPipelineExecuted para incluir número de subscriptions entregadas

Realizando ajustes nos dados enviados no evento CarolPipelineExecuted para incluir informações adicionais que auxiliam no cruzamento de dados. As informações adicionais incluem o número de subscriptions que a pipeline entregará. Essa melhoria beneficia o time do Smartlink ao comparar dados da Plataforma Carol com os TotvsApps. Todos os clientes do Smartlink com eficiência batch habilitada podem usufruir dessas melhorias. Os dados enviados serão utilizados para otimizar a análise de dados processados e enviados aos clientes.

PLATFORM CAPL-5967 Ajustando dados do evento CarolPipelinesExecutionSummary para melhorar observabilidade. Aprimorando informações para clientes Smartlink com eficiência batch.

Realizando ajustes nos dados enviados no evento CarolPipelinesExecutionSummary. Atualizando atributos para melhorar a observabilidade dos dados processados. Os clientes do Smartlink com eficiência batch habilitada poderão usufruir dessas melhorias. Adicionando informações essenciais nos eventos e no tasklog da task de summary.

SQL_PIPELINES CAPL-5707 Corrige bug de duplicação de pipelines no Postgres durante o checkout. Garante consistência e unicidade nas chaves da pipeline. Prioriza manutenção de pipelines com source staging compatível com o manifesto. Permite campo sourceEntities vazio.

Corrigido o bug que permitia pipelines duplicadas no Postgres. Agora, validamos se o campo sourceStagings está preenchido durante o checkout da pipeline. Isso evita duplicidades na base de dados e garante consistência na identificação das pipelines. As chaves da pipeline foram ajustadas para garantir unicidade: carol_app_name, tenant_id e pipeline_name. Também foi priorizada a manutenção de pipelines com source staging compatível com o manifesto. O campo sourceEntities agora pode ser vazio, conforme esperado.

SQL_PIPELINES CAPL-5760 Implementar validação via ORCHESTRATOR para connectorGruop

Implementando validação via ORCHESTRATOR para connectorGruop.

SQL_PIPELINES CAPL-5778 Permitir gerenciamento do Orquestrador pelo Carol Admin

Permitir que o Carol Admin gerencie o Orquestrador, reiniciando-o e visualizando instâncias em execução. Possibilitar a pré-visualização da última tarefa e das expressões cron de cada instância do orquestrador. Exibir propriedades das tarefas, como nome do aplicativo Carol, cron, grupos de tenants, nome do pipeline e detalhes adicionais.

🐛 Correções​

ACTIVITY_MANAGEMENT, SQL_PIPELINES CAPL-4877 Correção de Problema na Limpeza do BigQuery do Data Model

Foi corrigido um problema onde as tasks agendadas não limpavam o BigQuery do Data Model, pois estavam referenciando jobs da task original, que já foram concluídos, fazendo com que um novo não fosse criado. Agora, as tasks agendadas terão o mesmo comportamento que a task original, apagando a tabela do BigQuery antes de processar. Além disso, será criado outro job id de limpeza mesmo em tasks agendadas.

ACTIVITY_MANAGEMENT, CAROL_APP, SQL_PIPELINES CAPL-5804 Token expirado nas Conexões GIT: Problemas ao acessar pipelines e instalar Carol App no tenant unificado

Correção realizada nas Conexões GIT ao clonar um aplicativo com token GIT expirado, durante a instalação unificada do App, se o token estiver expirado, uma mensagem de erro será retornada e a task de instalação do Carol App não será criada; o Tenant do Cliente não deve ser impactado ao instalar o Carol App se o token expirar.

ACTIVITY_MANAGEMENT CAPL-5817 Problema de Tasks da Carol de SQL Processing trancadas em Produção corrigido

Registros estão chegando em staging tables, porém as tasks estão apresentando mensagem de "Data to process was not found or not ready". Algumas tasks ficam trancadas por 30 minutos após conclusão do job no BQ. As tasks voltam a processar sem mensagem adicional.

ACTIVITY_MANAGEMENT CAPL-5830 Corrige lentidão ao filtrar por tasks internas no Activity Management

Corrigido o bug que causava lentidão ao filtrar por tasks do tipo internal no Activity Management. A query agora retorna resultados em poucos segundos.

CAROL_APP CAPL-5839 Atualização de Carol App: Correção de erro com token revogado e orientação para criação de nova versão

Quando um usuário, com token revogado, tenta criar uma nova versão de Carol app, uma mensagem de erro é exibida. O comportamento ocorre apenas com repositórios Github. Ao pressionar F5, o usuário consegue prosseguir.

CAROL_APP CAPL-5840 Correção do botão Finish na instalação do Carol App na Tenant unificada com token revogado

Ao tentar instalar uma versão de Carol App na Tenant unificada com token revogado, o botão Finish não conclui a operação. A correção no FE/UI é feita com F5, que retorna à tela de Carol Apps.

CAROL_APP CAPL-5915 Falha na Instalação da Task de Carol App nos Customers ao Atualizar de Hybrid para SQL Only

Task de Carol App Install está falhando nos customers quando o app possui update the Hybrid para SQL Only. O problema ocorre com customers que instalam o app pela primeira vez ou realizam update. O cenário é quando o customer tem um HYBRID instalado e recebe uma nova versão como SQL_ONLY.

CONNECTOR CAPL-5813 Ajuste de limite máximo de caracteres para Staging Tables e Data Model na plataforma

Ajustado limite máximo de 30 caracteres no nome da Staging Table e Data Model. Os ERPs Consinco e RMS permitem até 26 caracteres. Limite aumentado para 30 caracteres. Compatível com Oracle, PostgreSQL, MySQL, SQL Server e OpenEdge.

CONNECTOR CAPL-5863 Atualização do Schema da Staging Table com Crosswalk Funcionando Corretamente

Atualização do Schema da Staging Table com Crosswalk Funcionando Corretamente

DATA_PROCESSING CAPL-5775 Permite processamento automático de dados copiados ao instalar novo APP no tenant existente

Permite que dados copiados sejam processados automaticamente ao instalar novo APP em tenant existente, redefinindo ingestionDateTime para "now()". Isso garante processamento imediato dos dados.

ORGANIZATION/TENANT CAPL-5936 Corrigir bug na API do FE Carol Swagger para permitir {{mdmValue}} com valor string.

A API do FE Carol Swagger exibe mensagem de erro ao tentar buscar staging schemas com JSON válido. A busca retorna um erro no Swagger, mas no Postman os resultados são retornados corretamente. Ao criar uma staging table e utilizar o endpoint /api/v2/queries/filter para buscar staging schema, o erro é observado no Swagger. O comportamento esperado após a correção do Bug é permitir {{mdmValue}} com valor string, pois atualmente é obrigatório um valor Json.

PLATFORM, SQL_PIPELINES CAPL-6000 Corrigindo erros ao salvar no BigQuery para evitar perda de dados.

Erros ao salvar no BigQuery estão causando perda de dados com frequência. O problema ocorre durante o processo de salvamento de dados no BigQuery.

SHARED_DATA CAPL-5812 Corrigir geração de falsos positivos na API de Dados Compartilhados

A API de Dados Compartilhados não suporta o uso de CTE e inner queries. Falsos positivos são gerados ao usar aliases para deduplicar tabelas, causando erros na validação da consulta SQL. A necessidade de deduplicação em consultas complexas é crucial para otimização de recursos.

SQL_PIPELINES CAPL-4583 O Tenant está de alguma forma vinculado a uma tabela de aplicativos não instalada e não encontrada no fanout

Correção realizada para que o Tenant não vincule a uma tabela de aplicativos não instalada e não encontrada no fanout

SQL_PIPELINES CAPL-5931 Botão Pause/Resume Schedule indisponível para pipelines de mesmo nome

No Menu Pipelines, o botão de Pause/Resume Schedule fica indisponível para pipelines de mesmo nome, mas para apps diferentes. É possível reproduzir o problema criando dois apps e vinculando duas pipelines diferentes com o mesmo pipelineName. Ao acessar o menu pipelines, verifique que o botão Pause/Resume Schedules está indisponível. O comportamento esperado é que o botão de Pause Schedules esteja disponível para todas as pipelines visíveis na plataforma.

SQL_PIPELINES CAPL-5956 Corrigir erro de escrita no Dataflow - Verificar vínculo com Carol App e ajustar pipeline.

Correção no Dataflow - quando o App não está instalado na tenant do cliente - Registros não estão sendo gravados no datamodel.

TENANT_ADMIN CAPL-5842 Correção de exibição de Locale na lista de usuários da Tenant

Correção de exibição de Locale na lista de usuários da Tenant

TENANT_ADMIN CAPL-5963 Corrige problema de SORT na tela de gestão de usuários

Corrigido o problema na tela de gestão de usuários que não aplicava o SORT ao clicar no header da tabela. A informação de SORT da coluna agora é devidamente considerada na request.

TENANT_ADMIN CAPL-5998 Corrigir endpoint de api-ui para trazer tasks de nível organization

Correção no endpoint de api-ui que não estava trazendo tasks de nível organization. Ao criar uma nova tenant, o activity management não notifica no ícone da plataforma, assim como na lista de tasks. O problema ocorre em produção, onde a consulta no PG mostra ter tasks para a org totvstechfin.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-5784 Funcionalidade de Filtro por Usuário de Criação e Atualização da Task

Adicionada a funcionalidade de filtro por usuário de criação e atualização da task. Os usuários agora podem aplicar filtros utilizando o tipo "string". Os filtros podem ser aplicados considerando o nome do usuário de criação ou de atualização da task.

BIG_QUERY CAPL-5087 Novas Funcionalidades de Cópia de Dados para o Unified Tenant

Nesta versão, foi adicionada a capacidade de o administrador da Tenant do Unified Tenant iniciar o processo de cópia de dados para as tabelas de staging/conectores listados no arquivo de manifesto. O administrador da Tenant pode executar uma cópia de dados completa (para todas as tabelas de staging/conectores especificados no arquivo de manifesto) ou especificando uma lista de conectores e tabelas de staging. Se já houver uma tarefa em fila (pronta) ou em execução para a tenant especificada e para a tabela escolhida (locatário_id + conector_id + staging_id), irá retornar um erro, mesmo que apenas 1 tenant/staging tenha esse cenário. Em outras palavras, não é permitido enfileirar/executar duas tarefas de cópia de dados para a mesma tenant para a mesma tabela.

BILLING CAPL-5779 Funcionalidade de configuração de chaves e valores para Billing Admin

Adicionada a funcionalidade de configuração de chaves e valores para o Billing Admin. Agora é possível utilizar chaves e valores como strings nas pipelines de billing. Exemplos de chaves incluem: basicfee_resources, basicfee_fixed_value. Os valores podem ser definidos pelo usuário. A funcionalidade está disponível para todos os usuários com permissão de Billing Admin. A interface de usuário foi atualizada para incluir um botão "Keys and values" e permitir a visualização, edição e filtragem por chaves e valores. Esta atualização visa facilitar a configuração e utilização de pipelines de billing.

CAROL_APP CAPL-5468 Revisão do Fluxo da Interface do Usuário do Carol App

Revisão do fluxo da interface do usuário do Carol App: remoção de tarefas de instalação, o problema ocorria quando a Organização ou Tenant era apenas SQL, pois era necessário remover as tarefas de instalação, também conhecidas como Reprocess DataModels.

CONNECTOR CAPL-5737 Desativação gradual da geração de documentos cdsFile e verificação do processo de paralização do Dataflow Streaming

Levantamento de esforço para inutilização de cdsFile para tenants não techfin. Desativação gradual da geração de documentos cdsFile do ES. Identificação de problema no processo de paralização do Dataflow Streaming devido à escrita de documentos no ES. Objetivo de verificar se o processo de parar o serviço do Dataflow Streaming consegue fazer o drain corretamente.

DATA_SUBSCRIPTION CAPL-5793 Observabilidade - Adição de novo campo no contrato do evento de Data Subscription

Implementamos um novo campo no contrato do evento (mdmEntityType) que permitirá ao time Smartlink comparar os eventos: CarolDataModelSubscriptionSent (Carol) e AppDataModelSubscriptionReceived (TotvsAPPs)

EXPLORE CAPL-5656 Novidades sobre a visualização e acesso de informações do modelo de dados

Permite visualizar informações do modelo de dados de forma unificada, incluindo tabela intermediária, consulta nomeada e atendimento. Permitir acessar informações do modelo de dados por meio do módulo Alert Management. Permitir visualizar informações do modelo de dados para todas as Tenants. Permitir filtrar e pesquisar informações específicas do modelo de dados. Permite exportar informações do modelo de dados em diferentes formatos.

ORGANIZATION/TENANT CAPL-5780 Remoção do número de registros do RT da página inicial do Tenant

Revisão da página inicial da Tenant e remoção do número de registros do RT.

PLATFORM CAPL-5838 Melhorias de performance na integração de usuários

Realizamos a remoção da contagem de usuários pertencentes ao grupo ao qual ele está sendo vinculado, durante a rotina de integração de usuários sem impactos a mesma, e melhorando assim seu desempenho.

SQL_PIPELINES CAPL-5221 Melhoria na Notificação de Erros de Processamento SQL no BigQuery

A solução proposta é garantir que, se o BigQuery tiver problemas para inserir registros durante o processamento SQL, o usuário será avisado de que a tarefa teve erros para ser concluída. A tarefa de SQL deve falhar.

SQL_PIPELINES CAPL-5826 Compatibilidade com o Orchestrator para desativar a eficiência do SmartLink em tenants específicos

Adicionada compatibilidade no orchestrator para enviar o parâmetro useBatchNotification no endpoint processQuery. Possibilidade de customizar o useBatchNotification para uma lista de tenants na configuração dos apps. Incluída query para detectar tenants que terão a eficiência do SmartLink (batchID) desativado.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-5741 Correção de Tasks Duplicadas na Aba de Notificações

Tasks duplicadas estavam sendo exibidas na aba de notificações. Este problema foi identificado e foi corrigido.

CAROL_APP CAPL-5776 Problemas de listagem e edição de agendamentos de processos batch

Os itens a seguir foram corrigidos: - Ao listar os agendamentos, o nome do usuário não é exibido corretamente, mesmo com o processo sendo executado normalmente. Ao editar o agendamento, o campo "Starts after" é mostrado como "Invalid Date" e o widget de calendário apresenta erro ao tentar inserir uma data válida. O campo "Run as" mostra o ID do usuário ao invés do login, e não permite realizar modificações.

CAROL_APP CAPL-5815 Correção de bug na atualização de informações ao desinstalar Carol App SQL_ONLY

Corrigido o problema de atualização da informação na Tenant ao desinstalar um Carol App SQL_ONLY de um customer. O problema ocorria apenas quando a desinstalação era feita pelo endpoint que recebe o nome do app como parâmetro. Ao usar a desinstalação por id do app, a lista de unified tenants é atualizada corretamente. Verificado o id da unified tenant do Carol App no map mdmUnifiedTenantsMapping através de consultas no PostgreSQL ou verificação do documento tenant.json no Cloud Storage. O id da unified tenant do Carol App não deve mais estar presente na mdmUnifiedTenantsMapping após a desinstalação do app por qualquer um dos dois endpoints disponíveis.

DATA_MODEL CAPL-5740 Problema com campo Start date & time em Data Subscriptions

Campo Start date & time não estava respondendo quando o usuário clicava para preenchimento. Isso ocorria ao criar e editar uma Data Subscription.

EXPLORE CAPL-5808 Erro 400 de Bad Request impede acesso aos dados de staging no Editor de Query

Ao tentar clicar no link do editor de query para visualizar os dados de staging, o erro 400 de bad request é exibido na tela do Editor. Isso impede o acesso aos dados e pode causar problemas no processo de Fullfilment. Após a correção é possível acessar os dados de staging através do link do editor de query sem a exibição do erro 400.

ORGANIZATION/TENANT CAPL-5636 Correção de erro na exibição de mensagem de falta de acesso à interface gráfica

Este bug ocorre quando o usuário não tem acesso à interface gráfica da plataforma Carol. Ao invés de uma mensagem orientativa, é exibido um erro no console. Espera-se que seja exibida uma mensagem amigável informando sobre a falta de acesso. Correção realizada para a exibição da mensagem.

SHARED_DATA CAPL-5739 O botão Salvar deve permanecer funcional após um erro na API SQL e permitir o reenvio da consulta sem a necessidade de atualizar a página

Correção para que se a API SQL retornar erros, o botão deverá ser recuperado para que o usuário possa corrigir a consulta e reenviá-la sem atualizar totalmente a página.

SQL_PIPELINES CAPL-5635 Correção de lacunas de execução no Orquestrador

Correção realizada para que o Orquestrador não tenha lacunas de execução.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-5783 Problema de ordenação não está funcionando

Corrigida a ordenação na tela de Tarefas/Tasks.

BIG_QUERY CAPL-5554 Atualização de Data/Hora de Consolidação das Tabelas do BigQuery

Esta atualização irá mostrar a data/hora de consolidação das tabelas provenientes do BigQuery, em vez da data/hora do CDS. Isso permitirá que os usuários tenham uma visão mais precisa e atualizada dos dados.

BIG_QUERY CAPL-5557 Consolidação: Definir Prioridade para Consolidar Primeiro os Tenants Mais Antigos

Adicionada a característica de sempre consolidar primeiro os tenants mais antigos. Ao iniciar um novo cronograma de consolidação, não adicionar novamente os tenants que já estão na fila.

BILLING CAPL-5574 Atualização de Faturamento: Compartilhamento de Custos e Informações de Contas de Faturamento

Adicionada a funcionalidade de mostrar quais custos estão sendo compartilhados com outras contas de faturamento. Foram realizadas atualizações no sistema de faturamento para permitir o compartilhamento de custos de aplicativos e contas de tenants entre duas ou mais contas de faturamento. Agora é possível visualizar nas informações de custos que um custo específico faz parte do total e está sendo compartilhado entre contas de faturamento.

BILLING CAPL-5657 Adição de Gráfico de Custos ao Longo do Tempo na Visualização do Administrador no Faturamento

Adicionado um gráfico de custos ao longo do tempo à visualização do administrador no módulo de faturamento. Agora, os administradores podem visualizar um gráfico que mostra a evolução dos custos ao longo do tempo, proporcionando uma visão mais detalhada e informativa das despesas.

DATA_SUBSCRIPTION CAPL-5473 Implementação de Observabilidade para Subscriptions em Chamadas de Webhook

Implementação de observabilidade para os resultados de envio de mensagens para a API do cliente (Webhook) por meio de subscriptions. Os registros processados serão produzidos no tópico PubSub, agrupados por batchIds no Fluxo de Dados. Todas as mensagens de Subscription enviadas para a API do cliente serão encaminhadas para o Smartlink, desde que a organização esteja habilitada para Observabilidade e os dados processados estejam anexados ao batchId.

ORGANIZATION_ADMIN CAPL-5565 Correções realizadas de acordo com o Pentest 2023

Realizado correções e ajustes de acordo com o relatório gerado pelo Pentest 2023.

SQL_PIPELINES CAPL-5572 Revisão da Arquitetura do Orchestrator para Melhor Distribuição de Carga

Divisão do Orchestrator em duas aplicações: um "controlador" para agendar consultas e um "worker" para processar os dados, permitindo escalabilidade conforme necessário.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-4620 Correção de Problema de Esquema de Staging Preso no Status CHANGE_IN_PROGRESS

Corrigido um problema em que o esquema de staging ficava preso no status CHANGE_IN_PROGRESS após as alterações implementadas o erro foi corrigido. Os esquemas e modelos de dados afetados foram verificados e retornaram ao estado normal.

ACTIVITY_MANAGEMENT CAPL-5693 Problema de Funcionamento na UI de Agendamentos

O problema na interface do usuário, onde nem todos os agendamentos estavam sendo exibidos corretamente, foi corrigido. O footer da página de agendamentos agora mostra e lista todos os 28 itens conforme esperado. Isso foi ajustado para os pipelines sup_aptitulos, sup_aptransactions e sup_datainfo.

CAROL_APP CAPL-5389 Cancelamento do Processo Online do Aplicativo Carol

Identificado e corrigido o cancelamento do processo online do aplicativo Carol pelo operador após 30 dias de inatividade. Após uma solicitação do MDM, o operador excluiu o aplicativo, resultando na indisponibilidade da tarefa.

CONNECTOR CAPL-5630 Atualização da Exibição de Atributos na Área de Staging

A área de staging agora exibe os atributos do stagingMapping em vez do schemaMapping. Corrigido o problema onde mais atributos eram exibidos na interface do que os disponíveis internamente, devido à base no "schemaMapping". A interface agora mostra corretamente as colunas provenientes do stagingMapping, alinhando-se com a estrutura no BigQuery.

DATA_MODEL CAPL-5698 Problema Resolvido em Mensagens PUB/SUB com Formatação JSON Inválida

Corrigido erro de formatação JSON em mensagens PUB/SUB. O problema ocorria em várias tenants e DMs, resultando em JSON inválido.

ORGANIZATION_ADMIN CAPL-5731 Problema de Visualização de Quantidade de Tenants Vinculadas ao Usuário

Corrigido problema que impedia a exibição correta da quantidade de tenants vinculadas ao usuário. Agora, ao clicar para visualizar as tenants, elas são exibidas corretamente, e a quantidade de tenants vinculadas é mostrada conforme o esperado.

SQL_PIPELINES CAPL-4849 Correção de Problemas de Processamento de Dados por Meio de SQL e Melhorias na Concorrência Interna

Corrigido problema de campos vazios em tarefas de processamento de dados SQL. Melhorada a concorrência interna para permitir múltiplas atualizações em registros de tabela. Tarefas BIGQUERY_PROCESS_DATA agora terão temporaryTableName e data->>createdRecords quando criadas com Golden Records.

SQL_PIPELINES CAPL-5388 Problema de Sincronização do Pipeline do Tenant do Cliente

Corrigido o problema que causava a falta de sincronização do pipeline do tenant do cliente quando o tenant unificado fazia um checkout. Anteriormente, a eficiência genérica do SQL salvava o pipeline para cada tenant no banco de dados (Postgres) para evitar obter o pipeline unificado no Elasticsearch toda vez através do Tenant App instalado no tenant unificado. Agora, a entidade do pipeline é atualizada para os tenants do cliente após checkouts no pipeline em tenants unificados, garantindo que as listas de tabelas de preparação estejam sempre atualizadas no banco de dados Postgres.

SQL_PIPELINES CAPL-5463 Atualização de Resiliência para Tasks de Processamento SQL

Erro intermitente em tasks de processamento SQL, resultando em falhas e impactando a amostragem da frequência de ocorrência em um único tenant. Foi implementada a adição de resiliência para entidades utilizadas na task de processamento SQL. Melhorando na estabilidade e redução de falhas nas tasks de processamento SQL, minimizando o impacto na amostragem da frequência de ocorrência em um único tenant.

SQL_PIPELINES CAPL-5764 Remoção de Pipelines Duplicadas para Tenants do Tipo Customer

A remoção de pipelines duplicadas para tenants do tipo Customer foi realizada para corrigir o problema de duplicação causado pelo card CAPL-5388. Essa ação visa resolver a materialização incorreta e limpar os dados inconsistentes, garantindo consistência e precisão nos dados dos tenants.

TENANT_ADMIN CAPL-5696 Correção de falha na habilitação da integração com o Google

A falha na habilitação da integração com o Google foi corrigida. Agora, ao tentar ativar a integração, não será mais exibida a mensagem de erro "User xxxxx is not a tenant admin". A correção garante que a funcionalidade esteja disponível para todos os tenant admins e org admins dos tenants testados.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-5315 Consultas SQL para filtrar tarefas agendadas na UI

Foi implementado novo endpoint para filtrar tarefas agendadas na plataforma por meio da interface. Apenas os campos pré-definidos na lista podem ser usados para filtrar as tarefas.

ACTIVITY_MANAGEMENT CAPL-5321 Exibição do nome da tabela no cabeçalho da tarefa

Alteração realizada para mostrar o nome da tabela de staging e o nome do modelo de dados na linha da tarefa ao listar as tarefas.

BILLING CAPL-5413 Billing: Cálculo de Faturamento com Divisão de Custos da tenant por Conta de Billing

Aprimoramos o cálculo de faturamento para possibilitar a divisão do custo de uma tenant por meio de contas de faturamento.

CONNECTOR CAPL-5591 Melhorias na Comunicação e Observabilidade do Processamento de Dados

Foi realizado um aprimoramento na comunicação e observabilidade do processamento de dados, tendo uma redução significativa do tempo de integração, a solução foi implementada para agilizar a comunicação e resolver atrasos identificados.

CONNECTOR CAPL-5634 Melhorias na Busca de Dados da Área de Staging e Otimização de Consultas

Implementada uma solução para otimizar a busca de dados na área de staging. Adicionado filtro da meta-informação "__IngestionDatetime: datetime" para melhorar a precisão das consultas. Incluída a opção de seleção da coluna "_ingestionDateTime" para adicionar ou remover a coluna na tabela de visualização.

DATA_INGESTION CAPL-5419 Correção de Timeout ao Ativar Autenticação de short URL em Tenants com muitas URLs

Corrigido problema em que a API retornava timeout ao tentar ativar a autenticação de short URL.

EXPLORE CAPL-5466 Atualização do Painel Lateral para Mostrar Metafields

Implementada atualização no painel lateral para exibir metafields, com o objetivo facilitar a visualização e o acesso aos metafields diretamente no painel lateral, proporcionando uma experiência mais eficiente para os administradores da Tenant.

ORGANIZATION/TENANT CAPL-5546 Pentest 2023: Revisão da Estratégia de Convite para Evitar Vulnerabilidades de Injeção de HTML

Realizada revisão da estratégia de convite para evitar vulnerabilidades de injeção de HTML, bloqueando a personalização de HTML pelos chamadores do endpoint.

SQL_PIPELINES CAPL-5556 Orchestrator: Associação de Agendamentos com CommitID para Revogar e Atualizar Facilmente

Implementada associação interna entre agendamentos e CommitID para facilitar a revogação de agendamentos antigos durante o processo de checkout. Ao fazer o checkout de uma nova versão do manifesto com uma nova expressão cron, todos os agendamentos agora são automaticamente atualizados. Essa atualização proporciona uma maneira mais eficiente de gerenciar agendamentos no Orchestrator, garantindo que os agendamentos estejam sempre alinhados com as versões mais recentes do manifesto, sem a necessidade de intervenção manual.

TENANT_ADMIN CAPL-5316 Disponibilizado Endpoint para Consulta de Usuários da Tenant

Implementado endpoint para consulta de usuários da Tenant, o objetivo é facilitar a consulta e filtragem de usuários da Tenant diretamente pela plataforma.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-5633 Correção de Problema na Paginação da Lista de Tasks

Problema resolvido na lista de tasks, onde a paginação não estava funcionando corretamente. Ao avançar para visualizar tasks mais antigas, o rodapé da página atualizava, mas a lista de tasks permanecia sempre as últimas. O problema foi corrigido e a paginação agora funciona corretamente.

BILLING CAPL-5601 Correção de Bug de Duplicação de Tenants no Dashboard de Billing

Corrigido o bug que causava a duplicação do número de tenants no dashboard de billing. O problema ocorria quando uma tenant fazia parte de um rateio de custos. Agora, os dashboards da tela principal do billing consideram apenas tenants únicas.

CONNECTOR CAPL-5577 Problema de Carregamento de Registros do BigQuery na plataforma

Essa atualização visa garantir a correta exibição e funcionalidade dos registros do BigQuery na plataforma, proporcionando uma experiência de usuário consistente e sem interrupções.

CONNECTOR CAPL-5660 Erro 404 ao acessar Query Editor na página de staging table

Corrigido o problema em que ocorria um erro 404 ao tentar acessar o Query Editor dentro da página de staging table. O problema foi resolvido e agora os usuários podem acessar o Query Editor sem encontrar erros.

DATA_MODEL CAPL-5576 Correção de Erro ao Atualizar Rótulo/Descrição de Campo Nested/Objeto em Modelos de Dados

Resolvido o erro que ocorria ao tentar atualizar o rótulo/descrição de um campo nested/objeto em modelos de dados.

ORGANIZATION/TENANT CAPL-5418 Problema de Resposta Inconsistente do Filtro SQL

O problema foi resolvido, garantindo que o código de status correto seja retornado em caso de falha (400) e que a resposta seja um objeto JSON conforme esperado.

ORGANIZATION/TENANT CAPL-5518 Correção para resposta inconsistente da API

Após uma investigação mais aprofundada, descobriu-se que o problema foi causado por um bug no código em que o ID do aplicativo não estava sendo recuperado corretamente dos parâmetros de solicitação, fazendo com que o ID do aplicativo errado fosse usado para pesquisar as configurações do aplicativo. Isso foi corrigido e o endpoint agora retorna consistentemente o código de resposta e os dados corretos.

PLATFORM CAPL-5383 Problema de Mesclar Tarefas em Execução Após Implantação do Usuário do Tenant Integrado com o PubSub

Identificado e corrigido o problema relacionado à Mesclar Tarefas que ainda estavam em execução após a implantação do usuário do Tenant integrado com o PubSub.

SQL_PIPELINES CAPL-4693 Correção de Bug no Processo de SQL Processing

Resolvido um problema identificado durante alguns processos de SQL Processing, onde erros indicavam que o Template de Entidade não foi encontrado.

SQL_PIPELINES CAPL-5604 Problema com a última execução do pipeline: Erros no console e carregamento infinito

Identificado e resolvido o problema com a última execução do pipeline, que estava apresentando carregamento infinito e exibindo erros no console. A correção implementada resolveu o problema, garantindo que a execução do pipeline ocorra conforme esperado, sem apresentar carregamento infinito ou erros no console.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-5314 Novo endpoint de consulta SQL para filtrar tarefas na plataforma

Fornecer um endpoint que permita ao usuário consultar tarefas usando SQL em vez de ES. Filtrar ou ocultar tarefas internas. Abrir filtro por ID de tarefa e usuário. O ID da Tenant deve ser fornecido na consulta a ser realizada por (/admin/query/sqlfilter).

ACTIVITY_MANAGEMENT CAPL-5322 Atualização de Gerenciamento de Atividades: Opção "Mostrar Data/Hora" Selecionada por Padrão

Atualização de gerenciamento de atividades: agora, por padrão, a opção "mostrar data/hora" estará selecionada ao abrir os detalhes de uma tarefa.

BIG_QUERY CAPL-4428 Correção de Provisionamento Parcial

Agora, quando uma tarefa de provisionamento parcial aciona a cópia de dados, ela copia dados somente para as tabelas de staging mencionadas no corpo da solicitação.

BIG_QUERY CAPL-5484 Seleção de Múltiplas Tabelas de Staging no Reprovisionamento

Agora é possível selecionar automaticamente todas as tabelas de staging com problemas ou selecionar uma por uma para reprovisionar.

CAROL_APP CAPL-5469 Remoção Bem-Sucedida do Cartão "Reprocessar DataModels"

O cartão "Reprocessar DataModels" foi removido com sucesso da guia "Instalação" para Tenants SQL Only. Isso otimiza a interface do usuário e aprimora a experiência para esses usuários.

EXPLORE CAPL-5496 Remoção da opção de reprocessar dados da exploração para Tenant ou ORG SQLOnly

No Explorer, a opção de reprocessar dados foi removida para Tenants ou ORGs exclusivos do SQL. Agora, as funcionalidades de copiar e mover dados foram otimizadas para Tenants ou ORGs SQLOnly.

ORGANIZATION/TENANT CAPL-4880 Melhorias na Exibição de Versões BE e FE

Foi realizada uma melhoria na forma como exibimos as versões para BE e FE. Se o BE não tiver uma versão específica, podemos exibir quando foi implantado (timestamp no formato ISO). Foi definida a arquitetura do modelo de serviços para ser compatível com essa abordagem de compartilhar a versão, o nome do componente e a data/hora de implantação. Está disponível a informação relacionada à implantação para os componentes Front-end e Back-end.

ORGANIZATION/TENANT CAPL-5467 Atualização do ícone obrigatório para vermelho em formulários.

Ícones de campos obrigatórios foram atualizados para a cor vermelha. Anteriormente não destacados, agora todos os campos de formulário exibirão o ícone obrigatório em vermelho, proporcionando uma identificação visual clara. Essa atualização beneficia todos os usuários, melhorando a usabilidade e garantindo consistência nos componentes de formulário.

ORGANIZATION/TENANT CAPL-5482 Correção de Exibição da Mensagem "SQL Only" apenas se a tenant e a org forem SQL Only

A mensagem "SQL only" agora só é exibida se o tenant e a organização não forem Somente SQL. Essa atualização proporciona uma comunicação mais precisa e relevante aos usuários.

ORGANIZATION/TENANT CAPL-5483 Permitir Configuração de URL Confiável na Organização para Autenticação TOTVS Identity ou SAML

Adicionamos o domínio totvscloud.com.br e subdomínios à lista de permissões para redirecionamento de autenticação (URL confiáveis). Essa atualização evita falhas no redirecionamento quando um IDP é ativado na Carol (Identity ou SAML)

SQL_PIPELINES CAPL-5195 Melhoria no Orchestrator para Performance de Carol Apps

Foi realizada uma melhoria no Orchestrator para melhorar a performance para Carol Apps com um grande número de tenants com a aplicação instalada. O Orchestrator agora recebe o número de grupos para agrupar os tenants. O cron expression é usado para executar cada grupo de tenants. Além disso, para pipelines com o grupo de conectores especificado, só será executado quando o grupo de conectores do tenant corresponder ao grupo de conectores definido no pipeline. Por fim, ao invés de definir o cron no Orchestrator, o mesmo é obtido do manifesto do pipeline. Esta melhoria está disponível para o usuário Carol Admin.

SQL_PIPELINES CAPL-5401 Funcionalidade Avançada de Healthcheck no Orchestrator

Adicionada funcionalidade avançada para healthcheck no Orchestrator. Agora a plataforma retorna o status de não saudável se nenhuma tarefa for criada nos últimos 30 minutos.

SQL_PIPELINES CAPL-5405 Novas funcionalidades para expressões cron no Orchestrator

Adicionada a funcionalidade de especificar o intervalo entre grupos personalizado para expressões cron no Orchestrator. Agora é possível controlar melhor o intervalo durante os finais de semana, permitindo a especificação do parâmetro waitBetweenGroups para cada expressão cron. Caso não haja uma configuração específica para a expressão cron, o valor padrão será utilizado.

SQL_PIPELINES CAPL-5503 Funcionalidade de Lista Negra de Tenants

Adicionada a funcionalidade de lista negra de inquilinos. Agora é possível adicionar o ID de tenants ao arquivo schedule.ts para bloqueá-los.

SQL_PIPELINES CAPL-5504 Atualizações de correção de processamento SQL e fluxo de criação de campos

A tarefa de processamento SQL deve remover qualquer campo que não esteja disponível no modelo de dados de saída ao ser executada em um tenant com RT habilitado.

SQL_PIPELINES CAPL-5507 Correção de processamento SQL e remoção automática de campos no Elasticsearch

Correção de processamento SQL: não deve criar o campo no "mapeamento do Elasticsearch" quando o processamento SQL retornar um campo que não existe na tenant - tenant unificado.

SQL_PIPELINES CAPL-5531 Orchestrator: Atualização de leitura de propriedade checkExistsDataToProcess

Orchestrator agora lê a propriedade checkExistsDataToProcess do manifesto do pipeline. Se a instância do aplicativo Carol no orquestrador tiver o checkExistsDataToProcess habilitado, ele deve ler do manifesto o valor para checkExistsDataToProcess de cada pipeline que será processado.

TENANT_ADMIN CAPL-5217 Atualização de Segurança para Bloqueio de Personalização de HTML

Nesta atualização, revisamos a estratégia de envio de e-mails para bloquear a capacidade de personalização de HTML por parte dos chamadores de endpoint. Para evitar a injeção de HTML através de nossos endpoints, usamos um parâmetro em vez de um link e ignoramos o parâmetro relacionado ao HTML, considerando o modelo padrão internamente definido.

🐛 Correções​

CAROL_APP CAPL-5226 Correção de Erro na Lista de Tenants do Aplicativo Carol App

Nesta atualização, foi corrigido um problema que ocorria na lista de tenants onde o aplicativo Carol App foi implantado. Agora, a tenant deletada foi removida da lista de tenants implantadas do aplicativo e foi verificado se não havia outros IDs incorretos (caso haja, eles também serão deletados).

CONNECTOR CAPL-4936 Correção de Perda de Dados no Fluxo de Provisionamento

Foi corrigido o problema de perda de dados quando um tenant executava o fluxo de provisionamento e os dados eram enviados para esse tenant. Foi criada uma query para recuperar os registros ausentes e foi detectado que a tabela resultante estava INATIVA, mas aceitando a ingestão de novos dados. Foi enviado para o carol novamente (bqInsertFlow) e foram criados tópicos para controlar o status da tarefa e do tenant.

DATA_INGESTION CAPL-5506 Problema de autenticação de cookies no Carol App com mdmCdsShortURLAuthentication ativado

Problema de autenticação de cookies na tela de autenticação do Carol App quando mdmCdsShortURLAuthentication está ativado resolvido. Os cookies não são configurados corretamente, o que impede a exibição de imagens quando a autenticação do shorturl está ativada.

DATA_INGESTION CAPL-5509 Fluxo de autenticação no Carol App Clockin com problemas

Resolvido um problema quando a configuração mdmCdsShortURLAuthentication está ativada. O problema ocorre quando o usuário tenta acessar o Carol App Clockin diretamente através da URL, em um navegador incógnito. Ao invés de ser redirecionado para o fluxo de autenticação normal, o usuário é redirecionado para o fluxo de login da Carol, resultando em falha ao tentar acessar as imagens. Isso ocorre porque os cookies de autenticação não são configurados corretamente na tela de autenticação da Carol.

DATA_SUBSCRIPTION CAPL-5464 Problema de filtragem de IDs de registro excluídos no Data Subscription

Corrigido um problema para filtrar registros deletados no Data Subscription.

PLATFORM CAPL-5561 Atualização do endpoint de SMS para o provedor TWW

Atualização da implementação do endpoint de SMS para o provedor TWW.

SQL_PIPELINES CAPL-5458 Eficiência SQL não funcionando para tenants com orquestrador na unificada

Corrigimos um problema que impedia a execução da eficiência SQL em tenants clientes com orquestrador, mesmo com ela ativada na unificada

SQL_PIPELINES CAPL-5521 Problema de dados no Data Model estão sendo levados como nulos.

Problema de dados no data Model integrados como nulos resolvido.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-5400 Carol não deve remover as tasks de Carol Apps online

Realizada uma melhoria para que a plataforma Carol não remova as taks relacionadas a Carol Apps online que ainda estão em execução.

BIG_QUERY CAPL-4604 Novas Funcionalidades de Provisionamento de Staging Tables

Agora, os administradores de Tenants podem provisionar staging tables individualmente. O endpoint permite que isso seja feito para um conjunto de tabelas. Para unified tenants, exibimos uma mensagem ao usuário informando que não permitimos o provisionamento de staging tables/data models. Foi adicionada uma opção para reprovisionar a staging table, no menu suspenso, e um botão para reprovisionar a staging table nas opções avançadas, na guia de gerenciamento de dados. Além disso, as tarefas pendentes são monitoradas para desabilitar esses botões caso uma alteração de esquema para essa entidade já esteja na fila ou em execução.

BILLING CAPL-5236 Novo Dashboard no Carol Billing para Compartilhar Grandes Números - Parte 2/2

Foi criado um dashboard no Carol Billing para compartilhar grandes números. O dashboard contém informações sobre o total de armazenamento por tipo de armazenamento por mês, número de tenants por mês, custo ao longo do tempo por recurso e uma tabela com recursos e contas de faturamento. O usuário pode filtrar por conta de faturamento, segmento, aplicativo Carol, organização, tenant e recurso. Quando acessar a conta de faturamento a partir desta página, certifique-se de adicionar um breadcrumb com "Home / Conta de Faturamento".

CAROL_APP CAPL-5136 Atualização da Instalação do Carol App

Com esta atualização, a instalação de um aplicativo Carol considera um processo padrão de atualização da staging table, ao invés de aplicar um novo esquema excluindo colunas existentes. As regras a serem seguidas são: adicionar uma nova validação se a staging table não existir, criá-la (sem considerar o parâmetro forceMaterializeStagingSchemaFromConnectorProtheusCarol); se o parâmetro for verdadeiro, somente adicionar novas colunas que o aplicativo Carol definiu para a staging table do cliente; se o parâmetro for falso, pular a materialização da staging table (como hoje). Se o tipo do campo da tenant do Carol App e da tenant do cliente for diferente, um aviso deverá ser registrado no log da tarefa de instalação do Carol App, informando o nome do conector, da staging table e do campo.

CONNECTOR CAPL-5317 Melhoria na Adição de Conectores TOTVS (Protheus, RM e Datasul)

Esta atualização tem como objetivo aprimorar a experiência do usuário ao adicionar conectores TOTVS, incluindo suporte para Protheus, RM e Datasul. Agora, os usuários não precisam mais fornecer manualmente o nome da tabela de staging durante o processo de adição do conector.

EXPLORE CAPL-5323 Nova Visualização em tree view no Explorer

Introduzida uma nova e aprimorada visualização em tree view no Explorer, proporcionando uma navegação mais intuitiva e eficiente por meio de uma estrutura hierárquica.

SQL_PIPELINES CAPL-5200 Novas Configurações de Retenção para Tabelas Temporárias no Dev Tenant

Com esta atualização, os usuários do Dev Tenant (Tenant Admin em um Dev Tennat) agora podem definir o período de retenção para tabelas temporárias relacionadas aos seus pipelines. O padrão de retenção definido é de 1 dia, mas o usuário pode definir um período de 3 a 14 dias no arquivo de manifesto. Esta configuração também é válida para pipelines executados no Unif e no Orchestrator. Se não houver informações definidas no manifesto, o padrão de retenção será de 7 dias.

SQL_PIPELINES CAPL-5395 [Orchestrator] Correção de Execução de Jobs Agendados

Esta atualização aborda o problema identificado no Orchestrator, no qual alguns jobs agendados não estavam sendo executados conforme esperado. Com as correções implementadas, a funcionalidade de agendamento agora opera de maneira consistente, assegurando a execução pontual e eficaz de todos os jobs programados.

TENANT_ADMIN CAPL-3095 Adição de Atalhos de Filtro em Tabelas

Introduzimos a funcionalidade de atalhos de filtro em tabelas, proporcionando aos usuários uma maneira rápida e conveniente de refinar e personalizar a visualização de dados. Agora, a experiência de filtragem em tabelas tornou-se mais ágil, melhorando a eficiência na análise e na busca de informações específicas.

TENANT_ADMIN CAPL-5491 Indisponibilidade do Recurso de Redefinição de Senha por Motivos de Segurança

Com foco na segurança, o recurso de redefinição de senha foi desativado. Esta medida visa fortalecer a proteção das contas dos usuários, mitigando potenciais vulnerabilidades.

🐛 Correções​

DATA_MODEL CAPL-5090 Correção de Bug no Data Model para Movimentação de Campos Nested

Foi corrigido um bug no Data Model que causava comportamento inesperado ao mover campos nested. Quando a posição de um campo nested era alterada, os filhos eram deixados para trás, como se fossem filhos do novo campo naquela posição. Após salvar, ele é exibido corretamente novamente.

PLATFORM CAPL-5326 Adição de CLIENTS e ACCESS_TOKENS à Migração de Cache

Aprimoramos a migração de cache com a inclusão das entidades CLIENTS e ACCESS_TOKENS. Agora, o processo de migração de cache é mais abrangente, garantindo uma gestão mais eficiente e consistente desses dados críticos.

SQL_PIPELINES CAPL-5194 Melhorando o Estado de Estagnação das Tarefas SQL

Identificamos algumas tarefas que estão demorando para serem concluídas, com o status BQ ficando estagnado. Verificamos o plano de execução, mas Carol está esperando por algumas horas antes de registrar o status estagnado. O objetivo dessa melhoria é identificar o problema que está causando o estancamento e rever o período de estagnação para tarefas SQL, que é de 60 minutos sem atualizações.

SQL_PIPELINES CAPL-5267 Melhorando a Performance do Elasticsearch com Cache de Tenants

Resumo: Foi necessário otimizar as consultas do Elasticsearch na configuração, pois elas estavam muito pesadas e afetando os tempos de latência do ES. Estas consultas são executadas pelo worker-sql na tarefa-sql e é interessante não usar config- nessas consultas, se possível.*

SQL_PIPELINES CAPL-5288 Eficiência SQL não estão funcionando para tenants com orquestrador na tenant unificada

Corrigimos um problema que impedia a execução da eficiência SQL em tenants clientes com orquestrador, mesmo com ela ativada na unificada

🚀 Melhorias​

BIG_QUERY, DATA_MODEL CAPL-5034 Integração do BigQuery com o Registro do Modelo de Dados da Carol

Nesta versão, integramos o BigQuery com os seguintes metadados do registro de Modelo de Dados da Carol: descrição do Modelo de Dados, descrição dos campos do Modelo de Dados e rótulo dos campos do Modelo de Dados. Isso nos permitirá compartilhar o catálogo disponível no BigQuery.

BIG_QUERY CAPL-5168 Novas Funcionalidades de Provisionamento de BQ para Tenants Não Unificados

Quando um Tenant é provisionado, o provisionamento do BQ gera o mdmID. Além disso, quando uma tabela é recriada na Staging Table, o mdmID é gerado novamente para os dados reimportados. Esta funcionalidade está disponível para Tenants não unificados e pode ser usada por tenantAdmin e OrgAdmin.

BILLING CAPL-5161 Novas Funcionalidades para Contas do Billing

O usuário deve ser capaz de visualizar quem é responsável pela conta de cobrança. Foi adicionado um novo campo ao adicionar/editar uma conta de cobrança, o proprietário da conta (para informar nome e e-mail) e notas (área de texto, para adicionar qualquer outra informação). Além disso, foi adicionado um botão na página inicial da conta de cobrança, "Sobre esta conta", que abre um painel lateral com informações como nome da conta, proprietário da conta (nome e e-mail), código de classe, centro de custo, código de item e notas.

DATA_MODEL CAPL-5166 Melhorias no Datamodel via editor de código: casos específicos

Nesta atualização, foram realizadas melhorias na modelagem de dados via código. Foram validadas cláusulas que fazem alterações em campos existentes, e foi permitido que o mesmo campo esteja em diferentes camadas do esquema.

DATA_SUBSCRIPTION CAPL-5162 Melhorias na Visualização do data Subscription

Nesta atualização, foi otimizada a visualização do data subscription. Agora, a execução de consultas do data subscription é mais rápida. Além disso, na página inicial do administrador da organização, a exibição do data subscription foi movida para abaixo da exibição de Tenants.

PLATFORM CAPL-5157 Auditoria de Alterações de Status de Tarefas no BigQuery

Desenvolvemos uma solução eficaz para auditar alterações no status das tarefas e carregá-las no BigQuery. Adicionamos um método para carregar do CloudSQL para BigQuery. O destino final da auditoria é o BQ para consultas analíticas. Nem todas as tarefas, como as MERGE_TASKS, exigem essa auditoria.

SQL_PIPELINES CAPL-4790 Atualização do SQL Processing para Integração de Usuário da Tenant

O processamento de pipeline de SQL não deve depender da camada de armazenamento RT e não deve depender de merges para que a integração com o usuário da Tenant ocorra. A instalação do Carol App deve seguir os tipos de armazenamento definidos nas configurações do Carol App, não devendo habilitar a camada de armazenamento RT por padrão.

SQL_PIPELINES CAPL-4814 Melhoria no SQL Processing para Integração de Usuários com Usuários de Tenants sem Merges(RT) [UNIF]

Esta atualização resolve o problema de integração de usuário com a Tenant sem depender de merges. O SQL Processing foi atualizado para criar o usuário no Tenant do cliente após o fan-out, seguindo os mesmos critérios que já estão implementados. Se o tipo de armazenamento do RT do cliente for FALSE e o flag shouldSendRealtime for TRUE, será gerada uma mensagem de aviso no processo de SQL do Tenant Unificado.

TENANT_ADMIN CAPL-5197 Atualização de Notificação de Desativação do Mapeamento

Agora, os usuários que não são somente SQL serão informados que o mapeamento foi desativado a partir de janeiro. Esta atualização inclui a atualização da mensagem de notificação para informar que o mapeamento já não está disponível. O link para a documentação de migração para o processamento SQL também foi incluído.

🐛 Correções​

BIG_QUERY CAPL-5286 Corrigido erro na task de schema modification

Foi corrigido o problema que em alguns casos a task de schema modification era abortada ao tentar realizar comparação entre algumas tabelas.

BILLING CAPL-5105 Parte da legenda é ocultada no gráfico de Billing

Nesta atualização, foi corrigida a visualização das legendas do gráfico independentemente da posição do mouse.

CAROL_APP CAPL-4739 Melhorias na Instalação do CarolApp para Usuários Carol Admin

Foi corrigido um problema que ocorria durante a instalação do CarolApp por usuários com o papel de Carol Admin, que mantinha a tabela de staging com status INATIVO. Foi criado um endpoint específico para CarolAdmin para alterar o status BQ, e foi desabilitada a alteração de status BQ em qualquer cenário se for uma operação geral. Esta correção garante que a instalação do CarolApp por usuários com o papel de Carol Admin não impacte o campo mdmBigQuerySynchronizationStatus.

CONNECTOR CAPL-5177 Atualização de Consistência de Dados

Resolução do problema de divergência entre dados persistidos em staging (CDS e BQ) e recebidos em intake. Dados devem ser consistentes entre os ambientes. Modelo de dados, Named Query, Fullfilment e Unified devem ser atualizados para refletir a mudança. Alert Manager e Alert Management devem ser atualizados para monitorar a consistência dos dados.

SQL_PIPELINES CAPL-5245 Correção de Erros e Melhorias na Versão Atual

Nesta versão, corrigimos um erro relacionado ao ConnectorId inválido para o conector "Internal" durante a inicialização do Worker.

SQL_PIPELINES CAPL-5246 Melhorias na Consulta de Configuração do Elasticsearch - parte 2

Otimizamos as consultas de configuração do Elasticsearch nas tarefas-sql. Agora, ao invés de usar config-, usamos o método CarolAppServiceImpl.findByName para buscar o CarolApp por nome. Além disso, adicionamos um novo método para buscar o TenantApp do Unified Tenant a partir da lista de TenantApps. Isso melhorou os tempos de latência do ES.

SQL_PIPELINES CAPL-5262 Melhorias na Consulta de Configuração do Elasticsearch

Otimizamos as consultas de configuração do Elasticsearch nas tarefas-sql - parte 1.

TENANT_ADMIN CAPL-5135 Correção de Limpeza de Endereço na Pipeline de Dados SQL

Resolução de um problema relacionado ao pipeline de dados SQL que estava limpando endereços quando não havia campo de endereço.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-5175 Novo Recurso: Abrir Links da Barra de Menu ou da Página Inicial do Carol

Agora, os usuários podem abrir links da barra de menu ou da página inicial do Carol. Isso resolve o problema de quando um usuário administrador da tenant clica em um link fora do activity management e é redirecionado para o activity management.

BIG_QUERY CAPL-4924 Melhorias nos Logs de Provisionamento do BigQuery

Nesta atualização, foram feitas melhorias nos logs para a task de provisionamento do BigQuery. Foi adicionado mais contexto aos logs de mensagens, incluindo informações sobre a estratégia de cópia, o trabalho do BigQuery, o ambiente de provisionamento e os detalhes da tabela que falhou.

BIG_QUERY, DATA_MODEL CAPL-5048 Integração do BigQuery com o Data Model

Nesta versão, integramos o BigQuery com os Data Models da Carol: descrição do Data Model, descrição dos campos do data model e label dos campos do Data Model.

BILLING CAPL-5158 Atualização de Fonte de Uso de Emails e Melhorias nos Processos de Dados

O consumo de estatísticas de uso de e-mails agora é feito a partir de um novo endpoint. Esta mudança foi necessária para melhorar a precisão das estatísticas de uso de e-mails.

BILLING CAPL-5160 Novas Visualizações de Custos Atuais no Sistema

A nova versão do sistema permite ao usuário visualizar os custos atuais sem previsão. Foi criada uma nova opção no menu dropdown do gráfico de custos, além de "Custo atual com previsão" e "Últimos 6 meses" agora é possível selecionar a opção "Custo atual" para visualizar os dados sem previsão.

CAROL_APP CAPL-4989 Atualização da Autenticação do Git nas Aplicações Carol

Foi realizada uma revisão da autenticação do Git nas aplicações Carol. Agora, o usuário precisa informar se o repositório é público ou privado. Se for privado, o usuário precisa conectar-se ao Github. Além disso, o usuário precisa informar o projeto e a branch. Esta atualização visa melhorar a visibilidade sobre as informações do repositório, evitando problemas de validação que poderiam ser evitados.

CONNECTOR CAPL-4929 Atualização de Ingestão de Dados para Reimportação de Dados Perdidos

A partir desta atualização, o usuário não poderá mais enviar dados com o campo _ingestionDatetime, o que forçava Carol a criar o campo. O objetivo deste item é permitir que possamos reimportar dados perdidos sem reimportar um período inteiro e sem impactar os pipelines. Apenas o administrador do Carol poderá enviar valores através do endpoint de ingestão para definir o valor para _ingestionDatetime. Esta atualização se aplica aos seguintes: Data Models, Staging Tables sem esquema flexível e Staging Tables com esquema flexível.

CONNECTOR, DATA_PROCESSING CAPL-5179 Novas Funcionalidades para Log de Solicitações de Cópia de Dados

Adicionado log de solicitações de cópia de dados para que possamos saber qual plataforma solicitou quando chamou o endpoint POST: /v1/copy_staging_data.

DATA_MODEL CAPL-4938 Novas Funcionalidades de Edição de Campos de DataModel

Foi implementada a edição de campos de DataModel através do novo editor de código. Agora é possível adicionar, remover e reordenar campos de um DataModel existente.

ORGANIZATION_ADMIN, TENANT_ADMIN CAPL-4992 Novas Funcionalidades de Gerenciamento de Usuários no Carol Admin

Agora é possível gerenciar usuários no Carol Admin. Foi adicionada a aba Usuários, além de alterar a posição do botão "Adicionar Organização" para a aba Gerenciamento de Organização, na tabela de cabeçalho, em vez do cabeçalho da página. Além disso, foi adicionada a capacidade de remover o papel de Carol Admin de um usuário, adicionar um novo usuário como Carol Admin e listar todos os usuários com o papel de Carol Admin.

SQL_PIPELINES CAPL-5180 Melhorias no Log de Mensagens para Eficiência SQL em Tenants Unificados

Nesta versão, foi refinado o log de mensagens para eficiência SQL em Tenants Unificados. Foram adicionadas mensagens que permitem ao usuário saber quando há novos dados ou quando o pipeline foi verificado, permitindo assim o disparo do pipeline por meio de uma tarefa. Esta funcionalidade está disponível para todos os usuários.

TENANT_ADMIN CAPL-4990 Melhorias na UI da Feature 'Allow Address Cleansing'

Esta atualização melhora a UI da feature 'Allow address cleansing' da tenant, tornando mais claro para o usuário o que ela faz e quando deve ser utilizada. O label e checkbox foram substituídos por 'Data enhancement' e 'Convert address to coordinates', respectivamente, e foi adicionado um ícone de informação com uma tooltip explicando o que a feature faz.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-4018 Adição de Validação para Campos Obrigatórios

Foi adicionada uma validação para os campos obrigatórios, quando o usuário não preenche esses campos obrigatórios, é retornado um erro 400 (requisição inválida) com uma mensagem correta.

ALERTS_MANAGEMENT CAPL-5061 Correção do Erro 400 Bad Request para Acesso às Abas ALMA

Lançamos uma correção para o erro 400 bad request que aparecia quando os usuários acessavam qualquer aba ALMA (Alerts Management). Agora, o erro não deve mais aparecer.

DATA_MODEL CAPL-4962 Atualização de Correção de Erro na Camada BQ do Explore

Foi identificado um erro na camada BQ do Explore após a criação/atualização de um Data Model. O erro acontecia na crianção/atualização de um Data Model através da UI, upload de Snapshot ou instalação de um Carol App. Com esta correção o comportamento esperado é que não haja falhas se a tarefa for concluída com sucesso.

EXPLORE CAPL-4963 Correção de Erro de Resposta de Código 502 na Solicitação da API de Consulta-Polling para o Dashboard de Data Subscription

Corrigimos o problema de resposta de código 502 na solicitação da API de consulta-polling para o dashboard de data subscription. O problema ocorria quando a consulta não retornava dados.

ORGANIZATION_ADMIN CAPL-5026 Correção do problema de tela piscando na página de administração de tenants

Resolvido o problema de tela piscando na página de administração de tenants da organização. Alguns clientes estavam relatando esse comportamento de "tremer" ou "piscar" na página de administração de tenants na página principal da organização. O problema foi corrigido e a tela não deve mais piscar.

ORGANIZATION_ADMIN CAPL-5155 Correção de Problema no Painel de Adição de Usuários de Tenants

Foi corrigido um problema no painel de adição de usuários de Tenants, onde os usuários só eram exibidos a partir da letra A. Agora, os usuários são exibidos e pesquisados normalmente.

ORGANIZATION_ADMIN CAPL-5167 Novo Recurso: Filtro e Adição de Usuários de Organização

Agora, os administradores de organização podem filtrar e adicionar usuários de organização aos tenants. Esta funcionalidade foi implementada para permitir que os administradores de organização possam gerenciar os usuários de organização de forma mais eficiente.

PLATFORM CAPL-4998 Verificação de Confiabilidade do FindAll para Remoção de Tenant da Lista Permitida

Garantir que, quando o usuário solicita a remoção de um tenant da lista de allowed do ambiente unified, mesmo que haja erros não relacionados à remoção do tenant da lista, a remocao ocorra corretamente.

SQL_PIPELINES CAPL-5181 Controle de Timeout de BatchIds Implementado na Plataforma

Nesta versão, a plataforma permitirá que batches com summary com startTime mais antigo que 30 minutos recebam novos dados e processem os próximos pipelines. Em outras palavras, receber um summary deve colocar o batch para OPEN independentemente do startTime e endTime.