🚀 Melhorias
BIG_QUERY CAPL-4788 Novas Opções de Especificação de Regra para IngestionDateTime no Provisionamento
Com esta atualização, agora é possível especificar uma regra para o ingestionDateTime ao realizar o provisionamento. As opções disponíveis são: "now" como hoje (valor padrão) ou um contador relacionado ao registro de staging ou golden record. Se o parâmetro migrateKeepingData for enviado junto com o ingestionDatetimeValue=mdmCounterForEntity, o pedido será recusado, pois o migrateKeepingData não altera os valores da tabela. Para provisionamento parcial, se o migrateKeepingData for enviado, o pedido será bloqueado.
BIG_QUERY CAPL-4793 Atualização de Estatísticas do BQ na Home Page do CCarol
Agora é possível coletar uma nova estatística de snapshot do BQ. Quando acessamos a Home Page no Carol, as entidades responsáveis por serem carregadas do BQ estão levando muito tempo. Adicionamos uma tag para atualizar as estatísticas do BQ nas cartas da Home Page, com um botão para atualizar todas as outras estatísticas da página.
BIG_QUERY, ORGANIZATION/TENANT CAPL-4995 Mensagem de aviso sobre integração com BigQuery
Foi adicionada uma mensagem no cabeçalho informando sobre o problema (BQ falhou ou não está ativo). Se o usuário for um administrador da organização: “A integração com o BigQuery está desativada ou falhou. Você pode ativá-la a partir do administrador da organização ou abrir um ticket com a equipe de suporte.” Se o usuário NÃO for um administrador da organização: “A integração com o BigQuery está desativada ou falhou. Você pode conversar com o administrador da organização ou abrir um ticket com a equipe de suporte.” O link deve redirecionar para o administrador da organização/tenant.
BILLING CAPL-4943 Novas Funcionalidades de Cobrança e Previsão Adicionadas
Foi adicionada uma nova coluna ao Billing Admin, para cada conta de cobrança, com o valor de previsão para períodos consolidados. Foi adicionada também a precisão da previsão (calculada com a diferença de porcentagem entre o real e o previamente previsto). Foi adicionado ao processo de consolidação: limpeza de previsões parciais e processamento da precisão da previsão.
BILLING CAPL-5045 Novas Visualizações de Widget de Mês
O widget de mês mostra o valor previsto com o valor executado atual. Esta atualização permite que os usuários vejam o valor previsto total para o mês, incluindo o custo executado até o momento.
CONNECTOR CAPL-4931 Nova Funcionalidade Preserva Granularidade de Dados
Foi implementada uma funcionalidade que define o mdmID de forma aleatória se pelo menos um dos campos que fazem parte da crosswalk tiver valor nulo. Dessa forma, é possível preservar a granularidade dos dados.
CONNECTOR, DATA_MODEL, EXPLORE CAPL-4932 Adicionando Recurso de Observability Metafields na Plataforma
Nesta versão, foi adicionado o recurso de Observability Metafields disponível na plataforma para a página de visualização da tabela de staging/Datamodel Explore. Os campos adicionados são mdmAuditId, mdmBatchId, mdmBatchIdSequence, mdmTaskId, todos do tipo string. Estes campos permitem ao usuário filtrar e classificar os dados. Estes campos não serão adicionados no RT e estarão disponíveis para todas as versões do BQ.
DATA_MODEL CAPL-4608 Novas Funcionalidades para Criação de Data Model
Foi criada uma nova opção para criação de Data Model, a partir de texto. Agora é possível buscar e selecionar campos existentes, validar campos enquanto se digita, mostrar erros/avisos inline.
DATA_MODEL CAPL-4961 Mudança na Criação de Tarefas de Reprocessamento de Merge
A partir de 31/12/2023, Carol não deverá criar tarefas de reprocessamento de merge quando o Tenant ou ORG for SQL Only ou quando o Data Model não tiver regra de mapeamento e limpeza associada.
DATA_MODEL CAPL-5007 Melhorias na Versão: Cancelamento de Trabalhos do BigQuery para Assinaturas
Nesta versão, foi implementada a funcionalidade de cancelar os trabalhos do BigQuery para assinaturas quando a página é deixada. Agora, quando o usuário sai da página Home, um /cancel é enviado para os IDs de trabalho pendentes na página.
DATA_MODEL CAPL-5022 Atualização do Jira Issue: Criar Campos via Código no DataModel
Esta atualização permite que o esquema inteiro do DM seja salvo com uma única solicitação usando o endpoint de snapshot, em vez de adicionar manualmente cada campo à entidade DM. Esta atualização também permite que os usuários criem novas tabelas e tragam algumas ideias delas para o fluxo de criação do Data Model.
EXPLORE CAPL-4991 Melhorias na versão: Remoção de Fluxo de Exploração Rejeitado e Desativação do Explore para Org/Tenant SQL Only
Nesta versão, foi removido o fluxo de exploração rejeitado para o tipo de armazenamento Realtime. Se o Tenant ou Org for SQL Only, Carol não deve salvar dados no Rejected RT.
EXPLORE CAPL-4993 Novo Recurso: Desativação do Armazenamento em Tempo Real no Nível da Organização
O Carol Admin pode desativar o RT no nível da Organização, propagando essa funcionalidade para todos os Tenants criados à mesma.
ORGANIZATION/TENANT CAPL-5006 Correção de Problema de Chamada de Status de Assinatura de Dados
Foi corrigido um problema que impedia que a Carol chamasse o status de assinatura de dados quando não havia assinatura disponível. Isso ocorria na página inicial. Agora, quando o Tenant não tiver assinatura disponível nos modelos de dados, a chamada não será realizada.
PLATFORM CAPL-4918 Lançamento com Migração de Informações de E-mail e Melhorias em Vários Componentes
Foi realizada a migração de informações de e-mail do ElasticSearch para o BigTable.
PLATFORM CAPL-5023 Atualização na geração de estatísticas dos registros de e-mail
Atualizada a geração de estatísticas referente ao registros de informações de e-mails da plataforma. Foi criada uma tarefa agendada para gerar estatísticas de registros duas vezes por dia.
SQL_PIPELINES CAPL-4986 Novos pipelines do Gesplan no Orquestrador
Nesta versão, migramos os pipelines do Gesplan para rodar no novo orquestrador. O objetivo é que os pipelines do Gesplan possam ser executados no novo orquestrador.
SQL_PIPELINES CAPL-5118 Melhorias na Eficiência de Processamento SQL para Tenants de Clientes
Esta atualização permite que o SQL Efficiency seja habilitada em tenants de clientes sem a necessidade de integração com o tenant unificado.
TENANT_ADMIN CAPL-4802 Novas Funcionalidades para o Tenant Admin: Habilitar IAM para Usuários
Agora é possível habilitar o IAM para usuários do tenant que sejam Tenant Admin e possuam email em domínios @totvs.com. Esta atualização está disponível na aba de usuários e é desabilitada por padrão. Quando habilitada possui um limite de 1000 usuários com IAM habilitado.*
🐛 Correções
BIG_QUERY CAPL-4850 Correção de Problema na Criação de Tenants no Google
Nesta atualização, corrigimos um problema que impedia a criação de novos Tenants. O problema era que o Google apresentava comportamento inesperado que precisávamos tratar. Agora, ao criar um novo Tenant, a tarefa de provisionamento do BQ não falhará mais na etapa de criação de contas de serviço.
BIG_QUERY CAPL-4886 Melhorias na Resiliência do BigTable e Correção de Erros de Autenticação
Melhoramos a resiliência das conexões com o BigTable. Resolvemos um erro de autenticação que ocorria ao realizar requisições ao endpoint de record_statistics.
CAROL_APP CAPL-5031 Título de Release Notes: Correção de Exibição de Datas de Execução de Tarefas Agendadas
Foi corrigido um problema na página da UI de tarefas agendadas, onde as datas exibidas não correspondiamm às datas de execução definidas pelas expressões cron.
CONNECTOR CAPL-4922 Correção de Perda de Dados durante o Fluxo de Provisionamento do BQ
Realizamos uma alteração para não aceitar a ingestão de dados durante o fluxo de provisionamento do BQ, retornando uma mensagem de erro indicando que o Tenant está no fluxo de provisionamento do BQ (400).
CONNECTOR CAPL-4923 Correção de Passos Ausentes e Duplicados na Auditoria de Dados
Corrigimos os passos ausentes e duplicados para que o processo de auditoria seja realizado corretamente.
DATA_INGESTION CAPL-5112 Atualização do Parâmetro de Autenticação de URL Curta
Corrigimos um problema onde o parâmetro de autenticação de short URL não estava sendo atualizado. Agora, usuários com tokens de Admin de Organização ou Admin de Carol podem alterar o parâmetro de autenticação de short URL de false para true.
DATA_PROCESSING CAPL-5091 Correção de Erro ao Instalar App com Unificado
Foi corrigido um erro que ocorria ao instalar um app no unificado, onde a task de copy data não era criada. O erro era gerado pois o código de criação da task validava o connector_id utilizado na autenticação da chamada, que era diferente para a tenant que instalou o app e para a tenant unificada. Agora, ao instalar um app no unificado, a task de copy data é criada normalmente.
DATA_SUBSCRIPTION CAPL-4879 Correção de Erros na Atualização de Assinaturas
Foi corrigido um comportamento estranho ao salvar/atualizar assinaturas com erros. O backend agora não definirá o status da assinatura como RUNNING se não for possível criar o tópico. Além disso, o usuário não será bloqueado quando ocorrer um erro. Assinaturas agora serão criadas nos projetos de Tenant.
DATA_SUBSCRIPTION CAPL-5107 Correção de Problema no Subscription Dashboard para Envio de queryId
Corrigimos um problema no Subscription Dashboard onde a UI não estava enviando o queryId em uma das solicitações de query-polling que constroem o Subscription Dashboard.
SQL_PIPELINES CAPL-5021 Correção de IngestionDateTime para Registros Golden Records
Foi corrigido um problema que ocorria ao escrever os registros Golden Records onde o ingestionDateTime estava repetindo o ingestion da Staging Table, sendo que o correto é considerar o current_datetime().
SQL_PIPELINES CAPL-5046 Correção de Erro na Validação de Dados do Aplicativo Carol
Foi corrigido um problema onde a tarefa de processamento SQL lançada pelo orquestrador com a flag de Effiency habilitada não conseguia encontrar a pipeline.
SQL_PIPELINES CAPL-5058 Ativação da Otimização de Processamento SQL para Pipelines sem Novos Registros
Foi corrigido um problema que impedia que a otimização de processamento SQL fosse ativada para pipelines que não produzem novos registros. Após a conclusão da tarefa de processamento SQL, um novo registro deve ser inserido na tabela pipeline_execution, mesmo que nenhum registro seja processado pela pipeline. Quando a segunda tarefa é executada, um aviso de log de tarefa deve ser exibido, indicando se há ou não novos registros para processar e que a otimização já está ativada.
SQL_PIPELINES CAPL-5070 Resolução do Problema de Eficiência do Processamento SQL Genérico para o Tenant Gesplan
Foi corrigidoum problema de eficiência do processamento SQL genérico que havia parado de funcionar para um Tenant Gesplan.
SQL_PIPELINES CAPL-5088 Correção de Erro de Inserção de Registros no BigQuery e Melhorias de Performance
Correção de erro ao inserir registros no BigQuery com colunas do tipo DATETIME. O erro foi corrigido, permitindo que os registros sejam inseridos corretamente. Além disso, foi adicionado um alerta para monitorar o processo de inserção de dados.