🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-5400 Carol não deve remover as tasks de Carol Apps online

Realizada uma melhoria para que a plataforma Carol não remova as taks relacionadas a Carol Apps online que ainda estão em execução.

BIG_QUERY CAPL-4604 Novas Funcionalidades de Provisionamento de Staging Tables

Agora, os administradores de Tenants podem provisionar staging tables individualmente. O endpoint permite que isso seja feito para um conjunto de tabelas. Para unified tenants, exibimos uma mensagem ao usuário informando que não permitimos o provisionamento de staging tables/data models. Foi adicionada uma opção para reprovisionar a staging table, no menu suspenso, e um botão para reprovisionar a staging table nas opções avançadas, na guia de gerenciamento de dados. Além disso, as tarefas pendentes são monitoradas para desabilitar esses botões caso uma alteração de esquema para essa entidade já esteja na fila ou em execução.

BILLING CAPL-5236 Novo Dashboard no Carol Billing para Compartilhar Grandes Números - Parte 2/2

Foi criado um dashboard no Carol Billing para compartilhar grandes números. O dashboard contém informações sobre o total de armazenamento por tipo de armazenamento por mês, número de tenants por mês, custo ao longo do tempo por recurso e uma tabela com recursos e contas de faturamento. O usuário pode filtrar por conta de faturamento, segmento, aplicativo Carol, organização, tenant e recurso. Quando acessar a conta de faturamento a partir desta página, certifique-se de adicionar um breadcrumb com "Home / Conta de Faturamento".

CAROL_APP CAPL-5136 Atualização da Instalação do Carol App

Com esta atualização, a instalação de um aplicativo Carol considera um processo padrão de atualização da staging table, ao invés de aplicar um novo esquema excluindo colunas existentes. As regras a serem seguidas são: adicionar uma nova validação se a staging table não existir, criá-la (sem considerar o parâmetro forceMaterializeStagingSchemaFromConnectorProtheusCarol); se o parâmetro for verdadeiro, somente adicionar novas colunas que o aplicativo Carol definiu para a staging table do cliente; se o parâmetro for falso, pular a materialização da staging table (como hoje). Se o tipo do campo da tenant do Carol App e da tenant do cliente for diferente, um aviso deverá ser registrado no log da tarefa de instalação do Carol App, informando o nome do conector, da staging table e do campo.

CONNECTOR CAPL-5317 Melhoria na Adição de Conectores TOTVS (Protheus, RM e Datasul)

Esta atualização tem como objetivo aprimorar a experiência do usuário ao adicionar conectores TOTVS, incluindo suporte para Protheus, RM e Datasul. Agora, os usuários não precisam mais fornecer manualmente o nome da tabela de staging durante o processo de adição do conector.

EXPLORE CAPL-5323 Nova Visualização em tree view no Explorer

Introduzida uma nova e aprimorada visualização em tree view no Explorer, proporcionando uma navegação mais intuitiva e eficiente por meio de uma estrutura hierárquica.

SQL_PIPELINES CAPL-5200 Novas Configurações de Retenção para Tabelas Temporárias no Dev Tenant

Com esta atualização, os usuários do Dev Tenant (Tenant Admin em um Dev Tennat) agora podem definir o período de retenção para tabelas temporárias relacionadas aos seus pipelines. O padrão de retenção definido é de 1 dia, mas o usuário pode definir um período de 3 a 14 dias no arquivo de manifesto. Esta configuração também é válida para pipelines executados no Unif e no Orchestrator. Se não houver informações definidas no manifesto, o padrão de retenção será de 7 dias.

SQL_PIPELINES CAPL-5395 [Orchestrator] Correção de Execução de Jobs Agendados

Esta atualização aborda o problema identificado no Orchestrator, no qual alguns jobs agendados não estavam sendo executados conforme esperado. Com as correções implementadas, a funcionalidade de agendamento agora opera de maneira consistente, assegurando a execução pontual e eficaz de todos os jobs programados.

TENANT_ADMIN CAPL-3095 Adição de Atalhos de Filtro em Tabelas

Introduzimos a funcionalidade de atalhos de filtro em tabelas, proporcionando aos usuários uma maneira rápida e conveniente de refinar e personalizar a visualização de dados. Agora, a experiência de filtragem em tabelas tornou-se mais ágil, melhorando a eficiência na análise e na busca de informações específicas.

TENANT_ADMIN CAPL-5491 Indisponibilidade do Recurso de Redefinição de Senha por Motivos de Segurança

Com foco na segurança, o recurso de redefinição de senha foi desativado. Esta medida visa fortalecer a proteção das contas dos usuários, mitigando potenciais vulnerabilidades.

🐛 Correções​

DATA_MODEL CAPL-5090 Correção de Bug no Data Model para Movimentação de Campos Nested

Foi corrigido um bug no Data Model que causava comportamento inesperado ao mover campos nested. Quando a posição de um campo nested era alterada, os filhos eram deixados para trás, como se fossem filhos do novo campo naquela posição. Após salvar, ele é exibido corretamente novamente.

PLATFORM CAPL-5326 Adição de CLIENTS e ACCESS_TOKENS à Migração de Cache

Aprimoramos a migração de cache com a inclusão das entidades CLIENTS e ACCESS_TOKENS. Agora, o processo de migração de cache é mais abrangente, garantindo uma gestão mais eficiente e consistente desses dados críticos.

SQL_PIPELINES CAPL-5194 Melhorando o Estado de Estagnação das Tarefas SQL

Identificamos algumas tarefas que estão demorando para serem concluídas, com o status BQ ficando estagnado. Verificamos o plano de execução, mas Carol está esperando por algumas horas antes de registrar o status estagnado. O objetivo dessa melhoria é identificar o problema que está causando o estancamento e rever o período de estagnação para tarefas SQL, que é de 60 minutos sem atualizações.

SQL_PIPELINES CAPL-5267 Melhorando a Performance do Elasticsearch com Cache de Tenants

Resumo: Foi necessário otimizar as consultas do Elasticsearch na configuração, pois elas estavam muito pesadas e afetando os tempos de latência do ES. Estas consultas são executadas pelo worker-sql na tarefa-sql e é interessante não usar config- nessas consultas, se possível.*

SQL_PIPELINES CAPL-5288 Eficiência SQL não estão funcionando para tenants com orquestrador na tenant unificada

Corrigimos um problema que impedia a execução da eficiência SQL em tenants clientes com orquestrador, mesmo com ela ativada na unificada

🚀 Melhorias​

BIG_QUERY, DATA_MODEL CAPL-5034 Integração do BigQuery com o Registro do Modelo de Dados da Carol

Nesta versão, integramos o BigQuery com os seguintes metadados do registro de Modelo de Dados da Carol: descrição do Modelo de Dados, descrição dos campos do Modelo de Dados e rótulo dos campos do Modelo de Dados. Isso nos permitirá compartilhar o catálogo disponível no BigQuery.

BIG_QUERY CAPL-5168 Novas Funcionalidades de Provisionamento de BQ para Tenants Não Unificados

Quando um Tenant é provisionado, o provisionamento do BQ gera o mdmID. Além disso, quando uma tabela é recriada na Staging Table, o mdmID é gerado novamente para os dados reimportados. Esta funcionalidade está disponível para Tenants não unificados e pode ser usada por tenantAdmin e OrgAdmin.

BILLING CAPL-5161 Novas Funcionalidades para Contas do Billing

O usuário deve ser capaz de visualizar quem é responsável pela conta de cobrança. Foi adicionado um novo campo ao adicionar/editar uma conta de cobrança, o proprietário da conta (para informar nome e e-mail) e notas (área de texto, para adicionar qualquer outra informação). Além disso, foi adicionado um botão na página inicial da conta de cobrança, "Sobre esta conta", que abre um painel lateral com informações como nome da conta, proprietário da conta (nome e e-mail), código de classe, centro de custo, código de item e notas.

DATA_MODEL CAPL-5166 Melhorias no Datamodel via editor de código: casos específicos

Nesta atualização, foram realizadas melhorias na modelagem de dados via código. Foram validadas cláusulas que fazem alterações em campos existentes, e foi permitido que o mesmo campo esteja em diferentes camadas do esquema.

DATA_SUBSCRIPTION CAPL-5162 Melhorias na Visualização do data Subscription

Nesta atualização, foi otimizada a visualização do data subscription. Agora, a execução de consultas do data subscription é mais rápida. Além disso, na página inicial do administrador da organização, a exibição do data subscription foi movida para abaixo da exibição de Tenants.

PLATFORM CAPL-5157 Auditoria de Alterações de Status de Tarefas no BigQuery

Desenvolvemos uma solução eficaz para auditar alterações no status das tarefas e carregá-las no BigQuery. Adicionamos um método para carregar do CloudSQL para BigQuery. O destino final da auditoria é o BQ para consultas analíticas. Nem todas as tarefas, como as MERGE_TASKS, exigem essa auditoria.

SQL_PIPELINES CAPL-4790 Atualização do SQL Processing para Integração de Usuário da Tenant

O processamento de pipeline de SQL não deve depender da camada de armazenamento RT e não deve depender de merges para que a integração com o usuário da Tenant ocorra. A instalação do Carol App deve seguir os tipos de armazenamento definidos nas configurações do Carol App, não devendo habilitar a camada de armazenamento RT por padrão.

SQL_PIPELINES CAPL-4814 Melhoria no SQL Processing para Integração de Usuários com Usuários de Tenants sem Merges(RT) [UNIF]

Esta atualização resolve o problema de integração de usuário com a Tenant sem depender de merges. O SQL Processing foi atualizado para criar o usuário no Tenant do cliente após o fan-out, seguindo os mesmos critérios que já estão implementados. Se o tipo de armazenamento do RT do cliente for FALSE e o flag shouldSendRealtime for TRUE, será gerada uma mensagem de aviso no processo de SQL do Tenant Unificado.

TENANT_ADMIN CAPL-5197 Atualização de Notificação de Desativação do Mapeamento

Agora, os usuários que não são somente SQL serão informados que o mapeamento foi desativado a partir de janeiro. Esta atualização inclui a atualização da mensagem de notificação para informar que o mapeamento já não está disponível. O link para a documentação de migração para o processamento SQL também foi incluído.

🐛 Correções​

BIG_QUERY CAPL-5286 Corrigido erro na task de schema modification

Foi corrigido o problema que em alguns casos a task de schema modification era abortada ao tentar realizar comparação entre algumas tabelas.

BILLING CAPL-5105 Parte da legenda é ocultada no gráfico de Billing

Nesta atualização, foi corrigida a visualização das legendas do gráfico independentemente da posição do mouse.

CAROL_APP CAPL-4739 Melhorias na Instalação do CarolApp para Usuários Carol Admin

Foi corrigido um problema que ocorria durante a instalação do CarolApp por usuários com o papel de Carol Admin, que mantinha a tabela de staging com status INATIVO. Foi criado um endpoint específico para CarolAdmin para alterar o status BQ, e foi desabilitada a alteração de status BQ em qualquer cenário se for uma operação geral. Esta correção garante que a instalação do CarolApp por usuários com o papel de Carol Admin não impacte o campo mdmBigQuerySynchronizationStatus.

CONNECTOR CAPL-5177 Atualização de Consistência de Dados

Resolução do problema de divergência entre dados persistidos em staging (CDS e BQ) e recebidos em intake. Dados devem ser consistentes entre os ambientes. Modelo de dados, Named Query, Fullfilment e Unified devem ser atualizados para refletir a mudança. Alert Manager e Alert Management devem ser atualizados para monitorar a consistência dos dados.

SQL_PIPELINES CAPL-5245 Correção de Erros e Melhorias na Versão Atual

Nesta versão, corrigimos um erro relacionado ao ConnectorId inválido para o conector "Internal" durante a inicialização do Worker.

SQL_PIPELINES CAPL-5246 Melhorias na Consulta de Configuração do Elasticsearch - parte 2

Otimizamos as consultas de configuração do Elasticsearch nas tarefas-sql. Agora, ao invés de usar config-, usamos o método CarolAppServiceImpl.findByName para buscar o CarolApp por nome. Além disso, adicionamos um novo método para buscar o TenantApp do Unified Tenant a partir da lista de TenantApps. Isso melhorou os tempos de latência do ES.

SQL_PIPELINES CAPL-5262 Melhorias na Consulta de Configuração do Elasticsearch

Otimizamos as consultas de configuração do Elasticsearch nas tarefas-sql - parte 1.

TENANT_ADMIN CAPL-5135 Correção de Limpeza de Endereço na Pipeline de Dados SQL

Resolução de um problema relacionado ao pipeline de dados SQL que estava limpando endereços quando não havia campo de endereço.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-5175 Novo Recurso: Abrir Links da Barra de Menu ou da Página Inicial do Carol

Agora, os usuários podem abrir links da barra de menu ou da página inicial do Carol. Isso resolve o problema de quando um usuário administrador da tenant clica em um link fora do activity management e é redirecionado para o activity management.

BIG_QUERY CAPL-4924 Melhorias nos Logs de Provisionamento do BigQuery

Nesta atualização, foram feitas melhorias nos logs para a task de provisionamento do BigQuery. Foi adicionado mais contexto aos logs de mensagens, incluindo informações sobre a estratégia de cópia, o trabalho do BigQuery, o ambiente de provisionamento e os detalhes da tabela que falhou.

BIG_QUERY, DATA_MODEL CAPL-5048 Integração do BigQuery com o Data Model

Nesta versão, integramos o BigQuery com os Data Models da Carol: descrição do Data Model, descrição dos campos do data model e label dos campos do Data Model.

BILLING CAPL-5158 Atualização de Fonte de Uso de Emails e Melhorias nos Processos de Dados

O consumo de estatísticas de uso de e-mails agora é feito a partir de um novo endpoint. Esta mudança foi necessária para melhorar a precisão das estatísticas de uso de e-mails.

BILLING CAPL-5160 Novas Visualizações de Custos Atuais no Sistema

A nova versão do sistema permite ao usuário visualizar os custos atuais sem previsão. Foi criada uma nova opção no menu dropdown do gráfico de custos, além de "Custo atual com previsão" e "Últimos 6 meses" agora é possível selecionar a opção "Custo atual" para visualizar os dados sem previsão.

CAROL_APP CAPL-4989 Atualização da Autenticação do Git nas Aplicações Carol

Foi realizada uma revisão da autenticação do Git nas aplicações Carol. Agora, o usuário precisa informar se o repositório é público ou privado. Se for privado, o usuário precisa conectar-se ao Github. Além disso, o usuário precisa informar o projeto e a branch. Esta atualização visa melhorar a visibilidade sobre as informações do repositório, evitando problemas de validação que poderiam ser evitados.

CONNECTOR CAPL-4929 Atualização de Ingestão de Dados para Reimportação de Dados Perdidos

A partir desta atualização, o usuário não poderá mais enviar dados com o campo _ingestionDatetime, o que forçava Carol a criar o campo. O objetivo deste item é permitir que possamos reimportar dados perdidos sem reimportar um período inteiro e sem impactar os pipelines. Apenas o administrador do Carol poderá enviar valores através do endpoint de ingestão para definir o valor para _ingestionDatetime. Esta atualização se aplica aos seguintes: Data Models, Staging Tables sem esquema flexível e Staging Tables com esquema flexível.

CONNECTOR, DATA_PROCESSING CAPL-5179 Novas Funcionalidades para Log de Solicitações de Cópia de Dados

Adicionado log de solicitações de cópia de dados para que possamos saber qual plataforma solicitou quando chamou o endpoint POST: /v1/copy_staging_data.

DATA_MODEL CAPL-4938 Novas Funcionalidades de Edição de Campos de DataModel

Foi implementada a edição de campos de DataModel através do novo editor de código. Agora é possível adicionar, remover e reordenar campos de um DataModel existente.

ORGANIZATION_ADMIN, TENANT_ADMIN CAPL-4992 Novas Funcionalidades de Gerenciamento de Usuários no Carol Admin

Agora é possível gerenciar usuários no Carol Admin. Foi adicionada a aba Usuários, além de alterar a posição do botão "Adicionar Organização" para a aba Gerenciamento de Organização, na tabela de cabeçalho, em vez do cabeçalho da página. Além disso, foi adicionada a capacidade de remover o papel de Carol Admin de um usuário, adicionar um novo usuário como Carol Admin e listar todos os usuários com o papel de Carol Admin.

SQL_PIPELINES CAPL-5180 Melhorias no Log de Mensagens para Eficiência SQL em Tenants Unificados

Nesta versão, foi refinado o log de mensagens para eficiência SQL em Tenants Unificados. Foram adicionadas mensagens que permitem ao usuário saber quando há novos dados ou quando o pipeline foi verificado, permitindo assim o disparo do pipeline por meio de uma tarefa. Esta funcionalidade está disponível para todos os usuários.

TENANT_ADMIN CAPL-4990 Melhorias na UI da Feature 'Allow Address Cleansing'

Esta atualização melhora a UI da feature 'Allow address cleansing' da tenant, tornando mais claro para o usuário o que ela faz e quando deve ser utilizada. O label e checkbox foram substituídos por 'Data enhancement' e 'Convert address to coordinates', respectivamente, e foi adicionado um ícone de informação com uma tooltip explicando o que a feature faz.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-4018 Adição de Validação para Campos Obrigatórios

Foi adicionada uma validação para os campos obrigatórios, quando o usuário não preenche esses campos obrigatórios, é retornado um erro 400 (requisição inválida) com uma mensagem correta.

ALERTS_MANAGEMENT CAPL-5061 Correção do Erro 400 Bad Request para Acesso às Abas ALMA

Lançamos uma correção para o erro 400 bad request que aparecia quando os usuários acessavam qualquer aba ALMA (Alerts Management). Agora, o erro não deve mais aparecer.

DATA_MODEL CAPL-4962 Atualização de Correção de Erro na Camada BQ do Explore

Foi identificado um erro na camada BQ do Explore após a criação/atualização de um Data Model. O erro acontecia na crianção/atualização de um Data Model através da UI, upload de Snapshot ou instalação de um Carol App. Com esta correção o comportamento esperado é que não haja falhas se a tarefa for concluída com sucesso.

EXPLORE CAPL-4963 Correção de Erro de Resposta de Código 502 na Solicitação da API de Consulta-Polling para o Dashboard de Data Subscription

Corrigimos o problema de resposta de código 502 na solicitação da API de consulta-polling para o dashboard de data subscription. O problema ocorria quando a consulta não retornava dados.

ORGANIZATION_ADMIN CAPL-5026 Correção do problema de tela piscando na página de administração de tenants

Resolvido o problema de tela piscando na página de administração de tenants da organização. Alguns clientes estavam relatando esse comportamento de "tremer" ou "piscar" na página de administração de tenants na página principal da organização. O problema foi corrigido e a tela não deve mais piscar.

ORGANIZATION_ADMIN CAPL-5155 Correção de Problema no Painel de Adição de Usuários de Tenants

Foi corrigido um problema no painel de adição de usuários de Tenants, onde os usuários só eram exibidos a partir da letra A. Agora, os usuários são exibidos e pesquisados normalmente.

ORGANIZATION_ADMIN CAPL-5167 Novo Recurso: Filtro e Adição de Usuários de Organização

Agora, os administradores de organização podem filtrar e adicionar usuários de organização aos tenants. Esta funcionalidade foi implementada para permitir que os administradores de organização possam gerenciar os usuários de organização de forma mais eficiente.

PLATFORM CAPL-4998 Verificação de Confiabilidade do FindAll para Remoção de Tenant da Lista Permitida

Garantir que, quando o usuário solicita a remoção de um tenant da lista de allowed do ambiente unified, mesmo que haja erros não relacionados à remoção do tenant da lista, a remocao ocorra corretamente.

SQL_PIPELINES CAPL-5181 Controle de Timeout de BatchIds Implementado na Plataforma

Nesta versão, a plataforma permitirá que batches com summary com startTime mais antigo que 30 minutos recebam novos dados e processem os próximos pipelines. Em outras palavras, receber um summary deve colocar o batch para OPEN independentemente do startTime e endTime.

🚀 Melhorias​

BIG_QUERY CAPL-4788 Novas Opções de Especificação de Regra para IngestionDateTime no Provisionamento

Com esta atualização, agora é possível especificar uma regra para o ingestionDateTime ao realizar o provisionamento. As opções disponíveis são: "now" como hoje (valor padrão) ou um contador relacionado ao registro de staging ou golden record. Se o parâmetro migrateKeepingData for enviado junto com o ingestionDatetimeValue=mdmCounterForEntity, o pedido será recusado, pois o migrateKeepingData não altera os valores da tabela. Para provisionamento parcial, se o migrateKeepingData for enviado, o pedido será bloqueado.

BIG_QUERY CAPL-4793 Atualização de Estatísticas do BQ na Home Page do CCarol

Agora é possível coletar uma nova estatística de snapshot do BQ. Quando acessamos a Home Page no Carol, as entidades responsáveis por serem carregadas do BQ estão levando muito tempo. Adicionamos uma tag para atualizar as estatísticas do BQ nas cartas da Home Page, com um botão para atualizar todas as outras estatísticas da página.

BIG_QUERY, ORGANIZATION/TENANT CAPL-4995 Mensagem de aviso sobre integração com BigQuery

Foi adicionada uma mensagem no cabeçalho informando sobre o problema (BQ falhou ou não está ativo). Se o usuário for um administrador da organização: “A integração com o BigQuery está desativada ou falhou. Você pode ativá-la a partir do administrador da organização ou abrir um ticket com a equipe de suporte.” Se o usuário NÃO for um administrador da organização: “A integração com o BigQuery está desativada ou falhou. Você pode conversar com o administrador da organização ou abrir um ticket com a equipe de suporte.” O link deve redirecionar para o administrador da organização/tenant.

BILLING CAPL-4943 Novas Funcionalidades de Cobrança e Previsão Adicionadas

Foi adicionada uma nova coluna ao Billing Admin, para cada conta de cobrança, com o valor de previsão para períodos consolidados. Foi adicionada também a precisão da previsão (calculada com a diferença de porcentagem entre o real e o previamente previsto). Foi adicionado ao processo de consolidação: limpeza de previsões parciais e processamento da precisão da previsão.

BILLING CAPL-5045 Novas Visualizações de Widget de Mês

O widget de mês mostra o valor previsto com o valor executado atual. Esta atualização permite que os usuários vejam o valor previsto total para o mês, incluindo o custo executado até o momento.

CONNECTOR CAPL-4931 Nova Funcionalidade Preserva Granularidade de Dados

Foi implementada uma funcionalidade que define o mdmID de forma aleatória se pelo menos um dos campos que fazem parte da crosswalk tiver valor nulo. Dessa forma, é possível preservar a granularidade dos dados.

CONNECTOR, DATA_MODEL, EXPLORE CAPL-4932 Adicionando Recurso de Observability Metafields na Plataforma

Nesta versão, foi adicionado o recurso de Observability Metafields disponível na plataforma para a página de visualização da tabela de staging/Datamodel Explore. Os campos adicionados são mdmAuditId, mdmBatchId, mdmBatchIdSequence, mdmTaskId, todos do tipo string. Estes campos permitem ao usuário filtrar e classificar os dados. Estes campos não serão adicionados no RT e estarão disponíveis para todas as versões do BQ.

DATA_MODEL CAPL-4608 Novas Funcionalidades para Criação de Data Model

Foi criada uma nova opção para criação de Data Model, a partir de texto. Agora é possível buscar e selecionar campos existentes, validar campos enquanto se digita, mostrar erros/avisos inline.

DATA_MODEL CAPL-4961 Mudança na Criação de Tarefas de Reprocessamento de Merge

A partir de 31/12/2023, Carol não deverá criar tarefas de reprocessamento de merge quando o Tenant ou ORG for SQL Only ou quando o Data Model não tiver regra de mapeamento e limpeza associada.

DATA_MODEL CAPL-5007 Melhorias na Versão: Cancelamento de Trabalhos do BigQuery para Assinaturas

Nesta versão, foi implementada a funcionalidade de cancelar os trabalhos do BigQuery para assinaturas quando a página é deixada. Agora, quando o usuário sai da página Home, um /cancel é enviado para os IDs de trabalho pendentes na página.

DATA_MODEL CAPL-5022 Atualização do Jira Issue: Criar Campos via Código no DataModel

Esta atualização permite que o esquema inteiro do DM seja salvo com uma única solicitação usando o endpoint de snapshot, em vez de adicionar manualmente cada campo à entidade DM. Esta atualização também permite que os usuários criem novas tabelas e tragam algumas ideias delas para o fluxo de criação do Data Model.

EXPLORE CAPL-4991 Melhorias na versão: Remoção de Fluxo de Exploração Rejeitado e Desativação do Explore para Org/Tenant SQL Only

Nesta versão, foi removido o fluxo de exploração rejeitado para o tipo de armazenamento Realtime. Se o Tenant ou Org for SQL Only, Carol não deve salvar dados no Rejected RT.

EXPLORE CAPL-4993 Novo Recurso: Desativação do Armazenamento em Tempo Real no Nível da Organização

O Carol Admin pode desativar o RT no nível da Organização, propagando essa funcionalidade para todos os Tenants criados à mesma.

ORGANIZATION/TENANT CAPL-5006 Correção de Problema de Chamada de Status de Assinatura de Dados

Foi corrigido um problema que impedia que a Carol chamasse o status de assinatura de dados quando não havia assinatura disponível. Isso ocorria na página inicial. Agora, quando o Tenant não tiver assinatura disponível nos modelos de dados, a chamada não será realizada.

PLATFORM CAPL-4918 Lançamento com Migração de Informações de E-mail e Melhorias em Vários Componentes

Foi realizada a migração de informações de e-mail do ElasticSearch para o BigTable.

PLATFORM CAPL-5023 Atualização na geração de estatísticas dos registros de e-mail

Atualizada a geração de estatísticas referente ao registros de informações de e-mails da plataforma. Foi criada uma tarefa agendada para gerar estatísticas de registros duas vezes por dia.

SQL_PIPELINES CAPL-4986 Novos pipelines do Gesplan no Orquestrador

Nesta versão, migramos os pipelines do Gesplan para rodar no novo orquestrador. O objetivo é que os pipelines do Gesplan possam ser executados no novo orquestrador.

SQL_PIPELINES CAPL-5118 Melhorias na Eficiência de Processamento SQL para Tenants de Clientes

Esta atualização permite que o SQL Efficiency seja habilitada em tenants de clientes sem a necessidade de integração com o tenant unificado.

TENANT_ADMIN CAPL-4802 Novas Funcionalidades para o Tenant Admin: Habilitar IAM para Usuários

Agora é possível habilitar o IAM para usuários do tenant que sejam Tenant Admin e possuam email em domínios @totvs.com. Esta atualização está disponível na aba de usuários e é desabilitada por padrão. Quando habilitada possui um limite de 1000 usuários com IAM habilitado.*

🐛 Correções​

BIG_QUERY CAPL-4850 Correção de Problema na Criação de Tenants no Google

Nesta atualização, corrigimos um problema que impedia a criação de novos Tenants. O problema era que o Google apresentava comportamento inesperado que precisávamos tratar. Agora, ao criar um novo Tenant, a tarefa de provisionamento do BQ não falhará mais na etapa de criação de contas de serviço.

BIG_QUERY CAPL-4886 Melhorias na Resiliência do BigTable e Correção de Erros de Autenticação

Melhoramos a resiliência das conexões com o BigTable. Resolvemos um erro de autenticação que ocorria ao realizar requisições ao endpoint de record_statistics.

CAROL_APP CAPL-5031 Título de Release Notes: Correção de Exibição de Datas de Execução de Tarefas Agendadas

Foi corrigido um problema na página da UI de tarefas agendadas, onde as datas exibidas não correspondiamm às datas de execução definidas pelas expressões cron.

CONNECTOR CAPL-4922 Correção de Perda de Dados durante o Fluxo de Provisionamento do BQ

Realizamos uma alteração para não aceitar a ingestão de dados durante o fluxo de provisionamento do BQ, retornando uma mensagem de erro indicando que o Tenant está no fluxo de provisionamento do BQ (400).

CONNECTOR CAPL-4923 Correção de Passos Ausentes e Duplicados na Auditoria de Dados

Corrigimos os passos ausentes e duplicados para que o processo de auditoria seja realizado corretamente.

DATA_INGESTION CAPL-5112 Atualização do Parâmetro de Autenticação de URL Curta

Corrigimos um problema onde o parâmetro de autenticação de short URL não estava sendo atualizado. Agora, usuários com tokens de Admin de Organização ou Admin de Carol podem alterar o parâmetro de autenticação de short URL de false para true.

DATA_PROCESSING CAPL-5091 Correção de Erro ao Instalar App com Unificado

Foi corrigido um erro que ocorria ao instalar um app no unificado, onde a task de copy data não era criada. O erro era gerado pois o código de criação da task validava o connector_id utilizado na autenticação da chamada, que era diferente para a tenant que instalou o app e para a tenant unificada. Agora, ao instalar um app no unificado, a task de copy data é criada normalmente.

DATA_SUBSCRIPTION CAPL-4879 Correção de Erros na Atualização de Assinaturas

Foi corrigido um comportamento estranho ao salvar/atualizar assinaturas com erros. O backend agora não definirá o status da assinatura como RUNNING se não for possível criar o tópico. Além disso, o usuário não será bloqueado quando ocorrer um erro. Assinaturas agora serão criadas nos projetos de Tenant.

DATA_SUBSCRIPTION CAPL-5107 Correção de Problema no Subscription Dashboard para Envio de queryId

Corrigimos um problema no Subscription Dashboard onde a UI não estava enviando o queryId em uma das solicitações de query-polling que constroem o Subscription Dashboard.

SQL_PIPELINES CAPL-5021 Correção de IngestionDateTime para Registros Golden Records

Foi corrigido um problema que ocorria ao escrever os registros Golden Records onde o ingestionDateTime estava repetindo o ingestion da Staging Table, sendo que o correto é considerar o current_datetime().

SQL_PIPELINES CAPL-5046 Correção de Erro na Validação de Dados do Aplicativo Carol

Foi corrigido um problema onde a tarefa de processamento SQL lançada pelo orquestrador com a flag de Effiency habilitada não conseguia encontrar a pipeline.

SQL_PIPELINES CAPL-5058 Ativação da Otimização de Processamento SQL para Pipelines sem Novos Registros

Foi corrigido um problema que impedia que a otimização de processamento SQL fosse ativada para pipelines que não produzem novos registros. Após a conclusão da tarefa de processamento SQL, um novo registro deve ser inserido na tabela pipeline_execution, mesmo que nenhum registro seja processado pela pipeline. Quando a segunda tarefa é executada, um aviso de log de tarefa deve ser exibido, indicando se há ou não novos registros para processar e que a otimização já está ativada.

SQL_PIPELINES CAPL-5070 Resolução do Problema de Eficiência do Processamento SQL Genérico para o Tenant Gesplan

Foi corrigidoum problema de eficiência do processamento SQL genérico que havia parado de funcionar para um Tenant Gesplan.

SQL_PIPELINES CAPL-5088 Correção de Erro de Inserção de Registros no BigQuery e Melhorias de Performance

Correção de erro ao inserir registros no BigQuery com colunas do tipo DATETIME. O erro foi corrigido, permitindo que os registros sejam inseridos corretamente. Além disso, foi adicionado um alerta para monitorar o processo de inserção de dados.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-4761 Melhorando o Controle de Execução de Tarefas na Plataforma Carol

Agora é possível identificar diferentes fontes de execução de tasks de SQL Processing, que estão disparando uma tarefa de processamento SQL na plataforma Carol, para habilitar o controle da última data/hora de execução bem-sucedida.

CONNECTOR CAPL-4921 Alteração de Schema sendo propagado para o BigQuery para novas colunas/campos

Foi realizada uma alteração no esquema de propagação para BigQuery. O fluxo de alteração de esquema de dados deve executar uma coluna de exclusão para o antigo tipo de campo e criar o novo campo com o novo tipo.

EXPLORE CAPL-4933 Melhoria no filtro de campos de staging table voltado para Camada BQ da Staging Table

Foi implementada uma melhoria para criar um botão para iniciar busca nas stagings e/ou camada BQ do Data Model. O comportamento da UI foi modificado para aplicar as alterações apenas após o clique em “Apply”. Isso evita que ocorram requisições desnecessárias, melhorando a performance da aplicação.

EXPLORE CAPL-4980 Inclusão de parâmetro voltado a não utlização do RT Storage no Nível da Organização

Agora, o Carol Admin pode criar uma Organização voltado a não utilizar o RT Storage, propagando essa funcionalidade para os Tenants.

🐛 Correções​

CONNECTOR CAPL-4859 Análise de dados na Staging Table

Após investigação, foi identificado que alguns registros foram enviados via intake mas não chegaram à tabela de staging. Foi isolado um caso para estudo. Foi verificado que o registro foi enviado e a resposta foi 200. Por fim, foi exportado o CDS para BQ e foi verificado que os registros estão no CDS.

PLATFORM CAPL-4883 Correção de Erro 404 na API de Dados

Neste lançamento, corrigimos um problema que estava ocorrendo na API de Dados, onde muitas solicitações para recuperar as mais recentes "recordStatistics" para os tipos GOLDEN e STAGING estavam retornando erros 404.

🚀 Melhorias​

BIG_QUERY CAPL-4734 Acelerando o Processamento de Jobs do BigQuery com Paralelização

Neste release, foi implementada uma melhoria para acelerar o processo de conclusão de jobs do BigQuery. Agora, é possível paralelizar até 60 jobs, mas ainda é necessário identificar quando eles terminam para que novos jobs possam começar. Para isso, foi implementada a paralelização da verificação de jobs finalizados usando threads.

BIG_QUERY CAPL-4787 Novas Funcionalidades para Provisionamentos

Agora é possível provisionar especificando a regra para definir o ingestionDateTime: Hora atual (valor padrão) ou Hora relacionada ao registro da coluna mdmCounterForEntity da staging ou golden.

BILLING CAPL-4811 Novas Funcionalidades e Melhorias na Estabilidade: Atualização do Modelo de Previsão e Revisão do Gráfico

Nesta atualização, foi implementado um novo modelo de previsão do Billing para cada um dos recursos. O gráfico foi revisado com melhorias na estabilidade e correções de bugs.

BILLING CAPL-4861 Melhorias na Estrutura do Gráfico de Cobrança para Maior Usabilidade e Visibilidade

Foi realizada uma melhoria na estrutura do gráfico de cobrança para melhorar a usabilidade e a visibilidade. Foram feitas pequenas alterações na interface do usuário. Foi removido “recursos” do primeiro card, adicionado uma guia Recursos à tabela, informando Nome do Recurso, Uso, custo (atual) e Custo Total Previsto, atualizado as cores dos gráficos (primeira e segunda cartas), aplicado fundo e título para Previsão no gráfico e usado "Mês Atual" como visualização padrão em vez dos últimos 6 meses (exceto para administradores de cobrança).

CAROL_ASSISTANT CAPL-3438 Atualização do Assistant: Remoção de Configuração Legada e Limpeza de Código

Esta atualização remove a configuração legada do Assistant. O código foi limpo, removendo pacotes e códigos. A página inicial do Assistant foi atualizada, removendo mensagens sobre depreciação e links para configuração legada.

CONNECTOR CAPL-4843 Melhoria no endpoint /sync do staging para retornar 400 quando a tabela não existe

Agora, o endpoint /sync do staging retorna 400 quando a tabela de staging não existe, o que é o mesmo comportamento do endpoint intake. Isso permite que as integrações do Smartlink detectem que a tabela não existe.

EXPLORE CAPL-4846 Bloqueio de Inclusão/Alteração de Registros no Explorer via UI da CAROL

Foi criada uma forma de impedir a inclusão/alteração de registros através do Explorer via UI da CAROL. Quando o Tenant ou a organização tiver a flag SQL Only, as operações de remoção, criação e edição de registros de Golden Records serão bloqueadas para qualquer tipo de armazenamento (RT, BQ). Esta forma de impedimento foi criada para evitar falhas nos processos das pipelines ou perda dos dados criados/alterados.

SQL_PIPELINES CAPL-4852 Atualização de Golden Records: Redefinição de Meta Tag e Novas Versões de Metadados

Nesta atualização, redefinimos a meta tag para AuditID, BatchID, BatchSequenceID e TaskID nos golden records. Isso permitirá que os clientes explorem os campos mdmStagingAuditID e mdmTaskId nos golden records através de novas versões de campos de metadados, evitando impactos na produção.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-4791 Correção de Erro na Task Export Search Result

Foi identificado um erro na Task Export Search Result, onde ocorreu um erro de java.lang.NullPointerException. Foi realizada a correção do erro, e a Task Export Search Result está funcionando normalmente.

APP CAPL-4844 Correção de Erro na Instalação do TOTVS RH Clock In Backoffice

Foi identificado um erro durante a instalação do TOTVS RH Clock In Backoffice "Error to update the EntityTemplate with snapshot." que ocorria devido a regras legadas existentes no Data Model de uma tenant que já estava no modo SQL Processing. O Data model foi ajustado manualmente e a instalação foi concluída com sucesso.

APP CAPL-4887 Correção do Problema de Logins Rejeitados na BOM FUTURO para o Produto CLOCK IN

Foi corrigido o problema de Logins rejeitados por ter outro Login vinculado ao mesmo telefone na BOM FUTURO para o produto CLOCK IN.

BIG_QUERY CAPL-4784 Adição do Campo mdmIdOrigin às Tabelas de Staging dos Tenants Unificados

Nesta versão, foi adicionado o campo mdmIdOrigin às tabelas de staging dos Tenants Unificados. O campo mdmIdOrigin será usado para identificar a origem dos dados na tabela de staging.

BIG_QUERY CAPL-4904 Atualização do Esquema Avro Não Está Atualizando o Status do Carol para Data Models

Foi ajustado a atualização do esquema Avro que não estava atualizando o status do esquema na Carol para os Data Models.

BILLING CAPL-4853 Novas Funcionalidades para Filtrar Contas de Faturamento por Nome do Tenant

Agora foi implementada a possibilidade de filtrar contas de faturamento por nome do Tenant.

CONNECTOR CAPL-4841 Melhorias na Ingestão de Dados no BQ

Foi identificado que os tempos de ingestão dos dados no BQ estão sendo elevados. A partir disto foi realizada uma análise profunda para identificar a causa do problema e foi implementada uma solução para corrigi-lo.

DATA_MODEL CAPL-4869 Atualização do Endpoint /api/v3/admin/avroschemas/generation

Atualizamos o endpoint /api/v3/admin/avroschemas/generation para adicionar um novo parâmetro booleano, para que seja possível atualizar os arquivos avros sem gerar notificação de mudança de esquema.

EXPLORE CAPL-4797 Melhorias no Redimensionamento de Colunas no Editor

Foi corrigido um problema que dificultava o redimensionamento de colunas na tela do Editor. Agora, ao seguir os passos para reproduzir o problema, o redimensionamento de colunas é suave.

SQL_PIPELINES CAPL-4595 Melhorias na Busca e Atualização de Tenant Unif durante o Checkout

Nesta atualização, foi realizada uma melhoria na busca e atualização dos customer tenants durante o checkout do pipeline Unif. Quando o administrador da tenant executa um checkout, está causando um timeout devido ao número de tenants com o aplicativo instalado.

🚀 Melhorias​

🐛 Correções​

CAROL_ASSISTANT CAAS-268 Correção de Problema de Carregamento de Sessão e Melhorias na Página de Widgets

Foi corrigido um problema que impedia o carregamento da sessão na página de conversas (apenas no modo de desenvolvimento) e na página de widgets. Algumas melhorias foram feitas para garantir que o problema não volte a ocorrer.

🚀 Melhorias​

CAROL_ASSISTANT CAAS-277 Validar cabeçalhos CORS no protocolo fallback do widget (Query HTTP)

Nesta atualização, validamos os cabeçalhos CORS no protocolo de recurso de widget (HTTP Query). Esta alteração permitirá que os usuários acessem os recursos de widget de forma segura.

🐛 Correções​

CAROL_ASSISTANT CAAS-208 Correção de Problema no Envio de Dados para o Log Viewer na UI do Assistente Carol

Foi corrigido um problema no envio de dados para o Log Viewer na UI do Assistente Carol, onde o campo parâmetro tinha uma propriedade com dados inválidos. A propriedade permissao_transbordo deveria ser codificada como string e não como booleano.

CAROL_ASSISTANT CAAS-300 Extração de Logs da Assistente de RH para Análise da Área de Recursos Humanos

Esta issue foi criada para solicitar a extração dos logs da Assistente de RH, visando a análise pela nossa equipe da Área de Recursos Humanos. O objetivo é entender melhor as interações e o desempenho da assistente relacionadas aos recursos humanos. A extração deve abranger um período relevante para a análise (Agosto/23). A mesma solicitação foi feita no último mês, e a issue anterior pode ser consultada para dúvidas.

🚀 Melhorias​

ALERTS_MANAGEMENT CAPL-4619 Melhorias na Funcionalidade de Alerts Management

Foi realizada uma melhoria na funcionalidade de Alertas. Agora, os eventos abertos são destacados na tabela, a largura do painel lateral foi aumentada para que se possa ler melhor os detalhes de cada evento, os valores dos filtros são ordenados alfabeticamente e foi adicionado um guarda para que usuários com o papel OrgUsers não possam acessar o conteúdo de Alertas.

BIG_QUERY CAPL-4484 Novas Funcionalidades para Provisionamento com MigrateKeepingData

Agora, é possível chamar o provisionamento com migrateKeepingData mesmo que o tenant já esteja na última versão. Não permitimos usar essa flag se o provisionamento anterior falhou (ERRO). Apenas permitimos migrar mantendo os dados se o provisionamento anterior tiver status DONE ou DONE_WITH_ERROR. Se o último provisionamento definir o status do tenant como READY_WITH_LOAD_ERROR, então devemos manter o mesmo status. (Porque um provisionamento mantendo os dados não corrige os dados em si, apenas a estrutura das tabelas).

BIG_QUERY CAPL-4584 Mudança no Log de Mensagem para Comando DROP COLUMN

Nesta atualização, foi alterado o log de mensagem de INFO para WARNING quando relacionado ao comando DROP COLUMN. Quando um comando de mudança de esquema exclui uma coluna, ele registra uma mensagem como INFO, tornando mais difícil encontrar essa alteração importante. Agora, essa mensagem será registrada como um WARNING. Esta atualização afeta todos os usuários que usam o comando DROP COLUMN.

BILLING CAPL-4589 Melhorias na Pesquisa de Usuários e Novas Funcionalidades no Billing Admin

Nesta atualização, corrigimos um problema que impedia que a pesquisa de usuários filtrasse os resultados corretamente.

BILLING CAPL-4768 Adição de Coluna de Referência de Mês e Exportação de CSV

Foi realizada a inclusão de uma coluna com mês de referência no download de invoice e opção de exportar o csv. Esta coluna possui o mesmo valor para todas as linhas, relacionado ao período de entrada do item de recurso. Além disso, foi adicionada a opção de exportar o arquivo csv.

SQL_PIPELINES CAPL-4605 Atualização do Parâmetro RealTimeDisable para Tenants Unificados

Resolução: Foi criado um parâmetro chamado RealTimeDisable que é definido como TRUE para todos os Tenants Unificados. O campo Enable Realtime Storage foi desabilitado para os Tenants Unificados para evitar que o usuário possa marcá-lo. O Tooltip foi atualizado para informar que os Tenants Unificados não podem ter o tipo de armazenamento Realtime habilitado. O campo de tipo Unified foi atualizado para informar que os Tenants Unificados centralizam os dados e tarefas de processamento do Carol Apps e não podem ter o tipo de armazenamento Realtime.

TENANT_ADMIN CAPL-4324 Adicionando Emails de Carol ao GCP IAM

Foi criado um endpoint para adicionar emails de Carol ao GCP IAM. O endpoint é um pedido de sincronização e enviará uma lista de usuários para adicionar e remover do IAM. Se ocorrer algum erro, será retornado um erro claro na resposta. Se algum usuário que está sendo adicionado já estiver no IAM, será ignorado. Se algum usuário que está sendo removido não estiver mais no IAM, também será ignorado. Os emails devem ser da Totvs. Existe uma cota de 600 políticas por minuto. Só os usuários OrgAdmin e intern token LocalApiAuthorization podem adicionar usuários. Foi criada uma regra personalizada para SRE. Não é necessário armazenar os pedidos e seus status em uma tabela PG, mas é possível registrar os corpos dos pedidos como debug. Não devem ser permitidos dois processos concorrentes para o mesmo tenant. Para erros genéricos do GCP, será retornado um erro 500. Para limite de cota, deve ser retornado o erro 4xx mais apropriado. Se outros tipos de erros forem identificados com antecedência, deve ser usado um erro 4xx apropriado.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-4754 Título de Release Notes: Correção do problema de tarefas de alteração de esquema de notificação falhando para tabelas de estágio

Notification Schema Change tasks should not fail for staging tables. 06 - CURRENT BEHAVIOR (LIST THE CURRENT BEHAVIORS): . Notification Schema Change tasks are failing for staging tables with an Avro file not found error. Release Notes: O problema de tarefas de alteração de esquema de notificação falhando para tabelas de estágio foi corrigido. O erro de arquivo Avro não encontrado não será mais exibido. A tarefa de alteração de esquema de notificação não deve mais falhar para tabelas de estágio.

ACTIVITY_MANAGEMENT, APP CAPL-4765 Correção de Erro no Planova Clockin Backoffice e Adição de Named Query

Foi corrigido um erro no ambiente Notify Schema do Planova Clockin Backoffice. O erro ocorria ao tentar acessar a Staging Table e o Data Model do Fullfilment. Além disso, foi adicionada a Named Query para o Unified Alert Manager e o Alert Management. Agora, o ambiente está funcionando corretamente.

BIG_QUERY CAPL-4432 Melhorando a Resiliência da Plataforma: Correção de Erro 409

Foi corrigido um problema que ocorria durante a morte de um pod de trabalho, onde a plataforma aguardava o mdmTaskId da resposta do endpoint {{/v1/schema/{mdmEntityName}}. Como o erro 409 ocorria, o ID da tarefa ficava nulo. Para melhorar a resiliência da plataforma, foi feita uma revisão do comportamento deste endpoint, lendo o ID da tarefa disponível no código ao invés de ler a resposta do endpoint. Foram realizadas análises e definidas instruções para a solução do problema.

BIG_QUERY CAPL-4451 Correção de Status de Tenant durante Provisionamento Parcial

Foi corrigido um problema que ocorria durante a provisionamento parcial, onde o status do Tenant era atualizado para READY mesmo quando haviam outras tabelas com erro de carregamento. Por exemplo, se durante a primeira provisionamento houvessem 5 tabelas com erro de carregamento, o status seria atualizado para READY_WITH_LOAD_ERROR. Porém, se o usuário solicitasse um provisionamento parcial para apenas uma dessas tabelas, o status seria atualizado para READY, o que não deveria acontecer. Agora, o status será mantido como READY_WITH_LOAD_ERROR até que todas as tabelas sejam corrigidas.

CAROL_APP CAPL-4465 Melhorias no Processo de Reconciliação de Tarefas

Nesta atualização, foi realizada uma melhoria no processo de reconciliação de tarefas que estão em execução há mais de 30 dias. Foi definida uma melhor maneira de diferenciar e identificar o Status do Processo do Status da Tarefa. Além disso, foi implementada uma thread para verificar o processo de reconciliação de processos AI Batches que estão completos. Esta atualização também atualizou o comportamento esperado para considerar este bug como resolvido.

CONNECTOR CAPL-4593 Correção de Loop Intenso na UI de Staging

Foi identificado um cenário com mais de 2k solicitações a um select, que parece ter origem na UI de Staging. A hipótese é que algum cenário neste Tenant possa estar causando um loop de select, originado nestas URLs. Não sabemos se isso é relevante, mas ambos os Stagings com problemas parecem ter ETL aplicado. O objetivo desta atualização é identificar cenários potenciais para um loop intenso na UI de Staging e, se encontrado, adicionar algum mecanismo de atraso ou debounce.

DATA_PROCESSING CAPL-4714 Correção de Issue no App InsightsBackoffice

Foi identificado que o app insightsbackoffice não criou as tasks de cópia para o unificado para os tenants 4ada68fe5dcb4ce78f91111f64fa3e47 e 6bf22680ab664026ac127f4f856ecd85. Foi verificado que as stagings não foram materializadas e não há dados do cliente na tenant unificada. Foi realizada a correção da issue e as tasks de cópia foram criadas para o unificado.

ORGANIZATION/TENANT CAPL-4691 Melhorias nos Logs de Migração de Tenant para Somente Leitura

Melhoramos o log quando falha ao mudar um Tenant para somente leitura. Durante o processo de migração, o sistema só registra quando todas as tentativas foram feitas para mudar um Tenant para somente leitura, deixando-nos sem logs por cerca de 3 minutos durante o processo de migração. Agora, o sistema registra cada tentativa que falha ao mudar um Tenant para somente leitura, permitindo que possamos identificar e corrigir problemas mais rapidamente.

SQL_PIPELINES CAPL-4532 Revisão da Conexão do Repositório BitBucket no Jira - Correção de Erros e Melhorias na Experiência do Usuário

Atualização de notas de lançamento para o Jira: BitBucket Repository Connection Review. Esta atualização resolve o problema de não conseguir ver a lista de IDs de commit para o repositório Bitbucket. Além disso, corrige o erro que ocorre ao tentar usar um Token de senha. Esta atualização também melhora a experiência do usuário ao usar o ambiente de produção.

SQL_PIPELINES CAPL-4551 Lançamento de Melhorias no Checkout de Tenants Unif

Neste lançamento, resolvemos o problema de timeout ao executar o checkout em Tenants Unif. O checkout agora é executado como uma tarefa, tornando o fluxo assíncrono. Esta funcionalidade está disponível para Tenant Admin em Tenants Unif.

🚀 Melhorias​

PYCAROL DASC-1142 Novos Filtros no BQStorage: Melhorias no PyCarol

Nesta versão, adicionamos filtros de linha em sessões de leitura do BQStorage.

PYCAROL DASC-1170 Novas Funcionalidades de Acesso à API de Leitura de Armazenamento do BigQuery no pyCarol

Nesta versão, foi implementada a capacidade de acesso à API de leitura de armazenamento do BigQuery no pyCarol. Esta funcionalidade permite que aplicativos na Carol possam fornecer o filtro a ser aplicado e ter acesso aos dados através da API de leitura de armazenamento do BigQuery.

PYCAROL DASC-1191 Corrigido bug na interface com BQ Storage

Na versão antiga, existia a possibilidade do retorno da query do BQ Storage não retornar todos os registros. A nova versão retorna todos os registros consultados.

PYCAROL DASC-1208 Adiciona rótulos (labels) para os BigQuery Jobs.

Neste lançamento, foi implementada a capacidade de enviar rótulos para o BigQuery em cada trabalho de consulta do pyCarol. Estes rótulos podem ser utilizados para agrupamentos do GoogleCloudPlatform.

PYCAROL DASC-1234 Exposição do job após consultas no BigQuery

Agora é possível verificar os logs de trabalho do Big Query, como ID do trabalho, hora de criação, hora de início, hora de término, tempo de slot consumido, resultados em cache e assim por diante, usando o módulo BQ do Pycarol.

🐛 Correções​

PYCAROL DASC-1162 Retrocompatibilidade com tipos depreciados em NumPy >= 1.20

Corrigido bug onde se usava tipos depreciados a partir da versão 1.20 do NumPy pelo PyCarol.

PYCAROL DASC-1196 Incompatibilidade entre dependências do PyCarol

Bibliotecas pandas e numpy foram ajustadas para compatibilidade mínima.

PYCAROL DASC-1272 Suporte a versões recentes da urllib3

A versão da biblioteca urllib3 não estava fixa o que podia resultar em incompatibilidades entre o PyCarol e essa biblioteca. Modificamos o código para aceitar assinaturas mais modernas da urllib3.