Skip to main content

· 3 min read
TOTVS LABS

🚀 Melhorias

SQL Processing
CAPL-3053 SQL Processing: Tarefas de Processamento não devem ser criadas se o agendamento anterior não for feito
Adicionada a característica para não permitir criar mais de uma tarefa de SQL Processing para o mesmo pipeline (modelo de dados).

Carol Platform
CAPL-2969 Carol Platform: Salvar o tempo de duração do processo de cópia
Adicionada a característica de salvar o tempo de duração do processo Copiar Dados de Preparação, pois é uma métrica importante.

Carol Platform
CAPL-2968 Carol Platform: Salvar o tempo de duração modificação do schema
Adicionada a característica de salvar o tempo de duração do processo de modificação do esquema, pois é uma métrica importante.

VSCode Extension
CAPL-2862 VS Code: Devemos permitir que o usuário, por meio do fluxo de criação de arquivo, preencha o pipelineName no documento Manifesto
Desenvolvida a possibilidade de que o usuário preencha o campo pipelineName no documento de Manifesto.

BigQuery
CAPL-2577 BigQuery: Quando a ingestão leva mais de 1 hora, não estamos processando os dados
Adicionado um novo contador para a Staging - para representar os dados que foram adicionados ao BigQuery.

Carol Platform
CAPL-2289 Carol Platform: Implantar Task, TaskLog e ScheduledTask em produção
Implantado os seguintes itens em produção: Task, TaskLog e ScheduledTask.

Carol Platform
CAPL-2220 Carol Platform: Limpar contas de serviços temporários do banco de dados Postgres
Adicionado um script para excluir as contas de serviços antigos.

🐛 Correções

SQL Processing
CAPL-3060 SQL Processing: Erro aritmético por zero ocorrendo em tarefas do SQL Processing
Correção nas tarefas Deploy Carol App Task/SQL Processing, em que algumas ocasiões, está ocorrendo um erro Aritmética por Zero.

Carol Platform
CAPL-3044 Carol Platform: Exceção encontrada na tafera referente a conexão JDBC
Correção realizada no Activity Management em um ambiente com muitas tarefas, referente ao rollback da Conexão JDBC.

Carol Platform
CAPL-3042 Carol Platform: Exceção encontrada na tafera referente a transação JPA
Correção realizada no Activity Management em um ambiente com muitas tarefas, referente ao rollback da transação JPA.

Carol Platform
CAPL-2986 Carol Platform: O job de cópia de dados de Tenant Unified unificada está travado
Correção realizada no job de cópia de dados para não ficar travado.

CAROL_ENVIRONMENT
CAPL-2972 Worker-Pub-Sub: Não consumindo, taxa de saída muito baixa
Alterado o Worker-Pub-Sub que deve consumir mensagens em ritmo normal, mesmo após a implantação.

Carol Platform
CAPL-2971 Carol Platform: mdmAddress não alimenta corretamente as coordenadas para um array de endereços
Correção realizada na normalização do endereço para obter a geolocalização.

· 4 min read
TOTVS LABS

🚀 Melhorias

CAROL_LOGIN
CAPL-2958 Global User: Criado um índice no campo user_login
A criação desse índice no campo user_login se faz necessário devido ao mesmo estar sendo muito utilizado nas buscas de usuário global.

Carol Platform
CAPL-2838 Data Model: Removido o 'Profile Title'
Removido a opção 'Profile Title' das opções do Data Model.

BigQuery
CAPL-2802 DataShare: Endpoints para obter esquema de visualização compartilhada do BigQuery
O endpoint já existia, porém não retornava a visualização exata, assim realizamos melhorias com o nome dos campos específicos para retornar corretamente.

Carol Platform
CAPL-2795 SQL_ONLY: Revisado os recursos de remoção do fluxo da tabela de stage/conector não usados para tenants SQL_ONLY
Revisado os recursos que não são usados para Tenants SQL_ONLY.

Carol Platform
CAPL-2771 BE: Suporte a Microsoft SSO (SAML)
Permitir que o cliente defina outro provedor SAML como provedor de identidade para Carol.

Carol Platform
CAPL-2757 SQL_ONLY: Revisado os recursos de remoção do fluxo do data model não usados para Tenants SQL_ONLY
Remova os campos não utilizados para Tenants SQL_ONLY.

Carol Platform
CAPL-2756 SQL_ONLY: Revisado os recursos de remoção de fluxo do Explore não usados para Tenants SQL_ONLY
Removido os recursos não usados no Explore para Tenants SQL_ONLY.

Carol Platform
CAPL-2614 Melhorias no menu da plataforma Carol
A melhoria se refere em possibilitar que o usuário clique apenas uma vez no menu lateral/módulo para acessar as opções disponíveis.

Carol Platform
CAPL-2548 Global User: Implantar entity para produção
Realizar o deploy da entity para o ambiente de produção referente ao Global User.

Carol Platform
CAPL-2288 Trabalho realizado no recurso de filtro de consulta para Postgres
Melhorias no filtro de consulta para Postgres.

Carol Platform
CAPL-2221 Descontinuar Endpoints
Descontinuar os seguintes endpoints: POST /v1/schema_modification, PATCH /v1/schema/{mdmEntityName}/cluster_partition. Remover sinalizador obsoleto: GET /v1/schema/update_process/{schemaUpdateId}

Carol Platform
CAPL-2154 Implementação de modelos de Task, TaskLog e ScheduledTask
Implementação de modelos de tarefas, log das tarefas e tarefas agendadas.

Carol Platform
CAPL-2059 Tasks & Sub-Tasks: Criada uma arquitetura para lidar com tarefas assíncronas dentro da tarefa pai(parent)
Adicionada a característica para executar tarefas assíncronas, evitando que um conjunto de tarefas dependa de outro conjunto para ser concluído.

Carol Platform
CAPL-1953 Staging: Melhorias em Gerenciar campos
Removida a opção Gerenciar campos da stage dentro de uma guia nas opções avançadas da Stage.

Carol Platform
CAPL-1884 Swagger: validações de corpo de texto
Melhoria para quando preencherem o corpo do texto (body) errado, ele ficava vermelho e bloqueava o botão Executar, agora não está mais bloqueando.

🐛 Correções

Carol App
CAPL-3103 Carol App: A tarefa de criação de imagem do Docker está falhando
Melhorias na tarefa de criação de imagem do Docker que está falhando porque o Job não foi iniciado corretamente.

Carol Platform
CAPL-2943 Worker-Pub-Sub: Não consumindo/taxa de saída muito baixa
Correção no Worker-Pub-Sub que deve consumir mensagens em ritmo normal, mesmo após a implantação.

BigQuery
CAPL-2918 Streaming tenta inserir registros para sempre com Tabela não encontrada
Correção para evitar que o streaming fique tentando inserir registros sem parar em uma tabela que não foi encontrada.

Carol Platform
CAPL-2897 Revisão dos endpoints Swagger
Substituir openapi 2.0 post request componente textarea.

Carol App
CAPL-2873 Falha na cópia de dados da tarefa porque o arquivo não existe
Correção para suportar uma alteração de esquema com alteração no particionamento.

BigQuery
CAPL-2851 Provisionar Big Query travou em 50%
Melhorias realizadas para o provisionamento do Big Query não travar.

Data Processing
CAPL-2805 SQL Processing: adicionada resiliência ao truncate
Algumas tarefas de SQL Processing com limpeza e reprocessamento estão falhando com este erro: Tamanho da alocação do ManagedChannel, adicionada a resiliência no truncate, para ajustar.

BigQuery
CAPL-2803 Problema de ingestão: estamos tentando injetar data/hora com Z interrompendo a integração do BQ
Melhoria na ingestão de dados referente ao formato da data/hora com o caracter 'Z', que acaba interromponde a integração com o Big Query.

Carol Platform
CAPL-2781 Data Subscription: Travado
Melhorias realizada para o Data Subscription não travar.

· 3 min read
TOTVS LABS

🚀 Melhorias

Carol Platform
CAPL-2847 Removido a caixa de seleção para Habilitar SQL sobre o CDS
Removido o checkbox "Enable SQL over CDS". Esse recurso ainda estará disponível por um curto período, porém já iremos retirar essa configuração da interface do usuário.

Carol Platform
CAPL-2758 Dev Tenant Home page
Criada uma Home Page específica para a Dev Tenant.

Carol Platform
CAPL-2675 Auto-retry modificação do schema se GCP falhar
Implementada a característica de auto reprocessamento caso a modificação de schema falhar por algum erro interno no Google.

Carol Platform
CAPL-2639 Unified Tenant : Criação de uma Home page de Health check
Implementada uma home page específica para Unified Tenant para trazer dados e estatísticas específicas para ajudar na análise do ambiente.

Carol Platform
CAPL-2611 Melhorias na performance do endpoint de estatísticas
Melhorias realizadas para suportar mais metadados dos serviços de dados.

Carol Platform
CAPL-2523 Home Tenant- sem ser unificada - Estatísticas provenientes do Big Query
Revisada as estatísticas para o ambiente sem ser unificado para as estatísticas do Big Query.

Carol Platform
CAPL-2421 Implementar réplica de leitura em Mdm, Worker e Intake
Desenvolvida a lógida de réplica de leitura em Mdm, Worker e Intake utilizando recursos de endpoint, com estratégia de definição do índice.

🐛 Correções

CAROL_LOGIN
CAPL-2959 O perfil de usuário business user está causando um comportamento inesperado durante a autenticação, com a tela de login em loop infinito.
Correção na Autenticação para a tela de login não entrar em loop infinito quando o usuário fizer login com um usuário cujo perfil seja Business User.

Carol Platform
CAPL-2846 JSONB: Correção no conversor de JPA (Postgres para JPA)
Adicionado um conversor específico para JSONB para transformar corretamente os dados de Postgres para Java POJO.

BigQuery
CAPL-2799 Melhoria na criação de um novo usuário atráves do SQL Processing
Realizado um ajuste na criação de um novo usuário atráves do SQL Processing, pois a tarefa estava falhando na limpeza do Big Query.

SQL Processing
CAPL-2790 SQL Processing: Erro na execução de tarefas
Correção na execução de taferas do SQL Processing quando encontramos a seguinte mensagem: "Cause: Entity Template not found for name ..."

Data Processing
CAPL-2720 SQL Processing: tarefa concluída e não movida para o status de COMPLETE
Correção realizada para que as taferas de SQL Processing com limpeza e reprocessamento não falhem por conta do tamanho da alocação do ManagedChannel.

BigQuery
CAPL-2617 Big Query: A integração deve suportar quando a tabela de staging ou connector é deletado
Adicionada a característica para o Big Query suportar a integração quando uma tabela de staging ou connector for deletado.

· 2 min read
TOTVS LABS

🚀 Melhorias

Data Journey
CAPL-2613 Data Journey: SQL Editor de consultas
Adicionada a funcionalidade do usuário poder navegar para o SQL Editor com uma consulta (do DataJourney2 e dos registros da Staging table) - Documentação suplementar:

VSCode Extension
CAPL-2612 VSCode: atributos do manifesto
Adicionada característica que valida os atributos inválidos definidos no manifesto do pipeline. - Documentação suplementar:

BigQuery
CAPL-2605 Big Query: Performance
Melhorias realizadas na performance da consolidação do Big Query. - Documentação suplementar:

Explore
CAPL-2525 Explore: regras de rejeição
Adicionadas regras de rejeição dos registros no Explore sobre o processamento SQL. - Documentação suplementar:

Data Journey
CAPL-2521 Data Journey: Melhorias
Implementada melhorias no Fluxo e na UI - interface de usuário. - Documentação suplementar:

VSCode Extension
CAPL-2519 VSCode: entidades do manifesto
Implementada a funcionalidade para adicionar entidades de origem e saída ao manifesto. - Documentação suplementar:

Data Share
CAPL-2491 Data Share: criação de endpoints
Implementação de Endpoints para criar/atualizar grupos e visualizações de compartilhamento. - Documentação suplementar:

Data Model
CAPL-2185 Data Model: campo TIMESTAMP
Permitir a criação de um campo com o tipo de dados TIMESTAMP. - Documentação suplementar:

🐛 Correções

Mapping and Cleansing Rule
CAPL-2683 Mapping and Cleansing Rule : processamento
Realizada uma correção quando removemos o mapeamento relacionado a uma tabela de staging, pois o mesmo não pausava o processamento de streaming. - Documentação Suplementar:

Carol Platform
CAPL-2666 Carol: Limite do pub-sub
Atingimos o limite de pub-sub para o google project labs-app-mdm-production-2 - Documentação Suplementar:

BigQuery
CAPL-2663 Big Query: criação de tabelas
Correção na tarefa de criar novas tabelas no bigquery. - Documentação Suplementar:

BigQuery
CAPL-2606 Big Query: altereações de schema
Correções referente as modificações de esquema travadas no lado de dados do BigQuery. - Documentação Suplementar:

BigQuery
CAPL-2580 Big Query: execução de tarefas
Correção nas Tabelas de Staging com FAILED_TO_SYNC ou CHANGE_IN_PROGRESS sendo executadas sem finalizar. - Documentação Suplementar:

Connector
CAPL-2518 Connectores: Estatísticas
Correção realizada nas estatísticas que retornam um número negativo de eventos. - Documentação Suplementar:

Data Injection
CAPL-2510 Data Injection: Equalização de dados
Realizada a equalização de dados na Carol de um registro no CDS e no armazenamento do Big Query. - Documentação Suplementar:

· 3 min read
TOTVS LABS

🚀 Melhorias

Carol Platform
CAPL-2531 User: Removida informações de senha
Removido informações referente a senha do usuário no Big Query Golden Record após ser processado no Dataflow. - Documentação suplementar:

VSCode Extension
CAPL-2489 VSCode: fluxo de Login e Tenants
Revisão do fluxo de login e da lista de Tenants. - Documentação suplementar:

Carol Platform
CAPL-2457 Disponibilizar Tenant em produção
Nota referente a disponibilização da Tenant da Carol em Produção. - Documentação suplementar:

VSCode Extension
CAPL-2428 VSCode: opções de CRON
Adicionado no manifesto do VSCode opções para configuração de CRON. - Documentação suplementar:

Explore
CAPL-2427 BigQuery: Explore o editor do BQ
Utilizar o endpoint da plataforma para processar metadados. - Documentação suplementar:

VSCode Extension
CAPL-2426 VSCode: metadata
Utilizar o endpoint da plataforma para processar metadados. - Documentação suplementar:

SQL Processing
CAPL-2414 Non-Unified: Gerenciamento de usuário
Adicionada a funcionalidade de gerenciamento de usuários integrado com pipelines SQL. - Documentação suplementar:

Data Processing
CAPL-2403 EndPoint: Golden Record RT
Alterado o endpoint para adicionar Golden Record no RT deve permitir um mdmID determinístico - Documentação suplementar:

Data Platform
CAPL-2228 Tenant: Consolidação resiliente
Consolidação resiliente com os registros das tenants. - Documentação suplementar:

Data Model
CAPL-2191 DataModel: criação do campo tipo TIMESTAMP
Adicionado o campo com o tipo de dados TIMESTAMP para o DataModel. - Documentação suplementar:

SQL Processing
CAPL-1803 SQL Processing: endereço com base na geolocalização
Permitir a complementação do endereço com base na geolocalização de entrada. - Documentação suplementar:

VSCode Extension
CAPL-1715 VSCode: estatísticas
Realizar o registro de estatísticas de uso. - Documentação suplementar:

Carol App
CAPL-1696 Unif: Estratégia de processamento SQL
Adicionada a funcionalidade em que o proprietário do App defina a estratégia em que o SQL realize o processamento. - Documentação suplementar:

🐛 Correções

SQL Pipelines
CAPL-2664 Pipelines: Inconsistências
Ajustes referente a inconsistência no ID de commit atual. - Documentação Suplementar:

BigQuery
CAPL-2437 Provision: Tarefas
Melhorias realizadas nas tarefas de provisionamento travadas. - Documentação Suplementar:

Connector
CAPL-2425 Staging: Endpoints
Melhorias realizadas na performance dos endpoints da Staging. - Documentação Suplementar:

SQL Processing
CAPL-2404 Pipeline: envio para o ES
Criada a possibilidade de envio de um campo de coordenadas de um pipeline SQL para o Eslatic Search. - Documentação Suplementar:

Merge Process
CAPL-2385 Tasks: Merge
Correção nos erros de tarefas EXACT_MERGE. - Documentação Suplementar:

Explore
CAPL-2384 Explore BigQuery: Performance
Melhoria no desempenho das estatísticas do BQ. - Documentação Suplementar:

Data Subscription
CAPL-2358 Data Subscription: fila travada
Melhorais na fila do Data Subscription para não ficar travada. - Documentação Suplementar:

Carol App
CAPL-2339 CarolApp: Redirecionamento
Corrigido o redirecionamento para Carol App ao fazer login por meio de SSO. - Documentação Suplementar:

· 2 min read
TOTVS LABS

🚀 Melhorias

VSCode Extension
CAPL-2473 VSCode: Revisão da validação do cron
Revisão da validação da expressão cron no VSCode. - Documentação suplementar:

VSCode Extension
CAPL-2472 VSCode: Resultados mostram o tipo de dados RECORD
Adicionada a característica de visualização dos resultados com tipo de dados RECORD como texto no VSCode. - Documentação suplementar:

Data Subscription
CAPL-2401 Data Subscription: Performance na geração de logs
Melhorias implementadas referente a performance na realização de consultas dos dados do Data Subscription. - Documentação suplementar:

Explore
CAPL-2366 Data Lineage : Refatoração da visualização no Data Subscription
Realizadas melhorias e refatoração na visualização no Data Lineage do Data Subscription. - Documentação suplementar:

CAROL-SQL-ORCHESTRATION
CAPL-2232 Provisionamento: Evitar que o provisionamento falhe quando ocorrer um simples erro
Implementada melhorias referente a estabilidade das tarefas de provisionamento. - Documentação suplementar:

Carol Platform
CAPL-2231 Service Accounts: Paginação e classificação na API de listagem SA
Características de paginação e classificação adicionadas a API de listagem SA. - Documentação suplementar:

Carol Platform
CAPL-1620 Provisionamento: possibilidade de provisionar um ambiente mesmo se forem encontradas falhas internas no mesmo
Realizada uma melhoria que adicionou um novo status 'Provisionado com Erros' para evitar que ambientes com algumas situações de falha na modelagem de dados ou nas tabelas de stage, não se habilite o provisionamento. - Documentação suplementar:

🐛 Correções

SQL Processing
CAPL-2618 Pipeline: Tarefas apresentando erros
Correção nas tarefas de Limpeza e Processamento (Clean & Proccess) de Pipelines. - Documentação Suplementar:

VSCode Extension
CAPL-2515 VSCode: Visualização da pipeline com erro
Corrigida a visualização da pipeline que não estava funcionando no Windows. - Documentação Suplementar:

Carol Platform
CAPL-2501 Documentação do Swagger
Nota sobre a adição da documentação do Swagger. - Documentação Suplementar:

Carol Platform
CAPL-2463 BigQuery: O novo endpoint v2/bigQuery/query não funciona com tokens de conector
Realizada a correção para o token de conectores funcionar no endpoint v2/bigQuery/query. - Documentação Suplementar:

· 4 min read
TOTVS LABS

🚀 Melhorias

VSCode Extension
CAPL-2357 VSCode: Executar consultas que levam mais do que 90 segundos
Permitir que ao executar uma consulta no VSCode (F5), a mesma seja executada com a estratégia adequada, possibilitando que a consulta demore mais tempo do que as consultas de sincronização. - Documentação suplementar:

Carol Platform
CAPL-2330 Injetar Spring Context no Worker POD
Permitir que se utilize Spring Context no Worker POD. - Documentação suplementar:

Carol Platform
CAPL-2268 Atualizar o Python e bibliotecas no Query-API
Atualização da veersão do Python e suas bibliotecas no Query-API. - Documentação suplementar:

Carol Platform
CAPL-2222 Suportar a consolidação quando a tabela recebeu dados por streaming recentemente
Criada a característica que evita a consolidação dos registros nas tabelas recebidos recentemente por streaming em um intervalo menor que 90 minutos , apenas registros recebidos em um intervalo maior serão consolidados. - Documentação suplementar:

CAROL-SQL-ORCHESTRATION
CAPL-2219 Reativar todos os testes desativados
Reative todo o código-fonte de teste que foi comentado e excluído do conjunto de testes. - Documentação suplementar:

Carol Platform
CAPL-2151 Explore/VS-CODE: Permitir executar uma consulta na Carol substituindo o 'metadata' definido
Capacidade de realizar uma consulta na Carol, sendo no Explore ou no VS-CODE, podendo substiruir o 'metadata' anteriormente definido. - Documentação suplementar:

Data Subscription
CAPL-2150 [Data Subscription] Permitir que o usuário visualize a quantidade de registros apagados enviados nesta funcionalidade
Adicionado mais detalhes para saber se os dados enviados são referentes a adição ou remoção dos registros. - Documentação suplementar:

CAROL_ENVIRONMENT
CAPL-2054 Token permanente da conta do serviço do Google
Adicionada a característica de token permanente referente a conta de serviço do Google. - Documentação suplementar:

Carol Platform
CAPL-2030 Explore/Stagings: Visualizar imagens nos campos do tipo BASE64
Permitir ao usuário no momento da pesquisa de registros na Carol, seja no Explore ou nas Stagings, que campos do tipo BASE64, que armazenam imagens, as mesmas sejam demostradas em miniatura. - Documentação suplementar:

CAROL_ACTIVITY_MANAGEMENT
CAPL-1682 AIProcess Batch: adicionado a ação de pause nas tarefas agendadas
Adicionada a funcionalidade de pause, para paras as tarefas agendadas referentes ao AIProcess Batch. - Documentação suplementar:

Carol Platform
CAPL-1501 Implantar a organização usando o PostgreSQL.
Nota referente migração da entidade organização para banco de dados relacional. - Documentação suplementar:

Carol Platform, Data Processing
CAPL-1357 BigQuery: Eliminar registros rejeitados pelo identificador
Adicionada característica que permite ao usuário eliminar um registro rejeitado selecionado pelo identificador no explore. - Documentação suplementar:

🐛 Correções

Carol Platform
CAPL-2461 O novo endpoint v2/bigQuery/query não funciona com o conector token
Nota referente tornando compativel com Connector Token (API Key). - Documentação Suplementar:

``
CAPL-2373 Clock In - Não é possível mapear campo PIS CODE dentro do objeto DOCUMENTATION do DM_EMPLOYEE
Nota referente ao mapeamento do campo PIS CODE no data model de empregados. - Documentação Suplementar:

BigQuery
CAPL-2369 BigQuery: provisionamento com falha
Nota referente controle de falhas no provisionamento. Melhorias ligado à estabilidade. - Documentação Suplementar:

Carol App, SQL Processing
CAPL-2362 Encontrado um erro de Exceção nula na tarefa de instalação do Carol App
Nota sobre uma exceção de erro nula em uma tarefa de instalação do Carol App. - Documentação Suplementar:

Explore
CAPL-2360 Explore não está mostrando o valor de um campo de objeto
Nota sobre a visualização de um campo de objeto genérico. - Documentação Suplementar:

CAROL_CONNECT, Carol Platform
CAPL-2204 [File Connector] tarefa para carregar arquivos travada no status de execução
Depois que o usuário tenta criar uma tabela de preparo(stage) por meio de um novo conector de arquivo(File Connector), a tarefa de carregar o connector fica travada no status de execução. - Documentação Suplementar:

``
CAPL-2197 Data Subscription: Erro ao especificar o filtro e os gráficos não são exibidos para mensagens existentes
Nota referente ao Data Subsctiption: encontra erro nos filtros e gráficos para mensagens existentes. - Documentação Suplementar:

Data Journey
CAPL-2015 Diversos problemas de usabilidade do Data Journey
Corrigido diversos problemas de comportamento na usabilidade do Data Journey, como por exemplo: botão desfocar não responde filtro por conector/staging não responde sem que haja uma atualização de página, pipelines não mostram registros, não há redirecionamento ao clicar no nome do conector ou app, novo conector não é apresentado após ser criado por meio de botão na página). - Documentação Suplementar:

CAROL_ENVIRONMENT
CAPL-1901 Mensagem de erro na tentativa de excluir uma organização com o nome com 13 caracteres ou mais
Quando o usuário tenta excluir uma organização com nome de domínio com 13 ou mais caracteres, está mostrando uma mensagem de erro. - Documentação Suplementar:

· 6 min read
TOTVS LABS

🚀 Melhorias

CAROL_ACTIVITY_MANAGEMENT
CAPL-2049 Permitir agendar tarefas de consolidação e compactação do CDS pelo gerenciamento de tarefas
Adicionada característica que permite ao usuário a partir de uma tarefa concluída de consolidação ou compactação do CDS, realizar o agendamento desta tarefa. - Documentação suplementar:

SQL Processing
CAPL-2035 Salvar no BigQuery por padrão para processamento SQL
Adicionada característica que inicializa a opção de Salvar no BigQuery como ativa por padrão no processamento SQL. - Documentação suplementar:

Data Processing
CAPL-1968 Aplicar mudanças de acordo com o status da Tenant/Organização e Carol App (SQL only)
Adicionada característica que aplica regras específicas quando a tenant / organização estiver marcada como SQL Processing Only e o Carol App adotar a estratégia de processamento SQL. As regras são, pausar todos os pipelines visuais (mapeamentos e ETL) e bloquear a execução de pipelines visuais, mesmo na atualização de App, uma vez que ela ocorrerá através da tenant unificada via pipelines SQL. - Documentação suplementar:

Data Processing
CAPL-1967 Aplicar mudanças de acordo com o status da Tenant/Organização e Carol App (Hybrid/NonUnified)
Adicionada característica que aplica regras específicas quando o Carol App adotar a estratégia de processamento Híbrido e a tenant / organização estiver ou não marcada como SQL Processing Only, porém estiver ausente da lista de integração com a tenant unificada.
No caso da tenant/organização for marcada (true) como SQL Processing Only as regras são, pausar todos os pipelines visuais (mapeamentos e ETL) e bloquear a execução de pipelines visuais, mesmo na atualização de App. Não haverá processamento de dados.
No caso de tenant/organização desmarcada (false) como SQL Processing Only as pipelines visuais continuarão sem mudanças, assim como o processamento que ocorrerá na própria tenant do cliente. - Documentação suplementar:

Data Processing
CAPL-1966 Aplicar mudanças de acordo com o status da Tenant/Organização e Carol App (Hybrid/Unified)
Adicionada característica que aplica regras específicas quando o Carol App adotar a estratégia de processamento Híbrido e a tenant / organização tiver desmarcada a opção SQL Processing Only, porém estiver presente na lista de integração com a tenant unificada. As regras aplicadas serão: As pipelines visuais (mapeamentos e ETL) poderão ser criadas, assim como o processamento que ocorrerá na própria tenant do cliente. - Documentação suplementar:

Data Processing
CAPL-1965 Aplicar mudanças de acordo com o status da Tenant/Organização e Carol App (Hybrid/Unified)
Adicionada característica que aplica regras específicas quando o Carol App adotar a estratégia de processamento Híbrido e a tenant / organização estiver marcada como SQL Processing Only, porém estiver presente na lista de integração com a tenant unificada.
No caso da tenant/organização for marcada (true) como SQL Processing Only as regras são, pausar todos os pipelines visuais (mapeamentos e ETL) e bloquear a execução de pipelines visuais, mesmo na atualização de App, uma vez que ela ocorrerá através da tenant unificada via pipelines SQL. - Documentação suplementar:

CAROL_ENVIRONMENT, Carol Platform
CAPL-1825 Adicionar a opção para definir a organização/tenant como SQL Processing Only
Adicionada característica que permite ao administrador da organização e da tenant definir a estratégia de processamento como SQL Processing Only indicando sua migração para a nova arquitetura da plataforma Carol de Pipelines SQL no BigQuery. - Documentação suplementar:

Connector, Data Model
CAPL-1815 Adicionar caixa de seleção para consolidação de registros nas configurações de Big Query para Data Model e Staging
Adicionada característica que permite ao usuário ativar ou desativar a consolidação automática de registros tanto para data model quanto staging mesmo que o armazenamento Big Query esteja inativo. A opção de consolidação manual continua disponível, bem como o seu agendamento através do gerenciamento de tarefas. - Documentação suplementar:

CAROL_ACTIVITY_MANAGEMENT
CAPL-1807 Armazenar o tamanho dos dados processados em bytes
Adicionada característica que permite ao administrador visualizar o volume de dados processados em bytes agregando tal informação em explorações analíticas. - Documentação suplementar:

Data Processing
CAPL-1458 Aplicar mudanças de acordo com o status da Tenant/Organização e Carol App
Adicionada característica que aplica regras específicas de acordo com a estratégia de processamento do Carol App e da Tenant / Organização. - Documentação suplementar:

Carol App
CAPL-1094 Adicionar a opção para definir a estratégia de processamento no Carol App
Adicionada característica que permite ao administrador ou desenvolvedor do Carol App na tenant de desenvolvimento definir qual estratégia de processamento será adotada (SQL ou Híbrida), permitindo maior flexibilidade durante o processo de migração das tenants de clientes para a nova arquitetura da plataforma Carol de Pipelines SQL no BigQuery. - Documentação suplementar:

🐛 Correções

Carol Platform
CAPL-2155 A plataforma está permitindo que o tipo de campo seja alterado na Staging
Corrigido comportamento que permitia a alteração do tipo de campo na tabela staging. Como melhor prática incentivamos as equipes a evitar alterações de esquema nas tabelas sempre que forem enviar dados com o objetivo de manter sua integridade e recomendamos seguirem o tipo de dados suportado pela plataforma. Para consultar quais campos são suportados acesse o tópico "4.2 Criando Campos" do manual de usuário da plataforma Carol. - Documentação Suplementar: https://tdn.totvs.com/pages/releaseview.action?pageId=654085078#ManualdeUsu%C3%A1rioCarolPlatform-4.2CriandoCampos

Data Processing, Explore
CAPL-2148 User role não é alterado no Explore
Corrigido comportamento que não aplicava a alteração no papel do usuário quando solicitado por meio do Explore. - Documentação Suplementar:

Data Processing
CAPL-2051 Ausência do Compact CDS a partir do menu e telas do Data Model e Staging
Corrigido comportamento no qual não apresentava o botão para compactar o armazenamento CDS a partir da página de staging e data model. Atualmente a ação é realizada de forma instantânea e manual nestas duas áreas, e o agendamento ocorre somente por meio da tela de gerenciamento de tarefas a partir de uma tarefa executada com sucesso de mesma finalidade. - Documentação Suplementar:

Data Processing
CAPL-2039 Tarefas de reprocessamento deixam o data model com merges pausados
Corrigido comportamento que ocasionava o travamento de merges após uma tarefa de reprocessamento. - Documentação Suplementar:

Data Processing
CAPL-1955 Mensagem de configuração de dados permanece após conclusão da tarefa de provisionamento
Corrigido comportamento após a conclusão de tarefas de provisionamento/reprovisionamento no qual mantinha uma mensagem de que uma tarefa de configuração de dados estava em execução. - Documentação Suplementar:

Data Processing
CAPL-1810 Dados excluídos do RT, mas ainda estão disponíveis no CDS
Corrigido comportamento que acarretava na ausência de dados durante a visualização da camada RT, sendo que os mesmos permaneciam disponíveis para visualização na camada CDS. - Documentação Suplementar:

Data Processing
CAPL-1791 Tarefa de processamento SQL concluídas com logs de aviso, mas não salvando registros no BigQuery
Corrigido comportamento no qual algumas tarefas concluídas com logs de aviso não estavam salvando os registros no Big Query, quando ocorriam falhas de operação de limpeza ou concorrência com outras tarefas. - Documentação Suplementar:

· 3 min read
TOTVS LABS

🚀 Melhorias

Carol Platform
CAPL-1959 Bloquear instalação de Carol App durante provisionamento de tenant
Adicionada característica que efetua o bloqueio da instalação de Carol Apps na ocorrência de um provisionamento de tenant em andamento. - Documentação suplementar:

SQL Processing
CAPL-1819 Limpar armazenamento BigQuery ao processar dados por pipelines SQL
Adicionada característica que efetua a limpeza prévia do armazenamento BigQuery ao processar dados usando pipelines SQL. - Documentação suplementar:

CAROL_ACTIVITY_MANAGEMENT
CAPL-1808 Armazenar o tamanho dos dados processados em bytes
Adicionada característica que permite ao administrador visualizar o volume de dados processados em bytes agregando tal informação em explorações analíticas. - Documentação suplementar:

Explore
CAPL-1806 Exibir campo mdmDeleted ao filtrar por registros rejeitados no Explore
Adicionada característica que permite a visualização do campo mdmDeleted ao aplicar o filtro de registros rejeitados no Explore. - Documentação suplementar:

CAROL_ENVIRONMENT, Connector, Data Model
CAPL-1802 Refatorar a gestão de consolidação no BigQuery no nível de tenant, staging e datamodel
Adicionada característica que permite ao administrador ativar ou desativar o processo de consolidação de dados no BigQuery nos níveis de tenant, staging e data model. - Documentação suplementar:

Data Journey
CAPL-1688 Expandir stagings dentro do Data Journey ao clicar no grupo
Adicionada característica ao Data Journey que consolida várias stagings em um único grupo para cada conector e que permite ao usuário expandir a visualização ao clicar sobre este grupo. - Documentação suplementar:

Explore
CAPL-1654 Remover a opção de reprocessamento de dados pelo Explore para tenants com SQL Processing Only ativado
Adicionada característica que remove a opção de reprocessar dados pelo Explore para tenants com a configuração SQL Processing Only habilitada. Esta opção se faz presente apenas no legado. Na nova arquitetura esta funcionalidade passa a ser responsabilidade da Pipeline. - Documentação suplementar:

Explore
CAPL-1642 Adicionar sinalização na descrição do campo no Explore quando houver erro
Adicionada característica que adiciona aos detalhes dos registros um sinalizador em campos que apresentaram erros, permitindo ao usuário visualizar o motivo do erro e tomar melhores decisões. - Documentação suplementar:

CAROL_ACTIVITY_MANAGEMENT
CAPL-1634 Adicionar filtro por datamodel na guia de tarefas agendadas
Adicionada característica que permite ao usuário filtrar agendamentos por datamodel na guia de tarefas agendadas. - Documentação suplementar:

Carol App
CAPL-1095 Definir estratégia de processamento por Pipelines SQL através do Carol App
Adicionada característica que permite ao desenvolvedor ou administrador de um Carol App selecionar a estratégia de processamento de um Carol App, sendo este híbrido ou somente SQL. Ao selecionar a estratégia SQL será realizada a cópia de dados de todos os clientes para a tenant unificada que terá o seu processamento administrado pelo orquestrador. No modo híbrido será possível designar quais tenants de clientes processarão dados por meio de pipelines SQL na tenant unificada. - Documentação suplementar:

🐛 Correções

Carol Platform
CAPL-1822 Processar dados através de Big Query não gera registros rejeitados para as camadas RT e BQ
Corrigido comportamento após exclusão de registros e posterior processamento Big Query que acarretava na não geração de registros rejeitados nas camadas RT e BQ. - Documentação Suplementar:

Data Platform
CAPL-1788 Provisionamento de tarefas BigQuery falhando (erro 400) após criação de tenant como Carol Admin
Corrigido comportamento que acarretava em falha no provisionamento de tarefas BigQuery com erro 400 quando uma tenant era criada como Carol Admin. - Documentação Suplementar:

Data Subscription
CAPL-1730 Detalhes de um evento selecionado de subscrição de dados não é carregado em tela
Corrigido comportamento na visualização de eventos de subscrição de dados, no qual, após usuário selecionar um evento específico em tabela, esta não carregava os detalhes do evento selecionado em tela. - Documentação Suplementar:

· 4 min read
TOTVS LABS

🚀 Melhorias

Data Processing
CAPL-1724 Evitar salvar a informação do crosswalk com o modelo da entidade
Adicionada característica que impede de salvar a informação do crosswalk em conjunto com o modelo da entidade evitando assim um aumento no armazenamento CDS, pois a geração de crosswalk já ocorre atualmente de forma dinâmica. - Documentação suplementar:

Data Journey
CAPL-1687 Adicionar o modo foco no Data Journey
Adicionada característica que permite o realce do fluxo da pipeline quando o usuário passar o mouse sobre uma instância ou quando este clicar no ícone que representa a ação "set focus". - Documentação suplementar:

Carol Platform
CAPL-1686 Redesenhar o leiaute do Carol Swagger conforme versões da Plataforma Carol
Adicionada característica que torna a experiência visual do Swagger mais fluída e simplificada ao usuário por meio da reorganização dos endpoints de acordo com a versão da plataforma Carol. - Documentação suplementar:

Carol Platform
CAPL-1669 Remover a escolha do papel App Admin para Business Users no meu de convites da plataforma Carol
Adicionada característica que elimina como opção o papel App Admin quando um Business User acessar a tela para convidar colegas para a plataforma Carol. - Documentação suplementar:

Carol Platform
CAPL-1636 Adicionar novas informações a tarefa de provisionamento
Adicionada característica que permite ao usuário saber se a tenant que está sendo provisionada possui o sinalizador de consolidação ativado, além do número total de stagings e modelos de dados. - Documentação suplementar:

Carol Platform
CAPL-1631 Melhorias no uso do armazenamento
Adicionada característica que melhora a eficiência de uso do armazenamento nas tenant de clientes. - Documentação suplementar:

Carol App
CAPL-1626 Tornar o campo Git Branch obrigatório na construção de Carol App por meio de arquivo Docker
Adicionada característica que torna obrigatório ao desenvolvedor informar qual a branch no repositório GIT que contém o arquivo de imagem docker que será utilizado na construção de um Carol App. - Documentação suplementar:

Data Journey
CAPL-1603 Criar estrutura base para o Data Journey
Adicionada característica que cria a estrutura base para o Data Journey incluindo a capacidade de visualização de instâncias conectadas, atualização de instâncias com novos dados, suporte a diferentes tipos de instâncias, a rolagem de tela, zoom e realce do fluxo. - Documentação suplementar:

SQL Processing
CAPL-911 Limpar armazenamento BigQuery ao processar dados usando pipelines SQL
Adicionada característica que permite a limpeza prévia do armazenamento BigQuery ao processar dados usando pipelines SQL. - Documentação suplementar:

Data Processing
CAPL-470 Mostrar o valor das variáveis usadas como formato de arquivo ao processar dados do CDS
Adicionada característica que permite ao usuário validar se a execução do processamento está ocorrendo da forma esperada ao visualizar dentro da tarefa, no campo formato do arquivo, os valores utilizados nas variáveis (today/yesterday/etc). - Documentação suplementar:

🐛 Correções

Data Model
CAPL-1874 O campo de metadados do tipo datetime não apresenta informação de data nas consultas pelo editor no explore
Corrigido comportamento no qual não era apresentada a informação de data nas consultas pelo editor no explore para campos de metadados do tipo datetime. - Documentação Suplementar:

SQL Processing
CAPL-1778 Exclusão de registro não propagando o mdmEntityType
Corrigido comportamento no qual a exclusão de um registro não estava propagando o mdmEntityType. - Documentação Suplementar:

CAROL_ENVIRONMENT
CAPL-1700 Restrição de domínio não permite atribuir tenant para um usuário dentro do domínio permitido
Corrigido comportamento no qual uma tenant com restrição de domínio aplicada com um caractere curinga ao final não estava permitindo sua atribuição a um usuário participante de domínio dentro desta faixa. - Documentação Suplementar:

SQL Processing
CAPL-1597 Golden records são exibidos como registros rejeitados na tabela e na visualização consolidada após reprovisionamento
Corrigido comportamento no qual ocasionava a exibição de golden records como registros rejeitados na tabela e na visualização consolidada após a execução de um reprovisionamento. - Documentação Suplementar: