🚀 Melhorias​

PYCAROL DASC-1142 Novos Filtros no BQStorage: Melhorias no PyCarol

Nesta versão, adicionamos filtros de linha em sessões de leitura do BQStorage.

PYCAROL DASC-1170 Novas Funcionalidades de Acesso à API de Leitura de Armazenamento do BigQuery no pyCarol

Nesta versão, foi implementada a capacidade de acesso à API de leitura de armazenamento do BigQuery no pyCarol. Esta funcionalidade permite que aplicativos na Carol possam fornecer o filtro a ser aplicado e ter acesso aos dados através da API de leitura de armazenamento do BigQuery.

PYCAROL DASC-1191 Corrigido bug na interface com BQ Storage

Na versão antiga, existia a possibilidade do retorno da query do BQ Storage não retornar todos os registros. A nova versão retorna todos os registros consultados.

PYCAROL DASC-1208 Adiciona rótulos (labels) para os BigQuery Jobs.

Neste lançamento, foi implementada a capacidade de enviar rótulos para o BigQuery em cada trabalho de consulta do pyCarol. Estes rótulos podem ser utilizados para agrupamentos do GoogleCloudPlatform.

PYCAROL DASC-1234 Exposição do job após consultas no BigQuery

Agora é possível verificar os logs de trabalho do Big Query, como ID do trabalho, hora de criação, hora de início, hora de término, tempo de slot consumido, resultados em cache e assim por diante, usando o módulo BQ do Pycarol.

🐛 Correções​

PYCAROL DASC-1162 Retrocompatibilidade com tipos depreciados em NumPy >= 1.20

Corrigido bug onde se usava tipos depreciados a partir da versão 1.20 do NumPy pelo PyCarol.

PYCAROL DASC-1196 Incompatibilidade entre dependências do PyCarol

Bibliotecas pandas e numpy foram ajustadas para compatibilidade mínima.

PYCAROL DASC-1272 Suporte a versões recentes da urllib3

A versão da biblioteca urllib3 não estava fixa o que podia resultar em incompatibilidades entre o PyCarol e essa biblioteca. Modificamos o código para aceitar assinaturas mais modernas da urllib3.

🚀 Melhorias​

CAROL_ASSISTANT CAAS-285 Correção do Problema com o Widget HTTPS

Foi corrigido um problema com o Widget HTTPS, onde conversas vazias eram exibidas. Foi verificado se as entradas vazias deveriam ter algum conteúdo visível ou se deveriam ser removidas.

🐛 Correções​

CAROL_ASSISTANT CAAS-287 Melhorias na Assistente: Resolução de Problemas no Treinamento de Intenções

Resolvemos um problema significativo que estávamos enfrentando durante o treinamento de intenções na Assistente. Agora, as alterações feitas no nó "Default Welcome" são refletidas na Assistente após o treinamento.

CAROL_ASSISTANT CAAS-293 Extração de Logs da Assistente de RH para Análise da Área de Recursos Humanos

Foi realizada a extração dos logs da Assistente de RH, visando a análise pela equipe da Área de Recursos Humanos. Os logs abrangem um período relevante para a análise (janeiro até julho).

🚀 Melhorias​

ALERTS_MANAGEMENT CAPL-4350 Melhorias na Interface do Alert Manager

Neste Jira, foram feitas pequenas mudanças para melhorar a interface do Alert Manager. As mudanças incluem a alteração da ordem das abas para Notificações/Eventos/Políticas de Alerta, acesso ao Alert Manager a partir da página inicial, alterações na tabela de notificações, detalhes da notificação, página vazia de notificações, tabela de eventos, detalhes do evento e políticas de alerta. Além disso, foram adicionadas informações sobre o tipo, data/hora, fonte e gravidade, e foi indicado o canal inativo.

BIG_QUERY CAPL-4427 Melhorando a compreensão de incidentes: Atualização para tarefas de dados (bq)

Atualização para tarefas de dados (bq) para serem mais verbosas. Agora, quando ocorrem incidentes, será possível ter uma melhor compreensão do que está acontecendo, pois serão adicionadas informações detalhadas às tarefas. Além disso, foram adicionadas informações detalhadas às tarefas de cópia de dados, notificação de alterações de esquema e provisionamento de Tenant com manutenção de dados.

BILLING CAPL-4371 Novo Recurso: Processamento de Cobrança por Batch_ID

Agora é possível processar a cobrança, pipelines, usando um batch_id existente. Esta capacidade substituirá qualquer cobrança existente para o batch_id especificado.

BILLING CAPL-4502 Novas Visualizações de Dados para Billing Admin com Botão "Comparar Batches"

Agora é possível para o Billing Admin visualizar os dados de forma tabular. Foi adicionado um botão "Comparar batches" na aba Batch Process. Ao navegar para a tabela de Comparar batches, é possível filtrar por recurso, tenant, período e batch.

CAROL_APP CAPL-4508 Atualização do App Carol: Evitando Incidentes Relacionados

Agora, as alterações realizadas na Jira permitem que a instalação de um App Carol não materialize as tabelas de staging para o conector protheus_carol. Apenas cria o conector, caso ele não exista. Além disso, foi adicionado um parâmetro para forçar a materialização das tabelas de staging para essa tarefa de instalação do App Carol. Estas alterações permitem que sejam evitados novos incidentes relacionados ao App Carol.

CONNECTOR CAPL-4425 Notificação de Descontinuação do Mapping and Cleansing Rule

Agora, os usuários do tenant receberão uma notificação de que o Mapping and Cleansing Rule está prestes a ser descontinuado no final deste ano. Esta notificação informará aos usuários que eles devem migrar para o SQL Processing. A documentação sobre como migrar e remover o Mapping and Cleansing Rule estará disponível. Uma regra será definida para mostrar a mensagem, excluindo os tenants de clientes (por exemplo, o cliente do Clockin). Esta notificação será exibida para todos os usuários do tenant que ainda estão usando o Mapping and Cleansing Rule e que não estão marcados como SQL Only.

ORGANIZATION_ADMIN CAPL-2909 Atualização de Status Online para Usuários

Foi adicionado um listener para saber quando o usuário está de volta online e alterar o alerta de status offline. Quando o usuário estiver de volta online, será exibida uma notificação de conexão restaurada e o tempo da última atualização.

PLATFORM CAPL-4153 Novo Endpoint para Acionar Coletor de Estatísticas para Tenants

Foi desenvolvido um endpoint para acionar o coletor de estatísticas para um Tenant. O coletor de estatísticas será executado duas vezes por dia para cada Tenant provisionado, mas um usuário Tenant também poderá acionar o coletor de estatísticas para seu Tenant. Cada Tenant pode acionar este endpoint a cada 15 minutos. Se algum Tenant acionar mais rápido que isso, podemos retornar 429. Se já houver um coletor em execução para este Tenant ou para todos os Tenants, retornar 409 e a mensagem explicando. No endpoint GET estatísticas desenvolvido na cartão acima, também devemos retornar o status do coletor para este Tenant. Se houver um coletor em execução neste momento, podemos retornar: "RUNNING", se não houver coletor em execução, podemos retornar “DONE" e, se houve um erro na última coleta, podemos ignorar e retornar o status “DONE" também, já que as estatísticas que o usuário verá estão relacionadas ao sucesso. Em outras palavras, devemos trazer as últimas estatísticas DONE e também trazer o último status de estatísticas para este Tenant. Não retorne outros status como "PUBLISHED", por exemplo, pois é um controle interno. Os consumidores só querem saber RUNNING ou DONE. Se for “PUBLISHED", "RUNNING" retornar "RUNNING”. Se for “ERROR", “CANCELED", “DONE", retornar “DONE". Mas lembre-se, as estatísticas devem sempre ser do último processo

SQL_PIPELINES CAPL-4329 Atualização Otimizada para Execução de Notificações de Aplicativos Externos

Agora foi lançada uma atualização para otimizar a execução baseada em notificações de aplicativos externos. O tempo limite para summaries abertos automaticamente foi alterado para 30 minutos, enquanto que para os summaries recebidos via API pelo Smart Link, o tempo limite é de 30 minutos. Quando o summary não tiver dados enviados, terá o status de NO_PIPELINE_EXECUTE. Esta atualização deve reduzir o número de tarefas de processamento SQL a serem executadas e cobrir tarefas agendadas e Orchestrator.

SQL_PIPELINES CAPL-4346 Adicionando Parâmetro Opcional ao Endpoint "processQuery" para Identificar de onde veio a Pipeline

Foi adicionado um parâmetro opcional ao endpoint "processQuery" para que seja possível enviar o nome da aplicação Carol. O parâmetro é opcional, mas se for enviado, a informação estará disponível na tarefa criada. Esta alteração permite que seja possível identificar de onde veio a pipeline, considerando que o nome da pipeline é único por nome da aplicação Carol. A alteração também não afeta a eficiência do SQL Processing (OKR-01). Esta funcionalidade está disponível para Tenant Admin e Carol Admin.

SQL_PIPELINES CAPL-4458 Novo Recurso: Notificação de BatchId Pronto para Processamento

Resumo: Foi implementada uma funcionalidade para notificar o time Smartlink que um batchId específico está pronto para ser processado. Para isso, foi necessário armazenar informações na nível da Organização, como URL Rack, Client Id & Secret e URL Observabilidade. Além disso, foi necessário gerar um token de acesso a partir do RAC, que tem validade de 20 minutos. Para otimizar o processo, o token deve ser armazenado/cacheado para futuras requisições.

SQL_PIPELINES CAPL-4561 Novos Parâmetros de Fanout para Processamento de Dados em Tenants Unificados

Nesta atualização, foi adicionado um parâmetro ao endpoint processQuery que permite especificar se deve ou não haver fanout dos dados para os tenants dos clientes quando processando dados em um tenant unificado. Este parâmetro ajudará a processar dados em tenants unificados sem erros de OOM. O valor padrão é que o fanout seja realizado (comportamento atual).

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-4285 Correção de problema de tarefas executadas após exclusão de Tenant

Foi corrigido um problema onde tarefas criadas após a exclusão de um Tenant eram executadas mesmo após a exclusão. O StaleTaskCheckJob deixou de tentar reagendar essas tarefas. Os logs podem ser encontrados no link. Espera-se que as tarefas não sejam mais executadas após a exclusão de um Tenant.

BIG_QUERY CAPL-4437 Correção de Erro de Esquema na Instalação da Aplicação Carol

Atualização de Release: Houve um erro de esquema ao instalar uma aplicação em alguns Tenants, o que moveu as tabelas de staging existentes para o status INATIVO. O contato para questões sobre o problema é Breno Zipoli Monteiro Papa e Robson Thanael Poffo. A maioria das tabelas com status INATIVO são app_setting e currency. Uma tarefa que instalou a aplicação e o problema DE que está trabalhando estão listados. O comportamento esperado é que a instalação da aplicação Carol mantenha o status correto.

CAROL_APP CAPL-4334 Resolução de Erro Após Exclusão de Branch no GitHub

Após a exclusão de uma branch no GitHub, a aplicação não está mais no modo de desenvolvimento. O erro parece ter relação com a integração com o GitHub, pois a chamada de post em /clone/ retorna erro. O comportamento esperado é que a aplicação mantenha o status correto, "dev", permitindo que o usuário altere a configuração do GitHub e corrija o problema.

CAROL_APP CAPL-4540 Correção de Erro na Configuração do Repositório Azure na Plataforma Carol

Nesta versão, corrigimos um erro que ocorria ao tentar configurar o repositório Azure na Plataforma Carol. O cliente precisava alterar o token atual para o novo, mas não conseguia realizar essa configuração. O erro também ocorria ao tentar criar uma nova versão da aplicação. O Tenant foi alterado e o erro era que havia problemas com as definições de conexão da aplicação meupostobycarol, o que impedia que os dados fossem visíveis até que os problemas fossem corrigidos. Agora, esses problemas foram corrigidos e a configuração do repositório Azure na Plataforma Carol está funcionando corretamente.

CONNECTOR CAPL-4447 Resolução de Divergências entre Tabelas Records_Landing e Intake

Corrigimos um erro que ocasionava divergência na chegada dos dados na Carol, devido a atualização de schema não ter ocorrido a tempo dos dados serem gravados na staging area. Como ação, a Carol vai retornar um erro 4xx informando que o schema vai ser alterado. O erro 4xx é para que o aplicativo reenvie os dados novamente depois (quando o schema estiver atualizado).

ORGANIZATION/TENANT CAPL-4151 Correção de Problema de Sobreposição de TenantId no Swagger para Usuário Carol Admin

A correção para o problema de sobreposição de tenantId no Swagger para o usuário Carol Admin foi implementada. Agora, ao usar qualquer endpoint no Swagger usando o campo de sobreposição de tenantId, o Swagger passa corretamente o parâmetro overriddentenantid. Além disso, foi adicionada uma informação visual para alertar o usuário de que existe uma sobreposição de tenant definida.

PLATFORM CAPL-4483 Resolução do Erro de Autorização na Cópia de Dados para o Tenant Unificado

Corrigimos um erro de autorização na tarefa de cópia de dados do ambiente de staging para o tenant unificado. O erro ocorria quando a instalação do App Carol era feita em uma organização diferente da organização do tenant unificado. Agora, o usuário precisa estar presente na organização do tenant unificado para que a tarefa de cópia de dados seja executada com sucesso.

SHARED_DATA CAPL-4446 Correção de Erro na Criação de Sharing Group With View

Foi desenvolvida uma solução para o problema reportado, onde a query não estava sendo aceita como uma query válida para uma Shared View. A partir de agora, queries como essa devem funcionar normalmente.

SQL_PIPELINES CAPL-4211 Correção do Campo Last Run para Exibir Última Execução de Tarefas

O campo Last Run deve exibir a última execução de tarefas.Nós corrigimos um problema que impedia que o campo Last Run exibisse a última execução de tarefas. Agora, o campo Last Run exibe corretamente a última execução de tarefas.

SQL_PIPELINES CAPL-4328 Melhorando a Execução de Tarefas SQL com Notificação de Aplicativo Externo

Otimizar a execução com base na notificação de aplicativo externo - Arquitetura. Esta issue trata da otimização do processamento de tarefas SQL, que atualmente estão sendo executadas sem processar dados em 70% dos casos. A solução proposta é permitir que os remetentes (como o Smart Link) notifiquem a Carol que um lote de dados foi completamente enviado para que ela possa iniciar o processamento dos dados. Para isso, será criado um diagrama com a solução a ser implementada para resolver o problema de execução de pipelines SQL somente quando o aplicativo externo enviar a notificação de que todas as mensagens foram enviadas.

SQL_PIPELINES CAPL-4333 Correção de Bug no Endpoint "/api/v2/bigQuery/processQuery"

Foi corrigido um bug no endpoint "/api/v2/bigQuery/processQuery" que estava criando tarefas para Tenants deletados. Agora, a Carol valida se o Tenant existe quando chamado o endpoint. Se o Tenant não existir, é retornado um erro (412 - Pre conditions FAILED).

SQL_PIPELINES CAPL-4525 Correção de Erro na Execução de Pipelines na Organização TOTVSTECHFINDEV

Foi corrigido um erro na execução de pipelines que causava uma OutOfMemoryException. O erro ocorria na organização totvstechfindev, no produto insightsbackoffice, no ambiente de produção. A prioridade desta issue era alta, pois gerava interrupção no funcionamento da aplicação. Foi realizada uma atualização na Carol APP, na versão 0a1f13abb6f34c5a9bdf2085f5d49e69. Além disso, foi corrigida uma falha de task, com o link da tenant da task em questão. Não foi necessário realizar nenhuma alteração no banco de dados 2C. Esta correção foi realizada para melhorar a performance da plataforma.

SQL_PIPELINES CAPL-4528 Melhoria de Velocidade de Processamento de Dados do SQL e Adição de Funcionalidade de Cancelamento de Tarefas

Esta atualização melhora a velocidade de processamento de dados do SQL. O tempo de execução da query foi reduzido para menos de 1 minuto, enquanto o tempo de envio de dados para o BQ e RT layers foi reduzido para menos de 10 minutos. Além disso, foi adicionada uma funcionalidade que cancela a tarefa após 30 minutos de espera para o Dataflow iniciar. Esta funcionalidade está disponível para o Tenant Admin.

TENANT_ADMIN CAPL-4426 Remoção do Rodapé dos Emails do Carol Notification

Nesta atualização, foi removido o rodapé dos emails enviados pelo Carol Notification. O rodapé continha o link para o contato conosco, o que estava gerando emails indevidos para o nosso time de suporte. Com esta mudança, esperamos reduzir o número de emails indesejados.

🚀 Melhorias​

2C-CAROL_CONNECT CAPL-4433 Correção para o tipo de dados inteiro quando a precisão no tipo number no Oracle for negativa

Se a conexão for com o Oracle, qualquer tipo de dado NUMBER (sem especificar a precisão) será considerado como INTEGER na Plataforma Carol (atualmente é considerado como double). Se o Oracle tiver um campo definido como NUMBER com precisão (NUMBER(3,2)), será criado como double na Carol.

ALERTS_MANAGEMENT CAPL-4347 Integração de novas tenants com Alert Manager

Nesta versão, foi implementada a integração do Alert Manager através de serviços habilitados na criação de novas tenants.

BIG_QUERY CAPL-4449 Considerar o status READY_WITH_LOAD_ERROR como PROVISIONED

Alterada a configuração das Tenants com o item mdmBigQueryStatusType = READY_WITH_LOAD_ERROR com o mesmo comportamento do mdmBigQueryStatusType = READY

BILLING CAPL-4147 Novas Funcionalidades para Compartilhamento de Filtros nas consultas do Billing

Nesta versão, foi implementada a capacidade de expressar os filtros ativos na URL como queryParams. Esta funcionalidade permite que os filtros sejam compartilhados entre usuários e aplicações. Além disso, a URL pode ser salva para acesso posterior.

BILLING CAPL-4351 Melhorias no gráfico de colunas e nas legendas

Foram realizadas melhorias na visualização das colunas estabelecendo um tamanho mínimo no espaçamento entre elas, além de um largura máxima da coluna, e a aplicação de um efeito de fundo na legenda ao passar o mouse sobre um determinado segmento da coluna.

BILLING CAPL-4352 Nova Funcionalidade de Orçamento na Fatura

Agora é possível adicionar e editar o valor do orçamento na primeira tela da fatura. Se o orçamento estiver vazio, será exibido um rodapé com um link para o painel lateral. Se o orçamento estiver preenchido, será exibido um ícone para editar e abrir o painel lateral. O painel lateral permite que o usuário adicione ou edite o valor do orçamento.

BILLING CAPL-4370 Melhorias nos Gráficos

O módulo Billing recebeu melhorias nos gráficos que mostram os custos por serviço, colocando serviços maiores no topo da barra, permitido interagir com a legenda desmarcando opções com clique (facilitando a operação para remover serviços maiores para focar em custos menores). Também adotamos um padrão de cores para manter coerência quando navegando entre os meses (serviços possuem cores padrões).

BILLING CAPL-4459 Novo serviço para o Billing: Dataflow Streaming

Adicionamos como novo recurso o serviço de Dataflow Streaming permitindo sua cobrança nas faturas de clientes que o utilizam.

CONNECTOR CAPL-4148 Bloqueio de Exclusão de Dados no Tenant Unificado

Com esta atualização, não é mais possível excluir uma tabela de staging ou dados de staging do Tenant Unificado. Foi criado um bloqueio para impedir que o Tenant Unificado exclua qualquer staging ou conector que seja referenciado no arquivo SQL Manifest. Além disso, o Flow “Delete Staging Table Records” e os Flows de entrada para excluir dados (usando crosswalk) também estão bloqueados. O Explorer também não permite a exclusão de dados. Apenas os CAROL ADMIN podem excluir um staging ou conector, mas a exclusão de dados está bloqueada para todos, incluindo o CAROL_ADMIN.

CONNECTOR CAPL-4201 Nova Funcionalidade para Atualização do Conector

Adicionamos um ícone de atualização de conector na lista de etapas do conector para melhorar a experiência do usuário. Esta funcionalidade está disponível para todos os usuários. O ícone de atualização de conector permitirá que os usuários atualizem os dados do conector com facilidade.

SQL_PIPELINES CAPL-4162 Adição de Label para Jobs do BigQuery

Foi adicionado um label para os jobs do BigQuery, tendo como intuito a melhoraria da rastreabilidade e visualização das tarefas durante os processos de análise e realização de tarefas em geral na plataforma relacionadas ao BigQuery.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-4489 Correção de Erros no APP Clock In Backoffice

Foi corrigido um problema que causava falhas na atualização do APP Clock In Backoffice devido as falhas e travamentos em tasks de Notify Schemas Changes. O problema ocorria em diversos ambientes e a mensagem de erro era "message": "Unable to provision. There is a schema change task running." Agora, as tasks de Notify Schema Changes, Install e Provision BigQuery Update Data Model and Staging estão funcionando corretamente.

APP, DATA_PROCESSING CAPL-4080 Solução de Problemas no Segmento CLOCK IN

Correção realizada na propagação e processamento de novos usuários para o Clock in.

BIG_QUERY CAPL-4384 Correção do Erro de Autorização na Tarefa de Copiar Dados da Aplicação

Corrigimos o erro de autorização na tarefa de Copiar Dados da Aplicação para o Tenant Unificado. Agora, a tarefa é capaz de iniciar mesmo em organizações diferentes.

BIG_QUERY CAPL-4423 Correção do Problema de Status de Big Query

Corrigimos o problema de status de Big Query que estava preso em LOADING_DATA.

CAROL_APP CAPL-4307 Correção de Erro na Configuração de Repositório Privado/Público

Neste lançamento, corrigimos um erro que ocorria ao tentar salvar uma configuração incorreta para um repositório privado/público. Ao fechar e retornar à tela de configuração, o resumo mostrava a configuração salva, quando deveria ser exibido sem nenhuma configuração. Agora, ao salvar uma configuração incorreta, o repositório será aberto novamente para seleção em uma configuração limpa.

CONNECTOR CAPL-4296 Correção de problema no upload de snapshot de staging com Lookup habilitado

Foi corrigido um problema no qual o parâmetro "mdmLookupTable" não era passado no payload quando o usuário fazia o upload de um snapshot de staging com Lookup habilitado. Agora, o parâmetro é passado corretamente.

DATA_PROCESSING CAPL-3891 Atualização de Documentação do BigQuery para Fluxo de Dados

Nesta atualização, foi implementada a documentação para salvar todos os passos de fluxo de dados dentro do BigQuery. Foi criada uma documentação explicando os passos no Notion. Além disso, foi notificado o time de Produto após a conclusão da documentação. Esta atualização é destinada a todos os usuários.

ORGANIZATION_ADMIN CAPL-4177 Correção de erro no painel de usuário da organização referente ao TenantUsers

Nesta atualização, corrigimos um problema que fazia com que a quantidade de TenantUsers fosse sempre zero no painel de usuário da organização, mesmo quando os usuários da Tenant estavam no Postgres. Agora, a quantidade de TenantUsers é exibida corretamente no painel de usuário da organização.

ORGANIZATION/TENANT CAPL-4422 Melhorias na Plataforma: Correção de Status, Data Model e Fullfilment

Nesta versão, corrigimos um problema que estava enviando o status errado para o Tenant. O status esperado era READY_WITH_LOAD_ERROR, mas a Platforma estava enviando READY_LOAD_FAILED.

ORGANIZATION/TENANT, TENANT_ADMIN CAPL-4505 Correção de Problema de Atualização de TenantType Development

Foi corrigido o problema que impedia a criação/atualização de um tenant como TenantType Development. Agora é possível criar/atualizar um tenant como TenantType Development. No entanto, em algumas situações, se tentarmos atualizar o tenant para ser um TenantType Development, o tenant ainda será um CUSTOMER. Para aplicar a atualização do TenantType, é necessário executar o endpoint duas vezes.

SQL_PIPELINES CAPL-4435 Correção de Bug no Processo de Pipeline de Tenants

Correção do bug que impedia que os Tenants fossem exibidos e selecionados corretamente no processo de Pipeline.

TENANT_ADMIN CAPL-4450 Correção de problema no BackOffice da Icomon ClockIn

Foi corrigido um problema no BackOffice da Icomon ClockIn, onde o Data Access Level não estava respeitando as regras de acesso, tratando o operador AND como se fosse OR. O impacto foi médio, pois o número de funcionários sincronizados era maior que o esperado. O comportamento esperado é que a configuração de DAL funcione corretamente para que o número de funcionários seja o real.

🚀 Melhorias​

ALERTS_MANAGEMENT CAPL-3844 Novas Funcionalidades do Alerts Management

lerts Management: Events Listing, Filters & Sorting. Esta issue trata da criação de uma lista de eventos em uma nova aba "Eventos" contendo: data/hora de envio, severidade, ação e fonte, tipo de ação, organização, Tenant e tipo de Tenant. Ao clicar em um evento, abrirá um painel lateral com: tipo de ação, evento enviado, URL de origem, usuário proprietário do evento/tarefa, severidade, fonte, ação, nome da política (link para política), data e canal se foi notificado.

BIG_QUERY CAPL-4038 Nova Funcionalidade: Migração de Tenants para a Versão Mais Recente do BigQuery

Como administrador de organização, eu deveria ser capaz de migrar uma tennant para a nova versão do BigQuery. Foi adicionada ação abaixo do status do Big Query no painel da Tennant. Estas ações são apenas para administradores de organização. A ação de provisionamento apaga o Big Query da Tennant e o recria, sempre exigindo uma confirmação dupla. A ação de migração para a versão mais recente atualiza para a versão mais recente, mas só está disponível quando a versão não está atualizada. Os dados existentes compartilhados devem funcionar após a migração, assim como os pipelines SQL. Os dados ainda são acessíveis através da tabela de staging e do explore.

BILLING CAPL-4061 Melhorando o Acesso ao Carol Billing na Org Admin

Nesta atualização, foi realizada uma revisão na página inicial da Org Admin para promover um acesso mais fácil ao Billing. Existem duas páginas iniciais: uma para usuários que possuem tenants e outra para usuários que não possuem tenants. O objetivo é tornar o link para o Carol Billing mais visível para usuários que seguem essa regra: usuários da Org que selecionam o tenant para acessar e usuários da Org que não têm acesso ao Billing. O ícone deve sempre estar visível e informar ao usuário que não tem acesso ao Billing, caso o usuário atual não tenha acesso a ele. O link só será visível se o usuário tiver acesso ao aplicativo Billing.

BILLING CAPL-4232 Nova Funcionalidade: Filtrar Gráfico por Legenda

Agora, foi lançada uma nova funcionalidade que permite aos usuários filtrar o gráfico clicando na legenda do gráfico. Esta funcionalidade está disponível para todos os usuários. Esta funcionalidade permitirá que os usuários obtenham uma melhor compreensão dos dados ao filtrar o gráfico através da legenda do gráfico.

CAROL_APP CAPL-3749 Atualização do Git Connection com Azure para Segurança

Esta atualização permite que o Git Connection com Azure seja mantido com segurança, pois o refresh token é armazenado e usado para obter um novo token de acesso sempre que necessário. Isso evita que as credenciais sejam perdidas de forma periódica.

CONNECTOR CAPL-4220 Notificação de Descontinuação do Mapping and Cleansing Rule

Agora, os usuários do tenant receberão uma notificação de que o Mapping and Cleansing Rule está prestes a ser descontinuado no final deste ano. Esta notificação informará aos usuários que eles devem migrar para o SQL Processing. A documentação sobre como migrar e remover o Mapping and Cleansing Rule estará disponível. Uma regra será definida para mostrar a mensagem, excluindo os tenants de clientes (por exemplo, o cliente do Clockin). Esta notificação será exibida para todos os usuários do tenant que ainda estão usando o Mapping and Cleansing Rule e que não estão marcados como SQL Only.

DATA_MODEL CAPL-4217 Novos Valores Padrão, Mínimo e Máximo para Parâmetro Max In Flight

Foi estabelecido um valor padrão, mínimo e máximo para o parâmetro Max In Flight. O valor padrão é 15, com um mínimo de 5 e máximo de 100. O valor inserido no campo será persistido antes da regra estabelecida. Esta funcionalidade está disponível para o usuário Tenant Admin. O valor padrão, mínimo e máximo será exibido na tela ao lado da label Max In Flight.

DATA_SUBSCRIPTION CAPL-4309 Remoção do Botão de Reenvio de Registros de Logs de DataSubscription

Foi removido o botão para reenviar registros dos logs de DataSubscription, pois o endpoint foi removido pela BE, causando erro para quem tenta usá-lo. Esta atualização remove o botão para "reenviar registros novamente", uma vez que o endpoint foi removido.

EXPLORE CAPL-4040 Novas Funcionalidades para BigQuery

BigQuery: informar se o resultado é de cache ou execução. Adicionamos uma propriedade ao endpoint queryResults (query_sync e query_polling) para informar se os resultados vieram de cache ou de uma nova execução. Isso permitirá que o usuário oculte ou desative o botão "plano de execução" ou até mesmo adicione uma mensagem informando que os resultados vieram do cache do BigQuery. Esta funcionalidade está disponível para todos os usuários.

EXPLORE CAPL-4198 Nova Funcionalidade: Cancelamento de Consultas em BigQuery por JobId

Foi implementada uma funcionalidade que permite cancelar consultas em BigQuery por jobId. Apenas jobIDs sem tarefas associadas serão permitidas. Isso significa que jobIDs relacionados ao VSCode e ao Explore serão permitidos. O nome sugerido para a funcionalidade é cancelQueryByJobId. Tarefas de processamento SQL devem ser canceladas por tarefa.

ORGANIZATION/TENANT CAPL-4064 Atualização da Carol: Aplicar Tema do Sistema Operacional

Com esta atualização, o usuário pode aplicar o tema do sistema operacional ao Carol. O seletor de tema escuro/claro foi removido do menu e um botão de grupo rotulado com as opções AUTO, Escuro e Claro foi adicionado para alternar entre o tema do sistema operacional ou selecionar manualmente temas escuros ou claros.

ORGANIZATION/TENANT CAPL-4079 Melhorias na Verificação de Integridade do Usuário

Nesta atualização, foi feita uma alteração para que o usuário da Tenant e o usuário da Organização não sejam considerados no campo de último login na verificação de integridade. Além disso, o campo de última atualização também será ignorado, pois ele muda quando o usuário faz o login.

SQL_PIPELINES CAPL-3381 Novas Funcionalidades de Pipeline para Processamento de Dados

Esta atualização inclui a capacidade de pausar, retomar e reprocessar pipelines com maior flexibilidade, a partir da última tarefa bem-sucedida ou reprocessar todos os dados. Também foi adicionada a capacidade de selecionar múltiplos pipelines para processamento e visualizar os pipelines mais recentes instalados no tenant dev/unificado através do aplicativo Carol. Além disso, o botão de status de agendamento será desabilitado se apenas um pipeline estiver selecionado.

SQL_PIPELINES CAPL-3752 Novas Funcionalidades para Pausar, Reproduzir, Reprocessar e Limpar Dados de Pipelines Selecionados

Esta atualização permite que os usuários pausam, reproduzam, reprocessem e limpem dados de pipelines selecionados. O usuário pode selecionar um ou mais pipelines e executar um fluxo de processamento para todos os pipelines selecionados. O serviço que processa os dados deve validar se o nome do pipeline existe, retornando um erro caso tenha sido solicitado o processamento de um pipeline que não existe. Além disso, o usuário pode definir um período de tempo para reprocessar o pipeline.

SQL_PIPELINES CAPL-3791 Adição de Label para Jobs do BigQuery

Foi adicionado um label para os jobs do BigQuery. O label deve conter os seguintes dados: orgId, orgName, tenantId, tenantName, taskID (SQL Processing), source: explore, task, internal, etc, appName: quando é chamado pela Carol App, carolAppProcessName: quando é chamado pela Carol App. Os jobs que devem ser considerados são: SQL Processing tasks, Explore, VSCode, Jobs from Date team (source: internal) e User Rejected Golden Records. Carol App: queries gerados através do pyCarol SA não estão cobertos.

SQL_PIPELINES CAPL-4162 Adição de Label para Jobs do BigQuery

Foi adicionado um label para os jobs do BigQuery. O label inclui orgId, orgName, tenantId, tenantName, taskID (SQL Processing), source: explore, task, internal, etc, appName: quando é chamado pela Carol App e carolAppProcessName: quando é chamado pela Carol App. Os jobs considerados são Carol App: queries geradas através do pyCarol SA, SQL Processing tasks, Explore, VSCode e Jobs da equipe Date (source: internal).

SQL_PIPELINES CAPL-4191 Novo Parâmetro Opcional para Endpoint "processQuery"

Foi criado um novo parâmetro opcional para o endpoint “processQuery” (/api/v2/bigQuery/processQuery) chamado dontCreateIfRunningOrQueuedTasks, com valor padrão false. Tarefas criadas para processar dados (tarefas de processamento SQL) devem armazenar o nome da pipeline, da mesma forma que o Unified faz hoje. Se o parâmetro for definido como true, o endpoint validará se há outra tarefa para o mesmo nome de pipeline em execução ou na fila. Se houver outra tarefa em execução ou na fila, será retornada uma resposta HTTP específica e o documento da tarefa existente. Se o parâmetro for definido como false, serão criadas as tarefas de processamento SQL como hoje, ou seja, não haverá validação de tarefas existentes. O endpoint ignorará o parâmetro dontCreateIfRunningOrQueuedTasks se o nome da pipeline for nulo ou vazio.

SQL_PIPELINES CAPL-4197 Novo Recurso: Cancelamento de Consultas do BigQuery

Agora é possível cancelar consultas do BigQuery (job). Esta funcionalidade está disponível no VSCode e Explore e para todos os usuários.

SQL_PIPELINES CAPL-4215 Novas Funcionalidades de Agendamento para Processar Múltiplos Pipelines

Nesta atualização, foi adicionado o filtro pipelineName/carolAppName na aba de agendamento. Isso será útil para processar múltiplos pipelines. Além disso, a BE já fornece essa informação. Esta atualização também inclui um diagrama de atividades, ações a serem realizadas, passos alternativos, ativos e critérios de aceitação.

VSCODE CAPL-4269 Remoção da Funcionalidade de Feedback do VSCode e Melhorias na Plataforma

Nesta versão, foi removida a funcionalidade de feedback do VSCode. Esta funcionalidade demandava um banco de dados Postgres, gerando custos mensais não associados a benefícios para a plataforma ou para os clientes.

🐛 Correções​

BIG_QUERY CAPL-4032 Correção de Problemas de Permissões ao Reprovisionar Tenant

Neste release, corrigimos um problema que não era resolvido automaticamente quando reprovisionamos uma Tenant. Agora, aplicamos as permissões novamente em cada reprovisionamento para garantir que os problemas sejam resolvidos.

BIG_QUERY CAPL-4287 Correção do Botão de Provisionamento para Notificar o Status da Tenant

Foi corrigido um problema onde o botão de provisionamento não notificava que a Tenant estava sendo provisionada. O botão deverá notificar quando a tenant estiver sendo provisionada, exibindo um spinner enquanto o processo estiver em execução, baseado na verificação do status da Tenant.

BILLING CAPL-4084 Correção de Problema de Billing - Preview do Ciclo Anterior Agora Disponível

Nesta versão, foi corrigido um problema relacionado ao Billing. O problema era que, quando um novo ciclo começava e era calculado o preview do ciclo anterior, este era deletado. Agora, o preview do ciclo anterior permanecerá disponível até que o consolidado seja publicado.

CAROL_APP CAPL-2868 Correção de Erro na Configuração da Carol App

Resolvemos um problema onde ao criar/atualizar valores de uma Carol App setting, um novo registro é enviado para o BigQuery. Ao deletar/atualizar o nome/variável da app setting (lado do desenvolvedor), também devemos enviar mdmDeleted = true para essa configuração (ingestion_stg_internal_app_setting). O problema estava acontecendo dentro do documento da Carol App (visualizando como Desenvolvedor na UI). A app deve estar em um Tenant de Desenvolvedor antes de ser submetida.

CAROL_APP CAPL-4246 Erro no Build do Carol App Impactando Ambiente de Desenvolvimento

Foi identificado um erro ao realizar o build no Carol App. Complementando o CAPL-4273.

CAROL_APP CAPL-4273 Identificado um erro no Build do Carol App

Foram detectados erros ao realizar o build no Carol App. Realizamos melhorias no registro de erros relacionados à compilação do Docker, bem como na validação da existência do Dockerfile em subpastas ou na pasta raiz do repositório.

DATA_MODEL CAPL-4195 Melhoria na Interação entre DataModels

Foi corrigido um problema relacionado à interação entre os DataModels. Agora, ao passar o mouse sobre um DataModel, todos os DataModels relacionados serão destacados e, ao clicar, informações sobre o DataModel serão exibidas no painel lateral. Esta correção foi realizada para melhorar a experiência do usuário.

DATA_MODEL CAPL-4206 Melhoria na Adição de Valores ao Cache do Redis

Corrigimos o erro ao adicionar valores ao cache do Redis. Agora, os valores são adicionados corretamente ao cache.

DATA_SUBSCRIPTION CAPL-3769 Remoção da Tarefa de Alimentação do Data Subscription

Foi corrigido um problema onde, ao adicionar ou editar um Data Subscription, a Carol criava a tarefa de alimentação da subscription. Esta tarefa parece não ser mais necessária. A alternativa para este fluxo é processar uma pipeline SQL. Esta tarefa aumenta os custos e pode ser mais eficaz em termos de desempenho usando pipelines SQL. Foram removidos os endpoints que obtêm dados do CDS e outros obtendo dados do RT (/api/v1/subscription/${dataSubscriptionId}/feedQuery e /api/v1/subscription/${dataSubscriptionId}/feed?startCounter=${counter}).

DATA_SUBSCRIPTION CAPL-4059 Melhoria no Data Subscription

Resolução: Corrigimos um problema no qual o Data Subscription estava preso devido a dados inválidos no Redis. Agora, os Data Subscription estão funcionando como esperado.

DATA_SUBSCRIPTION CAPL-4325 Atualização da UI para exibição de Data Subscription

Neste lançamento, corrigimos um problema no qual a UI não estava atualizando a visão relacionada a Data Subscription. O problema era que a área da visão estava vazia, mesmo após o carregamento rápido dos dados. Ao redimensionar a janela do navegador, a área da visão era atualizada e os dados eram exibidos. Agora, a visão é atualizada automaticamente após o carregamento dos dados do endpoint.

DATA_SUBSCRIPTION CAPL-4326 Correção de bug que impedia visualização de detalhes de assinatura de dados

Correção de um bug que impedia que o administrador da organização visualizasse detalhes relacionados à assinatura de dados para toda a organização. Foi verificado que as requisições estavam OK, mas o usuário não conseguia visualizar os resultados de outro usuário. Foi necessário ajustar o pooling da query para que os resultados fossem exibidos na página inicial.

EXPLORE CAPL-4208 Correção da Ordem de Exibição dos Dados da Linha de Dados

Foi detectado um problema na ordem de exibição dos dados da linha de dados. O mais antigo é o v1, quando deveria ser o vX. O problema foi corrigido para garantir que a ordem seja exibida corretamente.

ORGANIZATION_ADMIN CAPL-4054 Atualização do StagingEntityProxy para uso do ConfigMigrationService

Nesta atualização, o StagingEntityProxy foi alterado para usar o ConfigMigrationService em vez de usar diretamente o StrategyFactory. Esta alteração permitirá que as Tenants sejam configuradas de forma mais eficiente e que os dados sejam migrados de forma mais rápida.

ORGANIZATION_ADMIN CAPL-4159 Melhorias no Método getOrgUserNotInTenant para Migração Parcial

Neste release, foi refatorado o método getOrgUserNotInTenant para trabalhar com migração parcial para TenantUser. O método agora suporta todas as variações possíveis de migrações, incluindo migração parcial.

ORGANIZATION/TENANT CAPL-3916 Melhorias na Autenticação de landing pages

Foi realizada uma refatoração da autenticação das landing pages para ter uma abordagem genérica para redirecionamentos, recebendo a URL absoluta. Suporta apenas URLs absolutas para sites conhecidos (por enquanto, subdomínios assistant e docs no carol.ai).

SQL_PIPELINES CAPL-4150 Correção de Problema de Acesso Não Autorizado ao Repositório do Azure

Foi corrigido um problema de acesso não autorizado ao conectar-se ao repositório do Azure usando as credenciais PAT. Ao conectar ao GCP: App Carol, a plataforma exibiu uma mensagem de erro. Ao acessar os logs do GCP, foi exibida uma mensagem de aviso "não autorizado". O problema foi corrigido e agora é possível conectar-se com sucesso usando as credenciais PAT.

🚀 Melhorias​

BIG_QUERY CAPL-3853 Melhorias de Desempenho e Processos Paralelos para Notificações de Esquema

Nesta atualização, melhoramos o desempenho e permitimos mais processos paralelos. Identificamos que os 6 trabalhadores não eram suficientes para processar todas as notificações de esquema rapidamente e eles estavam consumindo cerca de 3-4 GB de memória cada. Também notamos que estávamos definindo como RUNNING apenas 20 modificações de esquema por vez, mesmo após a escala para 10 trabalhadores. Assim que melhorarmos o consumo de memória, devemos resolver esta garganta de engarrafamento. Uma ideia também pode ser descartar logo as modificações de esquema que não afetam a tabela BigQuery, pois poderíamos ter muitos pedidos sem alterações. Considere esta estratégia, mas não sabemos se isso ajudará de alguma forma.

BIG_QUERY CAPL-3920 Atualização de Segurança para Prevenir Exclusão de Tabelas de Staging no Pipeline Copy Data SQL

A partir desta atualização, não será mais possível excluir tabelas de staging que façam parte da lista de Pipeline Copy Data SQL. Quando tentar excluir uma tabela de staging que faça parte da lista, será necessário verificar o mapeamento de Tenant. Esta atualização visa evitar que os usuários excluam tabelas de staging que façam parte do manifesto de pipeline de cópia de dados.

BIG_QUERY CAPL-3928 Melhorias no Processo de Modificação de Esquema e Aumento de Memória para o Worker

Neste release, foi realizada uma modificação no esquema para que o processo seja processado por um worker. O worker estava morrendo devido a uma query, mas agora que o problema foi resolvido, o processo de modificação de esquema foi movido para o worker novamente. Além disso, para que o worker possa processar outras tarefas, foi necessário aumentar a memória para 2Gi.

EXPLORE CAPL-3611 Lançamento do Serviço V2 e Proxy de Roteamento

Foi criado o serviço (chamado v2) que será usado para o CRUD do Postgres. Além disso, o Proxy deve ser criado para rotear a solicitação corretamente (v1 ou v2) com base no ID do Tenant da solicitação. Todos os itens da lista de verificação de desenvolvimento devem ser verificados para serem considerados como concluídos.

EXPLORE CAPL-4040 Novas Funcionalidades no Jira para BigQuery

BigQuery: informar se o resultado é de cache ou execução. Adicionamos uma propriedade ao endpoint queryResults (query_sync e query_polling) para informar se os resultados vieram de cache ou de uma nova execução. Isso permitirá que o usuário oculte ou desative o botão "plano de execução" ou até mesmo adicione uma mensagem informando que os resultados vieram do cache do BigQuery. Esta funcionalidade está disponível para todos os usuários.

SQL_PIPELINES CAPL-4191 Novo Parâmetro Opcional para Endpoint "processQuery"

Foi criado um novo parâmetro opcional para o endpoint “processQuery” (/api/v2/bigQuery/processQuery) chamado dontCreateIfRunningOrQueuedTasks, com valor padrão false. Tarefas criadas para processar dados (tarefas de processamento SQL) devem armazenar o nome da pipeline, da mesma forma que o Unified faz hoje. Se o parâmetro for definido como true, o endpoint validará se há outra tarefa para o mesmo nome de pipeline em execução ou na fila. Se houver outra tarefa em execução ou na fila, será retornada uma resposta HTTP específica (acreditamos que 200 é adequado) e o documento da tarefa existente. Se o parâmetro for definido como false, serão criadas as tarefas de processamento SQL como hoje, ou seja, não haverá validação de tarefas existentes. O endpoint ignorará o parâmetro dontCreateIfRunningOrQueuedTasks se o nome da pipeline for nulo ou vazio (pipelineName.trim().length()).

🐛 Correções​

2C-CAROL_CONNECT CAPL-4060 Atualização de Segurança para o Banco de Dados do 2C

Nesta versão foi adicionada uma camada de segurança para a nova configuração de banco de dados do 2C. Foi criado um script para remover o usuário anônimo do banco e adicionar o usuário carol. Além disso, foi verificado quantos 2C estão na versão 3.6.x para verificar se há necessidade de um script de correção. Esta atualização garante maior segurança para os dados dos clientes.

2C-CAROL_CONNECT CAPL-4123 Novas Funcionalidades para Validação de Token na Carol/2C

Foi corrigido um erro que ocorria ao tentar validar o token do usuário na plataforma Carol/2C. Agora, não será exibida mensagem de token inválido caso o token esteja correto.

2C-CAROL_CONNECT CAPL-4126 Correção de Bug e Melhorias no 2C

Nós corrigimos um bug que estava impedindo que a versão do 2C fosse enviada para os logs do heartbeat. Agora, a versão do 2C é enviada corretamente para os logs do heartbeat.

BIG_QUERY CAPL-4032 Correção de Problemas de Permissões ao Reprovisionar Tenant

Neste release, corrigimos um problema que não era resolvido automaticamente quando reprovisionamos um Tenant. Agora, aplicamos as permissões novamente em cada reprovisionamento para garantir que os problemas sejam resolvidos. Verificamos se a aplicação das mesmas permissões não terá efeitos colaterais no código (como uma exceção porque a permissão já existe).

CAROL_APP CAPL-4015 Melhorias no Fluxo de Exceções do CarolApp

Nesta versão, melhoramos o fluxo de exceções na instalação do CarolApp. Tratamos alguns erros nos passos de restauração de template de entidade, relacionamento e mapeamentos de entidade. Após as últimas melhorias, notamos que a instalação do CarolApp está abortando devido aos passos de restauração do esquema de staging. Isso faz com que o usuário reprocesse as tarefas de instalação várias vezes. Tratamos a exceção da mesma forma que fizemos para os passos mencionados acima. Esperamos que a atualização do esquema do BigQuery para a notificação da tarefa de alteração do esquema de staging e que seja feita uma nova tentativa de restauração dos esquemas de staging que falharam, como fazemos para os modelos de dados.

CAROL_APP CAPL-4046 Correção de Erro na Validação de Tag de Docker na Produção

A execução de jobs de AI Process está gerando erro na validação de tag de docker na produção. Durante a execução dos jobs de batch, ocorre uma exceção. O erro só ocorre no ambiente de produção, pois há um erro no código Java para obter o nome correto do job GCP do ambiente de produção. O comportamento esperado é que a imagem docker seja validada durante a execução dos jobs de AI Process para evitar problemas durante o download da imagem no lado dos Operadores (jobs SRE). A única validação que deve falhar na tarefa é a não existência da imagem informada no manifest na lista de tags disponíveis no registry docker, as outras falhas das outras validações devem ser convertidas para impressão de avisos nos logs para serem monitorados pelo time SRE.

CAROL_APP CAPL-4135 Correção de Falha no Teste de Unidade

Foi corrigido um problema no teste de unidade, que estava falhando na branch develop, pois agora estamos recebendo o código de resposta 403 da requisição em vez de 400 (Bad request). Foi realizada uma análise para verificar se é necessário cobrir o comportamento de resposta de erro com o método, se não for, substituí-lo por algum outro teste de unidade para garantir os casos de uso proibidos.

CONNECTOR CAPL-4051 Atualização da Arquitetura do Publisher do PubSub de Auditoria

Foi realizada uma mudança na arquitetura do nosso Publisher do PubSub de Auditoria para que seja instanciado corretamente. Todas as tabelas de staging agora podem enviar dados para o nosso PubSub de Auditoria. Foi adicionado um parâmetro no YAML para ativar essa funcionalidade (intake.yml, intake_docker.yml, mdm.yml e mdm-docker.yml). Somente será inserido o payload na etapa de LANDING.

DATA_MODEL CAPL-4206 Melhoria na Adição de Valores ao Cache do Redis

Corrigimos o erro ao adicionar valores ao cache do Redis. Agora, os valores são adicionados corretamente ao cache.

ORGANIZATION/TENANT CAPL-3871 Correção de Bug: Chave de API não sendo deletada ao deletar OrgUser

Ao deletar o OrgUser, pois é o último TenantUser, sua chave de API não está sendo deletada da Plataforma. Esse caso foi encontrado durante o trabalho de automação da equipe de QA. O Org User não foi encontrado pois foi deletado, porém sua Token de API ainda está disponível na plataforma. O comportamento esperado é que, quando o Tenant User que gerou a chave de API for deletado, a chave de API também seja deletada.

CAROL_APP CAPL-3943 Correção de Erro Crítico na IA - CHURN EXPL

Foi identificado um erro ao consumir API, onde o domínio ..carol.ai foi bloqueado pelo CORS policy. O erro foi identificado nos ambientes de Homologação e Produção, com prioridade crítica. O produto/Carol APP relacionado foi IA - CHURN EXPL. Ao tentar consumir as APIs, foram retornados erros nos ambientes de desenvolvimento e na Carol.

BILLING CAPL-4084 Correção de Problema de Billing - Preview do Ciclo Anterior Agora Disponível

Nesta versão, foi corrigido um problema relacionado ao Billing. O problema era que, quando um novo ciclo começava e era calculado o preview do ciclo anterior, este era deletado. Agora, o preview do ciclo anterior permanecerá disponível até que o consolidado seja publicado.

BILLING CAPL-4085 Suporte para Exclusão de Rascunhos de Lotes

Nesta versão, foi adicionado suporte para excluir fisicamente rascunhos de lotes. Isso inclui a criação de uma tabela de staging, modelo de dados, processo de preenchimento, consulta nomeada, unificação de dados, gerenciador de alertas e gerenciamento de alertas.

ORGANIZATION_ADMIN CAPL-4159 Melhorias no Método getOrgUserNotInTenant para Migração Parcial

Neste release, foi refatorado o método getOrgUserNotInTenant para trabalhar com migração parcial para TenantUser. O método agora suporta todas as variações possíveis de migrações, incluindo migração parcial. Além disso, foi adicionado suporte para a tabela de staging, modelo de dados, fullfilment, consulta nomeada, unificação, gerenciador de alertas e gerenciamento de alertas.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-3961 Atualização de Exibição de Milissegundos no Log de Tarefas

Agora, quando o "Mostrar data/hora" estiver habilitado, também será exibido os milissegundos. Esta funcionalidade está disponível para todos os usuários. Esta atualização permitirá que os usuários vejam os milissegundos na tela de Log de Tarefas. Esta atualização não afetará outras partes do sistema. Não há passos alternativos para esta atualização. Não há recursos adicionais necessários para esta atualização. Os critérios de aceitação são que os milissegundos devem ser exibidos quando o "Mostrar data/hora" estiver habilitado.

BIG_QUERY CAPL-3754 Novas Funcionalidades para Cancelamento de Tarefas na Migração de V2 para V3

Neste lançamento, foi implementada a capacidade de lidar com solicitações de cancelamento de tarefas durante a migração de v2 para v3. Agora, após certos pontos da migração, não será mais possível cancelar ou reverter a tarefa. Em vez disso, será retornado um erro 409. Esta alteração foi feita para garantir que as tabelas antigas sejam excluídas e as novas renomeadas, sem a possibilidade de reverter.

BILLING CAPL-4033 Lançamento do Operador: Agrupamento de Dados por Data

A nova versão do operador foi lançada, permitindo que a cobrança obtenha os dados de consumo agrupados por data. Agora, é possível chamar a API com o parâmetro 'group_by=day' para obter os dados agrupados diariamente para o período especificado. Esta nova versão também permite que a cobrança armazene os dados de tempo de execução da Carol App agrupados diariamente.

BILLING CAPL-4035 Novas Funcionalidades de Acesso a Detalhes de Fatura

Neste release, foi implementada a funcionalidade de acesso a detalhes de fatura. Agora, os usuários de faturamento e administradores de faturamento podem acessar os detalhes da fatura através da opção "Download invoice" nas primeira e segunda cartões do dashboard. O arquivo CSV gerado contém todas as informações sobre a fatura selecionada, desde informações de Org, Tenant e apps até consumo de recursos e custos.

CAROL_APP CAPL-3633 Validação da Imagem Docker no AI_Process Concluída

Foi realizada a validação da imagem Docker no AI_Process. O SRE reclamou que máquinas de altos recursos eram iniciadas e falhavam ao tentar puxar a imagem do Docker. Como causa raiz, temos um cenário afetado pelo Nome/Tag da Imagem Docker que não existe. O usuário Dev faz o upload de um novo manifesto, às vezes esse manifesto aponta para uma nova imagem Docker porque ele deseja construir uma nova imagem Docker. Quando o usuário Dev executa o Processo de Aplicativo Carol, ele tenta iniciar um Processo de Aplicativo Carol (lote/online) apontando para um Nome/Tag de Imagem Docker que não existe. A solução proposta é validar a imagem Docker antes de enviar a solicitação ao Operador. Foram validadas as configurações do GitHub no arquivo manifesto ao construir a Imagem Docker e validada a existência da Imagem Docker em nosso Registro Docker antes de enviar a solicitação ao Operador (na tarefa em si).

CONNECTOR CAPL-3709 Atualização da Arquitetura do Publisher PubSub de Auditoria

Nesta atualização, foi realizada uma mudança na arquitetura do nosso Publisher PubSub de Auditoria para que ele seja instanciado corretamente. Todas as tabelas de staging agora podem enviar dados para o nosso PubSub de Auditoria. Um parâmetro foi adicionado no YAML para ativar essa funcionalidade (intake.yml, intake_docker.yml, mdm.yml e mdm-docker.yml). Apenas o payload é inserido na etapa de LANDING. É importante verificar como esses processos funcionarão no SANDBOX, LOCAL e PRODUÇÃO (talvez configuração para tópico?). A documentação da Notion foi atualizada.

ORGANIZATION_ADMIN CAPL-3829 Novas Funcionalidades para Destacar a App na Barra de Cabeçalho

Foi implementada uma funcionalidade para destacar a App na barra de cabeçalho da plataforma. Agora, é possível identificar mais facilmente a página de Carol entre outras páginas com diferentes aplicativos. Foi adicionado um separador entre o logotipo e o seletor de Tenants com a descrição do aplicativo. Se o tag for ou conter Admin, a cor de fundo do cabeçalho deve ser secundária/mais escura. Se o tag for Billing, a cor de fundo do cabeçalho deve ser secundária/mais clara.

SHARED_DATA CAPL-3969 Lançamento do Recurso de Data Share

Nosso novo recurso de Data Share foi lançado. Agora, os usuários podem compartilhar dados entre os Tenants. A tabela de staging foi atualizada para incluir o novo modelo de dados. O Fullfilment foi atualizado para suportar a nova Query Nomeada. O Unified foi atualizado para suportar o Gerenciador de Alertas e o Gerenciamento de Alertas.

SQL_PIPELINES CAPL-3940 Resolução do Problema de Suporte a Múltiplas Pipelines no Manifest Pipeline

Neste Jira, resolvemos o problema de que o Manifest Pipeline não suportava mais do que uma pipeline para o mesmo modelo de dados. Foi verificado que, ao instalar o aplicativo Carol no Tenant Unificado, não eram criadas as tarefas agendadas conforme definido no arquivo de manifesto. O manifesto que estamos validando é o pipelines.json e o Tenant Unificado que atualizamos o aplicativo é o painelprotheusunif . A solução proposta é criar tarefas agendadas com base nas entradas da pipeline definida, mesmo quando houver mais de uma pipeline que exporta dados para o mesmo modelo de dados. Para validar isso, foi necessário executar juntas diferentes pipelines que exportam dados para o mesmo modelo de dados, com a mesma expressão cron definida, forçando as duas pipelines a executarem ao mesmo tempo.

SQL_PIPELINES CAPL-3954 Correção do problema: Nome do arquivo Manifest agora é clicável e redireciona para o repositório git e BitBucket

Atualização: O problema foi corrigido, a plataforma agora está fazendo o nome do arquivo Manifest clicável, redirecionando o usuário para o repositório git em uma nova aba do navegador. Além disso, foi aplicado o mesmo comportamento para o BitBucket.

🐛 Correções​

BIG_QUERY, CAROL_APP, DATA_MODEL CAPL-3422 Atualização da Aplicação Carol: Propagação de Customização de Agrupamento e Particionamento

Ao instalar a aplicação Carol, a customização de agrupamento e particionamento deve ser propagada para o cliente. Isso deve acontecer tanto na primeira versão da aplicação quanto na versão de atualização.

BIG_QUERY CAPL-3892 Falha na provisão de migração caso a cópia da tenant do cliente falhe devido à tabela não encontrada

Neste release, corrigimos um problema que ocorria durante a migração de provisionamento de um Tenant Unificado, onde se a cópia do último dia falhasse porque a tabela não foi encontrada no Tenant do cliente, o processo de provisionamento inteiro falhava. Agora, garantimos que somente as tabelas usadas pela aplicação instalada no Tenant Unificado serão copiadas. Se uma tabela realmente não existir no Tenant do cliente, a migração pode falhar.

BILLING CAPL-3982 Faturamento: Correção de problema de acesso

Resolução: Foi corrigido um problema que impedia o acesso à página de faturamento para usuários de faturamento. Agora, o login funciona e redireciona para a página de faturamento.

CAROL_APP CAPL-3989 Melhorias na Validação de Imagem do Docker e Configuração do GitHub

Foi corrigido um problema que fazia com que máquinas de alto custo falhassem e reiniciassem ao tentar puxar uma imagem do Docker. Agora, a imagem do Docker é validada antes de enviar a solicitação ao Operador. Além disso, foi validada a configuração do GitHub no arquivo de manifesto ao construir a imagem do Docker.

CONNECTOR CAPL-3102 Correção de Erro de Exclusão de Dados de Staging

Resolvido um problema que fazia com que o endpoint de consulta trouxesse registros de eventos de tabelas de staging deletadas. Após a criação de um conector e tabela de staging, ao deletar o conector, os dados/eventos da staging também deveriam ser deletados.

CONNECTOR CAPL-3872 Correção de Erro na UI para Adicionar/Remover Crosswalks (Identificadores) em Stagings

Foi corrigido um erro na UI ao tentar adicionar/remover crosswalks (identificadores) em stagings. O erro ocorria quando a UI enviava o corpo da requisição errado, fazendo com que o backend retornasse um erro. O erro foi corrigido, e agora a UI envia a requisição correta, permitindo que as alterações nos crosswalks sejam realizadas com sucesso.

DATA_MODEL, SQL_PIPELINES CAPL-3835 Correção de Problema de Números de Telefone Duplicados na Plataforma Carol

Foi corrigido um problema onde usuários com números de telefone duplicados não eram rejeitados na plataforma. O problema foi identificado ao criar uma tabela de staging, um modelo de dados e executar uma tarefa SQL usando o pipeline. Ao enviar um segundo intake com um usuário com o mesmo email, mas o mesmo número de telefone, o usuário não foi rejeitado. Agora, o usuário com o número de telefone duplicado é rejeitado na plataforma e não é registrado no Carol.

ORGANIZATION/TENANT CAPL-4002 Resolução do Problema de Login do Usuário Após Deploy/Rollback

Resolução do problema de login do usuário após deploy/rollback relacionado ao admin do tenant. Após o rollout ocorrido em 06/05 às 22 brt, o usuário não conseguiu mais fazer login usando os seguintes parâmetros. O login está sendo executado sem problemas em nosso fluxo UI (tenant fluigdata mesmo que o admin). O incidente impactou as tarefas de processamento SQL. Entender o que aconteceu e se é algo que precisamos considerar em nossas migrações.

ACTIVITY_MANAGEMENT CAPL-3837 Correção de Problema Intermitente com Tasks Agendadas

Após atualização do Backoffice, alguns clientes estão relatando que as Tasks agendadas param de rodar automaticamente. É necessário editar e salvar o Schedule da Task para que volte a funcionar. O problema ocorre de forma intermitente e já foi verificado em ambientes de Sayerlack, Telemont e outros.

CAROL_APP CAPL-4023 Correção do Erro GGF Clock In - Impacto Crítico Resolvido

O erro GGF - Clock In - Erro ao atualizar App Clock In Backoffice foi corrigido. O comportamento esperado é que não apareça mais o erro ao atualizar o app. O produto Clock In - (Protheus) foi atualizado para a versão 4.0.0 (3.6.x). O ambiente GGF (Production) foi afetado.

CAROL_APP CAPL-4029 Erro Corrigido no App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA

A equipe de produto da Totvs identificou e corrigiu o erro ao atualizar o App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA. O erro "Error: com.totvslabs.framework.core.common.exceptions.ForeignKeyNotFoundException: Foreign key not met for tenant [1a78a30f72bc444a9b1d6ba1d939509d], type [mdmEntityValidationRule, mdmEntityValidationRuleWorking] at mdmId: ["1f34bb440b5f494bb7463ca35fe67dbd","1f34bb440b5f494bb7463ca35fe67dbd_w"]""Cause: [ForeignKeyNotFoundException] - Foreign key not met for tenant [1a78a30f72bc444a9b1d6ba1d939509d], type [mdmEntityValidationRule, mdmEntityValidationRuleWorking] at mdmId: ["1f34bb440b5f494bb7463ca35fe67dbd","1f34bb440b5f494bb7463ca35fe67dbd_w"]" não será mais apresentado. A equipe de produto da Totvs corrigiu o erro ao atualizar o App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA, garantindo assim o comportamento esperado. A equipe de produto da Totvs trabalhou para garantir que o erro não seja mais apresentado ao atualizar o App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA.

ORGANIZATION_ADMIN CAPL-4005 Atualização de Migração de Usuários Administradores do Carol e Alteração do Endpoint de Exclusão

Nesta atualização, foi realizada a migração de todos os usuários da organização que são administradores do Carol. Além disso, o endpoint de exclusão foi alterado para que os administradores do Carol nunca sejam excluídos do ElasticSearch. Esta atualização também garante que os administradores do Carol sejam mantidos em ambas as fontes de dados até que a entidade seja totalmente migrada, devido à imitação.

TENANT_ADMIN CAPL-3645 Atualização de Ambiente de Produção para Testes e Validações

Foi realizada a migração da entidade para o ambiente de produção, permitindo que os Tenants internos (QA) possam realizar testes e validações. Esta atualização incluiu a criação de uma tabela de staging, modelo de dados, processo de fullfilment, consulta nomeada, unificação, gerenciador de alertas e gerenciamento de alertas. Esta atualização permitirá que o time de produto teste em produção, bem como que os usuários do Tenant possam realizar testes de login, atualização, criação, deleção e processos SQL.

🚀 Melhorias​

BIG_QUERY CAPL-3907 Novas Funcionalidades de Migração para BigQuery na Versão Mais Recente

Agora é possível migrar um Tenant para a versão mais recente do BigQuery. Esta funcionalidade está disponível para o papel de Org Admin.

BILLING CAPL-3280 Gerenciamento de contas de faturamento para o Billing Admin

O acesso a funcionalidade de Billing ocorre através dos aprovadores. Novas funcionalidades do Billing Admin: • Listar, criar, editar e deletar contas de faturamento. • Editar os domínios de uma conta de faturamento vinculada. • Visualizar domínios (organizações e tenants) sem uma conta de faturamento vinculada. • Visualizar os detalhes de uma conta de faturamento. • Navegar diretamente para o dashboard da conta de faturamento a partir da tela de listagem.

BILLING CAPL-3840 Melhorias na Interface de Cobrança: gráficos, domínios, contas sem fatura e formatações

O acesso a funcionalidade de Billing ocorre através dos aprovadores. Realizamos ajustes gerais na interface de cobrança: • Melhoramos a legibilidade de gráficos com a reorganização na visualização do orçamento. • Introduzimos uma dica de ferramenta ao cabeçalho do campo de custos por recurso. • Reorganizamos a visualização dos domínios dentro de uma conta de cobrança. • Acrescentamos uma nova visualização para contas de cobrança sem fatura. • Realizamos diversos ajustes cosméticos na interface para melhorar a visualização e a experiência do usuário.

BILLING CAPL-3930 Cobrança: mostre as informações relacionadas ao Código TOTVS no fluxo de Cobrança de Conta

O acesso a funcionalidade de Billing ocorre através dos aprovadores. Adicionamos a informação relacionada ao Código TOTVS no fluxo de Faturamento da Conta. Agora, é possível visualizar o código TOTVS ao emitir a fatura.

CAROL_APP CAPL-3574 Carol App Process: deve ler se os modelos de dados processados pelo SQL Processing sofreram alterações desde a última execução

Atualização do Processamento de Dados em SQL Processing: deve verificar se os modelos de dados processados desde a última execução foram alterados.

CAROL_APP CAPL-3748 Perda de credenciais do Azure no CarolApp

Correção realizada quando o CarolApp perde as credenciais de acesso ao Azure.

CAROL_APP CAPL-3830 Melhorias no Guia de Usuário referente ao Campo Caminho Relativo

Adicionamos um guia de usuário para o campo Caminho Relativo.

CONNECTOR CAPL-3831 Revisado os conectores para remover o conceito de Status (Pausado)

Neste lançamento, revisamos os conectores para remover o conceito de Status (Pausado).

SQL_PIPELINES CAPL-3382 Novas Funcionalidades para Processamento de Pipelines

Agora é possível processar e reprocessar pipelines considerando parâmetros, para obter mais agilidade ao processar apenas uma quantidade limitada de registros. Foi revisada a funcionalidade para os Tenants Dev e Unified (admin do tenant). Foi adicionada a possibilidade de Pausar/Continuar, Reprocessar a partir da última tarefa, Reprocessar todos os dados (sem remover os dados antigos) e Limpar e Reprocessar todos os dados. Foi adicionado também o suporte para processar mais de um pipeline. O usuário pode selecionar vários pipelines e executar um fluxo de processamento para todos os pipelines selecionados. Foi adicionado também o filtro por período (última tarefa, 1 hora, 8 horas, 24 horas, personalizado) e filtro por tenant (apenas para o Tenant Unified).

🐛 Correções​

2C-CAROL_CONNECT CAPL-3606 Correção de erro na versão 3.6.4 do MongoDB e Migração para a versão 2C

Após a atualização da versão 2C para a versão 3.6.4, foi encontrado um problema com a conexão do mongoDB. O erro apresentado foi: "Erro ao iniciar o ApplicationContext. Para exibir o relatório de condições, execute novamente sua aplicação com o 'debug' habilitado". O objetivo é conseguir migrar para a nova versão 2C mesmo com a conexão do mongoDB e também corrigir a compilação do buildkite.

2C-CAROL_CONNECT CAPL-3726 Atualização 3.6.4 do 2C: Problemas Corrigidos e Experiência do Usuário Otimizada

Corrigimos problemas encontrados ao tentar atualizar ou instalar a nova versão 3.6.4 do 2C.

ACTIVITY_MANAGEMENT CAPL-3731 Resolução do Problema Intermitente da Tabela stg_internal_app_setting

Foi identificado um problema com a tabela stg_internal_app_setting, que não estava presente em alguns ambientes. Para solucionar o problema, foi necessário executar a ação de re-provisionamento para criação da mesma. Foi verificado que o problema não ocorre de forma frequente, sendo portanto intermitente. A tabela stg_internal_app_setting deve se fazer presente sempre nos ambientes. Para mais informações, entrar em contato com Bruno Furtado.

BIG_QUERY CAPL-3886 Melhorias no Processo da tarefa de Notificações de Esquema

Corrigimos um erro no processo de envio de notificações. Agora, as notificações serão enviadas corretamente.

CAROL_APP CAPL-3697 Erro ao adicionar/remover tenants de/para lista permitida quando a tenant for removida

Atualização de Segurança e Performance para Listas de Tenants: correção de erro ao adicionar/remover tenants de/para lista permitida quando a tenant for removida.

CAROL_APP CAPL-3820 Remoção de Aplicativo da Tenant Sem Mensagem de Erro

Correção de erro: Agora, quando o cliente tenta remover o aplicativo da tenant, não é mais exibida uma mensagem de erro devido ao aplicativo não ser encontrado na tenant unificada.

SQL_PIPELINES CAPL-3666 Tenants de processamento SQL com campos de mesclagem estão criando tarefas para mesclar dados (RT e CDS)

Adicionamos a capacidade de processar inquilinos com campos de mesclagem para criar tarefas de mesclagem de dados (RT e CDS).

ACTIVITY_MANAGEMENT CAPL-3873 Pipeline Clock In - Tasks estão aparecendo sem informações de LOGs

Corrigimos um problema onde tarefas estavam aparecendo sem informações de LOGs no Pipeline Clock In. Agora, as informações de LOGs estão sendo exibidas corretamente.

DATA_MODEL CAPL-2405 Depois que um label de modelo de dados é atualizado, a plataforma está acionando tarefas de alteração do esquema de notificação

Adicionado recurso para atualizar o Data Model e criar tarefa de notificação do esquema apenas quando modificar colunas.

EXPLORE CAPL-3789 Resolvido Problema de Visualização de Imagens de Marcações no Backoffice do Clock In

Corrigimos um problema onde usuários de negócios e administradores de aplicativos não conseguiam visualizar imagens de marcações no Backoffice do Clock In. Agora, as imagens são exibidas corretamente.

SQL_PIPELINES CAPL-3917 Correção de Bug no Pipeline Clock In: Campo 'Raio' do DM_LOCATION Agora Preenchido

Corrigimos um bug no Pipeline Clock In onde o campo "raio" do DM_LOCATION ficava vazio após o processamento do Pipeline.

BILLING CAPL-3851 Novas Funcionalidades de Gerenciamento de Cobrança

O acesso a funcionalidade de Billing ocorre através dos aprovadores. Adicionamos a capacidade de criar e gerenciar pipelines de cobrança.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-3295 [TASK_LOG] Leitura do registro de tarefas a partir do endpoint do BigTable

Introduzimos uma nova funcionalidade que permite a leitura direta do registro de tarefas a partir do endpoint do BigTable. Agora, é possível acessar e analisar os registros de tarefas armazenados no BigTable de forma eficiente e escalável.

ACTIVITY_MANAGEMENT CAPL-3648 ExecPlan: conexões e registros da interface do usuário

Implementamos melhorias no ExecPlan para aprimorar a visualização e o acesso às conexões e registros de UI (Interface do Usuário). Agora, os usuários têm uma experiência aprimorada ao interagir com as conexões e registros de UI no ExecPlan.

ACTIVITY_MANAGEMENT CAPL-3763 Task Logs: retorno classificado por lastUpdated em ordem decrescente (DESC)

Implementamos uma melhoria nos Task Logs para garantir que o retorno dos logs de tarefas seja classificado pela propriedade lastUpdated em ordem decrescente (DESC). Isso proporciona uma visualização mais conveniente e intuitiva dos logs das tarefas, com os registros mais recentes sendo exibidos primeiro.

BIG_QUERY CAPL-3458 Migração de v2 para v3

Realizamos uma migração do sistema de Provisionamento da versão v2 para a versão v3. Essa atualização envolve mudanças significativas e melhorias em termos de recursos, desempenho e funcionalidade.

BILLING CAPL-3746 Faturamento: como administrador de faturamento, devo ser capaz de gerenciar itens de custo adicionais e específicos para cada conta de faturamento (positivos e negativos)

Implementamos uma nova funcionalidade no sistema de faturamento que permite aos administradores de faturamento gerenciar itens de custo adicionais e específicos para cada conta de faturamento. Agora, é possível registrar e acompanhar custos específicos, tanto positivos quanto negativos, de forma mais granular e personalizada.

CAROL_APP CAPL-3747 Como Administrador de Tenant em uma Tenant de Desenvolvimento ou Tenant Unificada, devo ver uma orientação sobre por que a tenant de Desenvolvimento é listada como tenant instalada (sem copiar dados para o unificado)

Implementamos uma melhoria no sistema para fornecer uma orientação clara aos Administradores de Tenant em uma Tenant de Desenvolvimento ou Tenant Unificada sobre por que a tenant de Desenvolvimento está sendo listada como uma tenant instalada, mesmo sem copiar dados para a tenant unificada.

EXPLORE CAPL-3649 ExecPlan: cliques e interações

Implementamos melhorias no ExecPlan para aprimorar a funcionalidade de clique e interações. Agora, os usuários têm uma experiência mais intuitiva e interativa ao trabalhar com o ExecPlan.

EXPLORE CAPL-3740 Explore Editor: não exibir notificação de erro

Realizamos uma melhoria no Explore Editor para não exibir a notificação de erro ao ocorrerem erros durante a edição. Essa alteração tem como objetivo melhorar a experiência do usuário, evitando interrupções desnecessárias e notificações excessivas.

ORGANIZATION/TENANT CAPL-2770 Suporte ao Microsoft SSO (SAML) na Interface do Usuário

Introduzimos uma nova funcionalidade na interface do usuário que oferece suporte ao Single Sign-On (SSO) da Microsoft usando o protocolo SAML (Security Assertion Markup Language). Agora, os usuários têm a capacidade de autenticar-se e acessar o sistema utilizando suas credenciais da Microsoft.

SHARED_DATA CAPL-3647 Data Share: criar/editar/remover VIEWS

Implementamos uma nova funcionalidade no recurso de compartilhamento de dados que permite aos usuários criar, editar e remover VIEWS. Agora, é possível personalizar as visualizações dos dados compartilhados de acordo com as necessidades específicas de cada usuário.

SHARED_DATA CAPL-3651 Compartilhamento de dados: edição de VIEWS, visualização de todas as tabelas e detalhes

Realizamos melhorias no recurso de compartilhamento de dados que permitem aos usuários editar VIEWS e visualizar todas as tabelas e detalhes associados. Agora, é possível ter uma visão abrangente das tabelas disponíveis e personalizar as VIEWS de acordo com as necessidades específicas.

🐛 Correções​

BIG_QUERY CAPL-3768 Falha no Provisionamento do BigQuery com Erro de Rastreamento (Traceback)

Identificamos um problema no processo de provisionamento do BigQuery que estava resultando em falhas acompanhadas de erros de rastreamento (traceback). Essas falhas estavam impedindo o correto provisionamento do BigQuery e causando interrupções no fluxo de trabalho.

CAROL_APP CAPL-3684 Investigação de Erros na Instalação do CarolApp Relacionados a Regras

Recentemente foram corrigidos problemas na instalação do CarolApp que estavam relacionados a regras. Esses problemas podem levar a falhas na instalação do aplicativo.

CAROL_APP CAPL-3742 CAROL APP: Erro ao salvar Carol App durante autenticação com conexão Git por SSO

Identificamos um problema ao tentar salvar o Carol App durante a autenticação com uma conexão Git usando Single Sign-On (SSO). Esse erro estava impedindo o salvamento adequado do Carol App e causando interrupções no fluxo de trabalho do sistema.

DATA_PROCESSING CAPL-3663 Processamento de Dados utilizando regras antigas após a remoção do Mapeamento e Limpeza(mapping and cleansing rule)

Quando removemos uma regra de mapeamento e limpeza, o sistema continua processando os dados utilizando o antigo mecanismo de processamento (mapping and cleansing rule).

🚀 Melhorias​

BIG_QUERY CAPL-3503 SchemaModification: Carregar dados parciais e consolidar ao recriar tabelas

No provisionamento carregar dados parciais e consolidar ao recriar tabelas no SchemaModification.

BIG_QUERY CAPL-3601 DataCopy: A cópia de dados precisa ser resiliente se o Redis for reiniciado

Característica adicionada para tornar a cópia de dados resiliente se o Redis for reiniciado.

CAROL_APP CAPL-3512 Carol App: Salva o commitID na conexão com o GitHub

Melhoria que permite salvar o commitID durante o desenvolvimento de um Carol App a partir da conexão com o seu repositório no GitHub.

CAROL_APP CAPL-3519 Pipelines: adicionar caminho relativo na caixa de diálogo de checkout

Melhoria realizada para adicionar um caminho relativo no checkout da Pipeline.

CAROL_ASSISTANT CAPL-3660 Assistente: remover link para a Interface antiga

Removido o link de acesso para a interface antiga da Assistente.

DATA_SUBSCRIPTION CAPL-3476 Data Subscription: a seleção de filtragem no campo de estatísticas de assinatura de dados não está sendo refletida no filtro da tabela

Correção feita no filtro da tabela no Data Subscription para que a mesma seja refletida no campo de estatísticas.

ORGANIZATION_ADMIN CAPL-3595 Carol Org: a classificação não está funcionando na lista de tenants

Melhoria realizada na classificação sobre a listagens de ambientes/tenants.

SQL_PIPELINES CAPL-3339 Ao atualizar o manifesto do pipeline, criar e atualizar os agendamentos nas tenants DEV

Ajuste realizado para atualizar os agendamentos nas tenants DEV quando o manifesto do pipeline for alterado

SQL_PIPELINES CAPL-3673 Criado um novo canal NATS para prioridades do SQL Processing

Canal de processamento mais rápido criado e apenas disponibilizado através de chamado.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-3681 Docker é construído, mas a Carol diz que não é

Ajuste realizado para a Carol identificar a construção do Docker.

BIG_QUERY CAPL-3575 Algumas Tenants estão com a consolidação do BQ sem funcionar

Correção realizada referente a consolidação do Big Query não estar funcionando em algumas Tenants.

BIG_QUERY CAPL-3605 Modificação do esquema da tabela no BigQuery não encontrada

Ajuste realizado para não ser realizada nenhuma modificação de esquema de tabela no BigQuery quando a mesma não é encontrada.

CAROL_APP CAPL-3545 AI Process Task não mostrando os parâmetros do operador

Correção realizada para mostrar os parâmetros do operador no AI Process Task.

CONNECTOR CAPL-3603 Carol deve considerar sempre o último registro na mesma solicitação

Correção realizada para a Carol considerar sempre o último registro ao receber o mesmo registro mais de uma vez na mesma solicitação.

CONNECTOR CAPL-3607 Truncate: Falha de truncate quando a tabela de carregamento de dados não existe

Realizado uma correção no truncate quando a tabela de carregamento de dados não existe.

CONNECTOR CAPL-3677 SchemaModification: Falha em algumas modificações

Correção realizada no SchemaModification quando tenta alterar colunas referentes ao tipo de partição.

CONNECTOR CAPL-3682 Tenant tem dados ausentes quando comparado com a tabela AUDIT

Realizada a equalização dos dados da Tenant referente à tabela AUDIT.

DATA_MODEL CAPL-3724 Demora no retorno quando usamos o endpoint deleteAllRecords

Ajuste para agilizar o retorno de sucesso quando o endpoint deleteAllRecords é utilizado.

DATA_SUBSCRIPTION CAPL-3572 Otimização na Task de Processamento SQL

A tarefa de Processamento SQL deve otimizar o número de registros por mensagem respeitando e evitando quebrá-la em várias mensagens.

DATA_SUBSCRIPTION CAPL-3604 Data Subscription: travado após uma exceção no stackdriver

Realizada uma correção para o Data Subscription não travar após uma exceção no StackDriver.

ORGANIZATION_ADMIN CAPL-3578 Alteração de nome da tenant não foi realizado completamente - cache

Realizada correção para alterar definitivamento o nome da tenant.

SQL_PIPELINES CAPL-3573 Problemas de memória no servidor ao processar o conjunto de resultados do SQL Pipeline

Realizada uma correção no processamento de resultados na Pipeline do SQL para não ocorrer problemas de memória no servidor.