🚀 Melhorias​

ALERTS_MANAGEMENT CAPL-3844 Novas Funcionalidades do Alerts Management

lerts Management: Events Listing, Filters & Sorting. Esta issue trata da criação de uma lista de eventos em uma nova aba "Eventos" contendo: data/hora de envio, severidade, ação e fonte, tipo de ação, organização, Tenant e tipo de Tenant. Ao clicar em um evento, abrirá um painel lateral com: tipo de ação, evento enviado, URL de origem, usuário proprietário do evento/tarefa, severidade, fonte, ação, nome da política (link para política), data e canal se foi notificado.

BIG_QUERY CAPL-4038 Nova Funcionalidade: Migração de Tenants para a Versão Mais Recente do BigQuery

Como administrador de organização, eu deveria ser capaz de migrar uma tennant para a nova versão do BigQuery. Foi adicionada ação abaixo do status do Big Query no painel da Tennant. Estas ações são apenas para administradores de organização. A ação de provisionamento apaga o Big Query da Tennant e o recria, sempre exigindo uma confirmação dupla. A ação de migração para a versão mais recente atualiza para a versão mais recente, mas só está disponível quando a versão não está atualizada. Os dados existentes compartilhados devem funcionar após a migração, assim como os pipelines SQL. Os dados ainda são acessíveis através da tabela de staging e do explore.

BILLING CAPL-4061 Melhorando o Acesso ao Carol Billing na Org Admin

Nesta atualização, foi realizada uma revisão na página inicial da Org Admin para promover um acesso mais fácil ao Billing. Existem duas páginas iniciais: uma para usuários que possuem tenants e outra para usuários que não possuem tenants. O objetivo é tornar o link para o Carol Billing mais visível para usuários que seguem essa regra: usuários da Org que selecionam o tenant para acessar e usuários da Org que não têm acesso ao Billing. O ícone deve sempre estar visível e informar ao usuário que não tem acesso ao Billing, caso o usuário atual não tenha acesso a ele. O link só será visível se o usuário tiver acesso ao aplicativo Billing.

BILLING CAPL-4232 Nova Funcionalidade: Filtrar Gráfico por Legenda

Agora, foi lançada uma nova funcionalidade que permite aos usuários filtrar o gráfico clicando na legenda do gráfico. Esta funcionalidade está disponível para todos os usuários. Esta funcionalidade permitirá que os usuários obtenham uma melhor compreensão dos dados ao filtrar o gráfico através da legenda do gráfico.

CAROL_APP CAPL-3749 Atualização do Git Connection com Azure para Segurança

Esta atualização permite que o Git Connection com Azure seja mantido com segurança, pois o refresh token é armazenado e usado para obter um novo token de acesso sempre que necessário. Isso evita que as credenciais sejam perdidas de forma periódica.

CONNECTOR CAPL-4220 Notificação de Descontinuação do Mapping and Cleansing Rule

Agora, os usuários do tenant receberão uma notificação de que o Mapping and Cleansing Rule está prestes a ser descontinuado no final deste ano. Esta notificação informará aos usuários que eles devem migrar para o SQL Processing. A documentação sobre como migrar e remover o Mapping and Cleansing Rule estará disponível. Uma regra será definida para mostrar a mensagem, excluindo os tenants de clientes (por exemplo, o cliente do Clockin). Esta notificação será exibida para todos os usuários do tenant que ainda estão usando o Mapping and Cleansing Rule e que não estão marcados como SQL Only.

DATA_MODEL CAPL-4217 Novos Valores Padrão, Mínimo e Máximo para Parâmetro Max In Flight

Foi estabelecido um valor padrão, mínimo e máximo para o parâmetro Max In Flight. O valor padrão é 15, com um mínimo de 5 e máximo de 100. O valor inserido no campo será persistido antes da regra estabelecida. Esta funcionalidade está disponível para o usuário Tenant Admin. O valor padrão, mínimo e máximo será exibido na tela ao lado da label Max In Flight.

DATA_SUBSCRIPTION CAPL-4309 Remoção do Botão de Reenvio de Registros de Logs de DataSubscription

Foi removido o botão para reenviar registros dos logs de DataSubscription, pois o endpoint foi removido pela BE, causando erro para quem tenta usá-lo. Esta atualização remove o botão para "reenviar registros novamente", uma vez que o endpoint foi removido.

EXPLORE CAPL-4040 Novas Funcionalidades para BigQuery

BigQuery: informar se o resultado é de cache ou execução. Adicionamos uma propriedade ao endpoint queryResults (query_sync e query_polling) para informar se os resultados vieram de cache ou de uma nova execução. Isso permitirá que o usuário oculte ou desative o botão "plano de execução" ou até mesmo adicione uma mensagem informando que os resultados vieram do cache do BigQuery. Esta funcionalidade está disponível para todos os usuários.

EXPLORE CAPL-4198 Nova Funcionalidade: Cancelamento de Consultas em BigQuery por JobId

Foi implementada uma funcionalidade que permite cancelar consultas em BigQuery por jobId. Apenas jobIDs sem tarefas associadas serão permitidas. Isso significa que jobIDs relacionados ao VSCode e ao Explore serão permitidos. O nome sugerido para a funcionalidade é cancelQueryByJobId. Tarefas de processamento SQL devem ser canceladas por tarefa.

ORGANIZATION/TENANT CAPL-4064 Atualização da Carol: Aplicar Tema do Sistema Operacional

Com esta atualização, o usuário pode aplicar o tema do sistema operacional ao Carol. O seletor de tema escuro/claro foi removido do menu e um botão de grupo rotulado com as opções AUTO, Escuro e Claro foi adicionado para alternar entre o tema do sistema operacional ou selecionar manualmente temas escuros ou claros.

ORGANIZATION/TENANT CAPL-4079 Melhorias na Verificação de Integridade do Usuário

Nesta atualização, foi feita uma alteração para que o usuário da Tenant e o usuário da Organização não sejam considerados no campo de último login na verificação de integridade. Além disso, o campo de última atualização também será ignorado, pois ele muda quando o usuário faz o login.

SQL_PIPELINES CAPL-3381 Novas Funcionalidades de Pipeline para Processamento de Dados

Esta atualização inclui a capacidade de pausar, retomar e reprocessar pipelines com maior flexibilidade, a partir da última tarefa bem-sucedida ou reprocessar todos os dados. Também foi adicionada a capacidade de selecionar múltiplos pipelines para processamento e visualizar os pipelines mais recentes instalados no tenant dev/unificado através do aplicativo Carol. Além disso, o botão de status de agendamento será desabilitado se apenas um pipeline estiver selecionado.

SQL_PIPELINES CAPL-3752 Novas Funcionalidades para Pausar, Reproduzir, Reprocessar e Limpar Dados de Pipelines Selecionados

Esta atualização permite que os usuários pausam, reproduzam, reprocessem e limpem dados de pipelines selecionados. O usuário pode selecionar um ou mais pipelines e executar um fluxo de processamento para todos os pipelines selecionados. O serviço que processa os dados deve validar se o nome do pipeline existe, retornando um erro caso tenha sido solicitado o processamento de um pipeline que não existe. Além disso, o usuário pode definir um período de tempo para reprocessar o pipeline.

SQL_PIPELINES CAPL-3791 Adição de Label para Jobs do BigQuery

Foi adicionado um label para os jobs do BigQuery. O label deve conter os seguintes dados: orgId, orgName, tenantId, tenantName, taskID (SQL Processing), source: explore, task, internal, etc, appName: quando é chamado pela Carol App, carolAppProcessName: quando é chamado pela Carol App. Os jobs que devem ser considerados são: SQL Processing tasks, Explore, VSCode, Jobs from Date team (source: internal) e User Rejected Golden Records. Carol App: queries gerados através do pyCarol SA não estão cobertos.

SQL_PIPELINES CAPL-4162 Adição de Label para Jobs do BigQuery

Foi adicionado um label para os jobs do BigQuery. O label inclui orgId, orgName, tenantId, tenantName, taskID (SQL Processing), source: explore, task, internal, etc, appName: quando é chamado pela Carol App e carolAppProcessName: quando é chamado pela Carol App. Os jobs considerados são Carol App: queries geradas através do pyCarol SA, SQL Processing tasks, Explore, VSCode e Jobs da equipe Date (source: internal).

SQL_PIPELINES CAPL-4191 Novo Parâmetro Opcional para Endpoint "processQuery"

Foi criado um novo parâmetro opcional para o endpoint “processQuery” (/api/v2/bigQuery/processQuery) chamado dontCreateIfRunningOrQueuedTasks, com valor padrão false. Tarefas criadas para processar dados (tarefas de processamento SQL) devem armazenar o nome da pipeline, da mesma forma que o Unified faz hoje. Se o parâmetro for definido como true, o endpoint validará se há outra tarefa para o mesmo nome de pipeline em execução ou na fila. Se houver outra tarefa em execução ou na fila, será retornada uma resposta HTTP específica e o documento da tarefa existente. Se o parâmetro for definido como false, serão criadas as tarefas de processamento SQL como hoje, ou seja, não haverá validação de tarefas existentes. O endpoint ignorará o parâmetro dontCreateIfRunningOrQueuedTasks se o nome da pipeline for nulo ou vazio.

SQL_PIPELINES CAPL-4197 Novo Recurso: Cancelamento de Consultas do BigQuery

Agora é possível cancelar consultas do BigQuery (job). Esta funcionalidade está disponível no VSCode e Explore e para todos os usuários.

SQL_PIPELINES CAPL-4215 Novas Funcionalidades de Agendamento para Processar Múltiplos Pipelines

Nesta atualização, foi adicionado o filtro pipelineName/carolAppName na aba de agendamento. Isso será útil para processar múltiplos pipelines. Além disso, a BE já fornece essa informação. Esta atualização também inclui um diagrama de atividades, ações a serem realizadas, passos alternativos, ativos e critérios de aceitação.

VSCODE CAPL-4269 Remoção da Funcionalidade de Feedback do VSCode e Melhorias na Plataforma

Nesta versão, foi removida a funcionalidade de feedback do VSCode. Esta funcionalidade demandava um banco de dados Postgres, gerando custos mensais não associados a benefícios para a plataforma ou para os clientes.

🐛 Correções​

BIG_QUERY CAPL-4032 Correção de Problemas de Permissões ao Reprovisionar Tenant

Neste release, corrigimos um problema que não era resolvido automaticamente quando reprovisionamos uma Tenant. Agora, aplicamos as permissões novamente em cada reprovisionamento para garantir que os problemas sejam resolvidos.

BIG_QUERY CAPL-4287 Correção do Botão de Provisionamento para Notificar o Status da Tenant

Foi corrigido um problema onde o botão de provisionamento não notificava que a Tenant estava sendo provisionada. O botão deverá notificar quando a tenant estiver sendo provisionada, exibindo um spinner enquanto o processo estiver em execução, baseado na verificação do status da Tenant.

BILLING CAPL-4084 Correção de Problema de Billing - Preview do Ciclo Anterior Agora Disponível

Nesta versão, foi corrigido um problema relacionado ao Billing. O problema era que, quando um novo ciclo começava e era calculado o preview do ciclo anterior, este era deletado. Agora, o preview do ciclo anterior permanecerá disponível até que o consolidado seja publicado.

CAROL_APP CAPL-2868 Correção de Erro na Configuração da Carol App

Resolvemos um problema onde ao criar/atualizar valores de uma Carol App setting, um novo registro é enviado para o BigQuery. Ao deletar/atualizar o nome/variável da app setting (lado do desenvolvedor), também devemos enviar mdmDeleted = true para essa configuração (ingestion_stg_internal_app_setting). O problema estava acontecendo dentro do documento da Carol App (visualizando como Desenvolvedor na UI). A app deve estar em um Tenant de Desenvolvedor antes de ser submetida.

CAROL_APP CAPL-4246 Erro no Build do Carol App Impactando Ambiente de Desenvolvimento

Foi identificado um erro ao realizar o build no Carol App. Complementando o CAPL-4273.

CAROL_APP CAPL-4273 Identificado um erro no Build do Carol App

Foram detectados erros ao realizar o build no Carol App. Realizamos melhorias no registro de erros relacionados à compilação do Docker, bem como na validação da existência do Dockerfile em subpastas ou na pasta raiz do repositório.

DATA_MODEL CAPL-4195 Melhoria na Interação entre DataModels

Foi corrigido um problema relacionado à interação entre os DataModels. Agora, ao passar o mouse sobre um DataModel, todos os DataModels relacionados serão destacados e, ao clicar, informações sobre o DataModel serão exibidas no painel lateral. Esta correção foi realizada para melhorar a experiência do usuário.

DATA_MODEL CAPL-4206 Melhoria na Adição de Valores ao Cache do Redis

Corrigimos o erro ao adicionar valores ao cache do Redis. Agora, os valores são adicionados corretamente ao cache.

DATA_SUBSCRIPTION CAPL-3769 Remoção da Tarefa de Alimentação do Data Subscription

Foi corrigido um problema onde, ao adicionar ou editar um Data Subscription, a Carol criava a tarefa de alimentação da subscription. Esta tarefa parece não ser mais necessária. A alternativa para este fluxo é processar uma pipeline SQL. Esta tarefa aumenta os custos e pode ser mais eficaz em termos de desempenho usando pipelines SQL. Foram removidos os endpoints que obtêm dados do CDS e outros obtendo dados do RT (/api/v1/subscription/${dataSubscriptionId}/feedQuery e /api/v1/subscription/${dataSubscriptionId}/feed?startCounter=${counter}).

DATA_SUBSCRIPTION CAPL-4059 Melhoria no Data Subscription

Resolução: Corrigimos um problema no qual o Data Subscription estava preso devido a dados inválidos no Redis. Agora, os Data Subscription estão funcionando como esperado.

DATA_SUBSCRIPTION CAPL-4325 Atualização da UI para exibição de Data Subscription

Neste lançamento, corrigimos um problema no qual a UI não estava atualizando a visão relacionada a Data Subscription. O problema era que a área da visão estava vazia, mesmo após o carregamento rápido dos dados. Ao redimensionar a janela do navegador, a área da visão era atualizada e os dados eram exibidos. Agora, a visão é atualizada automaticamente após o carregamento dos dados do endpoint.

DATA_SUBSCRIPTION CAPL-4326 Correção de bug que impedia visualização de detalhes de assinatura de dados

Correção de um bug que impedia que o administrador da organização visualizasse detalhes relacionados à assinatura de dados para toda a organização. Foi verificado que as requisições estavam OK, mas o usuário não conseguia visualizar os resultados de outro usuário. Foi necessário ajustar o pooling da query para que os resultados fossem exibidos na página inicial.

EXPLORE CAPL-4208 Correção da Ordem de Exibição dos Dados da Linha de Dados

Foi detectado um problema na ordem de exibição dos dados da linha de dados. O mais antigo é o v1, quando deveria ser o vX. O problema foi corrigido para garantir que a ordem seja exibida corretamente.

ORGANIZATION_ADMIN CAPL-4054 Atualização do StagingEntityProxy para uso do ConfigMigrationService

Nesta atualização, o StagingEntityProxy foi alterado para usar o ConfigMigrationService em vez de usar diretamente o StrategyFactory. Esta alteração permitirá que as Tenants sejam configuradas de forma mais eficiente e que os dados sejam migrados de forma mais rápida.

ORGANIZATION_ADMIN CAPL-4159 Melhorias no Método getOrgUserNotInTenant para Migração Parcial

Neste release, foi refatorado o método getOrgUserNotInTenant para trabalhar com migração parcial para TenantUser. O método agora suporta todas as variações possíveis de migrações, incluindo migração parcial.

ORGANIZATION/TENANT CAPL-3916 Melhorias na Autenticação de landing pages

Foi realizada uma refatoração da autenticação das landing pages para ter uma abordagem genérica para redirecionamentos, recebendo a URL absoluta. Suporta apenas URLs absolutas para sites conhecidos (por enquanto, subdomínios assistant e docs no carol.ai).

SQL_PIPELINES CAPL-4150 Correção de Problema de Acesso Não Autorizado ao Repositório do Azure

Foi corrigido um problema de acesso não autorizado ao conectar-se ao repositório do Azure usando as credenciais PAT. Ao conectar ao GCP: App Carol, a plataforma exibiu uma mensagem de erro. Ao acessar os logs do GCP, foi exibida uma mensagem de aviso "não autorizado". O problema foi corrigido e agora é possível conectar-se com sucesso usando as credenciais PAT.

🚀 Melhorias​

BIG_QUERY CAPL-3853 Melhorias de Desempenho e Processos Paralelos para Notificações de Esquema

Nesta atualização, melhoramos o desempenho e permitimos mais processos paralelos. Identificamos que os 6 trabalhadores não eram suficientes para processar todas as notificações de esquema rapidamente e eles estavam consumindo cerca de 3-4 GB de memória cada. Também notamos que estávamos definindo como RUNNING apenas 20 modificações de esquema por vez, mesmo após a escala para 10 trabalhadores. Assim que melhorarmos o consumo de memória, devemos resolver esta garganta de engarrafamento. Uma ideia também pode ser descartar logo as modificações de esquema que não afetam a tabela BigQuery, pois poderíamos ter muitos pedidos sem alterações. Considere esta estratégia, mas não sabemos se isso ajudará de alguma forma.

BIG_QUERY CAPL-3920 Atualização de Segurança para Prevenir Exclusão de Tabelas de Staging no Pipeline Copy Data SQL

A partir desta atualização, não será mais possível excluir tabelas de staging que façam parte da lista de Pipeline Copy Data SQL. Quando tentar excluir uma tabela de staging que faça parte da lista, será necessário verificar o mapeamento de Tenant. Esta atualização visa evitar que os usuários excluam tabelas de staging que façam parte do manifesto de pipeline de cópia de dados.

BIG_QUERY CAPL-3928 Melhorias no Processo de Modificação de Esquema e Aumento de Memória para o Worker

Neste release, foi realizada uma modificação no esquema para que o processo seja processado por um worker. O worker estava morrendo devido a uma query, mas agora que o problema foi resolvido, o processo de modificação de esquema foi movido para o worker novamente. Além disso, para que o worker possa processar outras tarefas, foi necessário aumentar a memória para 2Gi.

EXPLORE CAPL-3611 Lançamento do Serviço V2 e Proxy de Roteamento

Foi criado o serviço (chamado v2) que será usado para o CRUD do Postgres. Além disso, o Proxy deve ser criado para rotear a solicitação corretamente (v1 ou v2) com base no ID do Tenant da solicitação. Todos os itens da lista de verificação de desenvolvimento devem ser verificados para serem considerados como concluídos.

EXPLORE CAPL-4040 Novas Funcionalidades no Jira para BigQuery

BigQuery: informar se o resultado é de cache ou execução. Adicionamos uma propriedade ao endpoint queryResults (query_sync e query_polling) para informar se os resultados vieram de cache ou de uma nova execução. Isso permitirá que o usuário oculte ou desative o botão "plano de execução" ou até mesmo adicione uma mensagem informando que os resultados vieram do cache do BigQuery. Esta funcionalidade está disponível para todos os usuários.

SQL_PIPELINES CAPL-4191 Novo Parâmetro Opcional para Endpoint "processQuery"

Foi criado um novo parâmetro opcional para o endpoint “processQuery” (/api/v2/bigQuery/processQuery) chamado dontCreateIfRunningOrQueuedTasks, com valor padrão false. Tarefas criadas para processar dados (tarefas de processamento SQL) devem armazenar o nome da pipeline, da mesma forma que o Unified faz hoje. Se o parâmetro for definido como true, o endpoint validará se há outra tarefa para o mesmo nome de pipeline em execução ou na fila. Se houver outra tarefa em execução ou na fila, será retornada uma resposta HTTP específica (acreditamos que 200 é adequado) e o documento da tarefa existente. Se o parâmetro for definido como false, serão criadas as tarefas de processamento SQL como hoje, ou seja, não haverá validação de tarefas existentes. O endpoint ignorará o parâmetro dontCreateIfRunningOrQueuedTasks se o nome da pipeline for nulo ou vazio (pipelineName.trim().length()).

🐛 Correções​

2C-CAROL_CONNECT CAPL-4060 Atualização de Segurança para o Banco de Dados do 2C

Nesta versão foi adicionada uma camada de segurança para a nova configuração de banco de dados do 2C. Foi criado um script para remover o usuário anônimo do banco e adicionar o usuário carol. Além disso, foi verificado quantos 2C estão na versão 3.6.x para verificar se há necessidade de um script de correção. Esta atualização garante maior segurança para os dados dos clientes.

2C-CAROL_CONNECT CAPL-4123 Novas Funcionalidades para Validação de Token na Carol/2C

Foi corrigido um erro que ocorria ao tentar validar o token do usuário na plataforma Carol/2C. Agora, não será exibida mensagem de token inválido caso o token esteja correto.

2C-CAROL_CONNECT CAPL-4126 Correção de Bug e Melhorias no 2C

Nós corrigimos um bug que estava impedindo que a versão do 2C fosse enviada para os logs do heartbeat. Agora, a versão do 2C é enviada corretamente para os logs do heartbeat.

BIG_QUERY CAPL-4032 Correção de Problemas de Permissões ao Reprovisionar Tenant

Neste release, corrigimos um problema que não era resolvido automaticamente quando reprovisionamos um Tenant. Agora, aplicamos as permissões novamente em cada reprovisionamento para garantir que os problemas sejam resolvidos. Verificamos se a aplicação das mesmas permissões não terá efeitos colaterais no código (como uma exceção porque a permissão já existe).

CAROL_APP CAPL-4015 Melhorias no Fluxo de Exceções do CarolApp

Nesta versão, melhoramos o fluxo de exceções na instalação do CarolApp. Tratamos alguns erros nos passos de restauração de template de entidade, relacionamento e mapeamentos de entidade. Após as últimas melhorias, notamos que a instalação do CarolApp está abortando devido aos passos de restauração do esquema de staging. Isso faz com que o usuário reprocesse as tarefas de instalação várias vezes. Tratamos a exceção da mesma forma que fizemos para os passos mencionados acima. Esperamos que a atualização do esquema do BigQuery para a notificação da tarefa de alteração do esquema de staging e que seja feita uma nova tentativa de restauração dos esquemas de staging que falharam, como fazemos para os modelos de dados.

CAROL_APP CAPL-4046 Correção de Erro na Validação de Tag de Docker na Produção

A execução de jobs de AI Process está gerando erro na validação de tag de docker na produção. Durante a execução dos jobs de batch, ocorre uma exceção. O erro só ocorre no ambiente de produção, pois há um erro no código Java para obter o nome correto do job GCP do ambiente de produção. O comportamento esperado é que a imagem docker seja validada durante a execução dos jobs de AI Process para evitar problemas durante o download da imagem no lado dos Operadores (jobs SRE). A única validação que deve falhar na tarefa é a não existência da imagem informada no manifest na lista de tags disponíveis no registry docker, as outras falhas das outras validações devem ser convertidas para impressão de avisos nos logs para serem monitorados pelo time SRE.

CAROL_APP CAPL-4135 Correção de Falha no Teste de Unidade

Foi corrigido um problema no teste de unidade, que estava falhando na branch develop, pois agora estamos recebendo o código de resposta 403 da requisição em vez de 400 (Bad request). Foi realizada uma análise para verificar se é necessário cobrir o comportamento de resposta de erro com o método, se não for, substituí-lo por algum outro teste de unidade para garantir os casos de uso proibidos.

CONNECTOR CAPL-4051 Atualização da Arquitetura do Publisher do PubSub de Auditoria

Foi realizada uma mudança na arquitetura do nosso Publisher do PubSub de Auditoria para que seja instanciado corretamente. Todas as tabelas de staging agora podem enviar dados para o nosso PubSub de Auditoria. Foi adicionado um parâmetro no YAML para ativar essa funcionalidade (intake.yml, intake_docker.yml, mdm.yml e mdm-docker.yml). Somente será inserido o payload na etapa de LANDING.

DATA_MODEL CAPL-4206 Melhoria na Adição de Valores ao Cache do Redis

Corrigimos o erro ao adicionar valores ao cache do Redis. Agora, os valores são adicionados corretamente ao cache.

ORGANIZATION/TENANT CAPL-3871 Correção de Bug: Chave de API não sendo deletada ao deletar OrgUser

Ao deletar o OrgUser, pois é o último TenantUser, sua chave de API não está sendo deletada da Plataforma. Esse caso foi encontrado durante o trabalho de automação da equipe de QA. O Org User não foi encontrado pois foi deletado, porém sua Token de API ainda está disponível na plataforma. O comportamento esperado é que, quando o Tenant User que gerou a chave de API for deletado, a chave de API também seja deletada.

CAROL_APP CAPL-3943 Correção de Erro Crítico na IA - CHURN EXPL

Foi identificado um erro ao consumir API, onde o domínio ..carol.ai foi bloqueado pelo CORS policy. O erro foi identificado nos ambientes de Homologação e Produção, com prioridade crítica. O produto/Carol APP relacionado foi IA - CHURN EXPL. Ao tentar consumir as APIs, foram retornados erros nos ambientes de desenvolvimento e na Carol.

BILLING CAPL-4084 Correção de Problema de Billing - Preview do Ciclo Anterior Agora Disponível

Nesta versão, foi corrigido um problema relacionado ao Billing. O problema era que, quando um novo ciclo começava e era calculado o preview do ciclo anterior, este era deletado. Agora, o preview do ciclo anterior permanecerá disponível até que o consolidado seja publicado.

BILLING CAPL-4085 Suporte para Exclusão de Rascunhos de Lotes

Nesta versão, foi adicionado suporte para excluir fisicamente rascunhos de lotes. Isso inclui a criação de uma tabela de staging, modelo de dados, processo de preenchimento, consulta nomeada, unificação de dados, gerenciador de alertas e gerenciamento de alertas.

ORGANIZATION_ADMIN CAPL-4159 Melhorias no Método getOrgUserNotInTenant para Migração Parcial

Neste release, foi refatorado o método getOrgUserNotInTenant para trabalhar com migração parcial para TenantUser. O método agora suporta todas as variações possíveis de migrações, incluindo migração parcial. Além disso, foi adicionado suporte para a tabela de staging, modelo de dados, fullfilment, consulta nomeada, unificação, gerenciador de alertas e gerenciamento de alertas.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-3961 Atualização de Exibição de Milissegundos no Log de Tarefas

Agora, quando o "Mostrar data/hora" estiver habilitado, também será exibido os milissegundos. Esta funcionalidade está disponível para todos os usuários. Esta atualização permitirá que os usuários vejam os milissegundos na tela de Log de Tarefas. Esta atualização não afetará outras partes do sistema. Não há passos alternativos para esta atualização. Não há recursos adicionais necessários para esta atualização. Os critérios de aceitação são que os milissegundos devem ser exibidos quando o "Mostrar data/hora" estiver habilitado.

BIG_QUERY CAPL-3754 Novas Funcionalidades para Cancelamento de Tarefas na Migração de V2 para V3

Neste lançamento, foi implementada a capacidade de lidar com solicitações de cancelamento de tarefas durante a migração de v2 para v3. Agora, após certos pontos da migração, não será mais possível cancelar ou reverter a tarefa. Em vez disso, será retornado um erro 409. Esta alteração foi feita para garantir que as tabelas antigas sejam excluídas e as novas renomeadas, sem a possibilidade de reverter.

BILLING CAPL-4033 Lançamento do Operador: Agrupamento de Dados por Data

A nova versão do operador foi lançada, permitindo que a cobrança obtenha os dados de consumo agrupados por data. Agora, é possível chamar a API com o parâmetro 'group_by=day' para obter os dados agrupados diariamente para o período especificado. Esta nova versão também permite que a cobrança armazene os dados de tempo de execução da Carol App agrupados diariamente.

BILLING CAPL-4035 Novas Funcionalidades de Acesso a Detalhes de Fatura

Neste release, foi implementada a funcionalidade de acesso a detalhes de fatura. Agora, os usuários de faturamento e administradores de faturamento podem acessar os detalhes da fatura através da opção "Download invoice" nas primeira e segunda cartões do dashboard. O arquivo CSV gerado contém todas as informações sobre a fatura selecionada, desde informações de Org, Tenant e apps até consumo de recursos e custos.

CAROL_APP CAPL-3633 Validação da Imagem Docker no AI_Process Concluída

Foi realizada a validação da imagem Docker no AI_Process. O SRE reclamou que máquinas de altos recursos eram iniciadas e falhavam ao tentar puxar a imagem do Docker. Como causa raiz, temos um cenário afetado pelo Nome/Tag da Imagem Docker que não existe. O usuário Dev faz o upload de um novo manifesto, às vezes esse manifesto aponta para uma nova imagem Docker porque ele deseja construir uma nova imagem Docker. Quando o usuário Dev executa o Processo de Aplicativo Carol, ele tenta iniciar um Processo de Aplicativo Carol (lote/online) apontando para um Nome/Tag de Imagem Docker que não existe. A solução proposta é validar a imagem Docker antes de enviar a solicitação ao Operador. Foram validadas as configurações do GitHub no arquivo manifesto ao construir a Imagem Docker e validada a existência da Imagem Docker em nosso Registro Docker antes de enviar a solicitação ao Operador (na tarefa em si).

CONNECTOR CAPL-3709 Atualização da Arquitetura do Publisher PubSub de Auditoria

Nesta atualização, foi realizada uma mudança na arquitetura do nosso Publisher PubSub de Auditoria para que ele seja instanciado corretamente. Todas as tabelas de staging agora podem enviar dados para o nosso PubSub de Auditoria. Um parâmetro foi adicionado no YAML para ativar essa funcionalidade (intake.yml, intake_docker.yml, mdm.yml e mdm-docker.yml). Apenas o payload é inserido na etapa de LANDING. É importante verificar como esses processos funcionarão no SANDBOX, LOCAL e PRODUÇÃO (talvez configuração para tópico?). A documentação da Notion foi atualizada.

ORGANIZATION_ADMIN CAPL-3829 Novas Funcionalidades para Destacar a App na Barra de Cabeçalho

Foi implementada uma funcionalidade para destacar a App na barra de cabeçalho da plataforma. Agora, é possível identificar mais facilmente a página de Carol entre outras páginas com diferentes aplicativos. Foi adicionado um separador entre o logotipo e o seletor de Tenants com a descrição do aplicativo. Se o tag for ou conter Admin, a cor de fundo do cabeçalho deve ser secundária/mais escura. Se o tag for Billing, a cor de fundo do cabeçalho deve ser secundária/mais clara.

SHARED_DATA CAPL-3969 Lançamento do Recurso de Data Share

Nosso novo recurso de Data Share foi lançado. Agora, os usuários podem compartilhar dados entre os Tenants. A tabela de staging foi atualizada para incluir o novo modelo de dados. O Fullfilment foi atualizado para suportar a nova Query Nomeada. O Unified foi atualizado para suportar o Gerenciador de Alertas e o Gerenciamento de Alertas.

SQL_PIPELINES CAPL-3940 Resolução do Problema de Suporte a Múltiplas Pipelines no Manifest Pipeline

Neste Jira, resolvemos o problema de que o Manifest Pipeline não suportava mais do que uma pipeline para o mesmo modelo de dados. Foi verificado que, ao instalar o aplicativo Carol no Tenant Unificado, não eram criadas as tarefas agendadas conforme definido no arquivo de manifesto. O manifesto que estamos validando é o pipelines.json e o Tenant Unificado que atualizamos o aplicativo é o painelprotheusunif . A solução proposta é criar tarefas agendadas com base nas entradas da pipeline definida, mesmo quando houver mais de uma pipeline que exporta dados para o mesmo modelo de dados. Para validar isso, foi necessário executar juntas diferentes pipelines que exportam dados para o mesmo modelo de dados, com a mesma expressão cron definida, forçando as duas pipelines a executarem ao mesmo tempo.

SQL_PIPELINES CAPL-3954 Correção do problema: Nome do arquivo Manifest agora é clicável e redireciona para o repositório git e BitBucket

Atualização: O problema foi corrigido, a plataforma agora está fazendo o nome do arquivo Manifest clicável, redirecionando o usuário para o repositório git em uma nova aba do navegador. Além disso, foi aplicado o mesmo comportamento para o BitBucket.

🐛 Correções​

BIG_QUERY, CAROL_APP, DATA_MODEL CAPL-3422 Atualização da Aplicação Carol: Propagação de Customização de Agrupamento e Particionamento

Ao instalar a aplicação Carol, a customização de agrupamento e particionamento deve ser propagada para o cliente. Isso deve acontecer tanto na primeira versão da aplicação quanto na versão de atualização.

BIG_QUERY CAPL-3892 Falha na provisão de migração caso a cópia da tenant do cliente falhe devido à tabela não encontrada

Neste release, corrigimos um problema que ocorria durante a migração de provisionamento de um Tenant Unificado, onde se a cópia do último dia falhasse porque a tabela não foi encontrada no Tenant do cliente, o processo de provisionamento inteiro falhava. Agora, garantimos que somente as tabelas usadas pela aplicação instalada no Tenant Unificado serão copiadas. Se uma tabela realmente não existir no Tenant do cliente, a migração pode falhar.

BILLING CAPL-3982 Faturamento: Correção de problema de acesso

Resolução: Foi corrigido um problema que impedia o acesso à página de faturamento para usuários de faturamento. Agora, o login funciona e redireciona para a página de faturamento.

CAROL_APP CAPL-3989 Melhorias na Validação de Imagem do Docker e Configuração do GitHub

Foi corrigido um problema que fazia com que máquinas de alto custo falhassem e reiniciassem ao tentar puxar uma imagem do Docker. Agora, a imagem do Docker é validada antes de enviar a solicitação ao Operador. Além disso, foi validada a configuração do GitHub no arquivo de manifesto ao construir a imagem do Docker.

CONNECTOR CAPL-3102 Correção de Erro de Exclusão de Dados de Staging

Resolvido um problema que fazia com que o endpoint de consulta trouxesse registros de eventos de tabelas de staging deletadas. Após a criação de um conector e tabela de staging, ao deletar o conector, os dados/eventos da staging também deveriam ser deletados.

CONNECTOR CAPL-3872 Correção de Erro na UI para Adicionar/Remover Crosswalks (Identificadores) em Stagings

Foi corrigido um erro na UI ao tentar adicionar/remover crosswalks (identificadores) em stagings. O erro ocorria quando a UI enviava o corpo da requisição errado, fazendo com que o backend retornasse um erro. O erro foi corrigido, e agora a UI envia a requisição correta, permitindo que as alterações nos crosswalks sejam realizadas com sucesso.

DATA_MODEL, SQL_PIPELINES CAPL-3835 Correção de Problema de Números de Telefone Duplicados na Plataforma Carol

Foi corrigido um problema onde usuários com números de telefone duplicados não eram rejeitados na plataforma. O problema foi identificado ao criar uma tabela de staging, um modelo de dados e executar uma tarefa SQL usando o pipeline. Ao enviar um segundo intake com um usuário com o mesmo email, mas o mesmo número de telefone, o usuário não foi rejeitado. Agora, o usuário com o número de telefone duplicado é rejeitado na plataforma e não é registrado no Carol.

ORGANIZATION/TENANT CAPL-4002 Resolução do Problema de Login do Usuário Após Deploy/Rollback

Resolução do problema de login do usuário após deploy/rollback relacionado ao admin do tenant. Após o rollout ocorrido em 06/05 às 22 brt, o usuário não conseguiu mais fazer login usando os seguintes parâmetros. O login está sendo executado sem problemas em nosso fluxo UI (tenant fluigdata mesmo que o admin). O incidente impactou as tarefas de processamento SQL. Entender o que aconteceu e se é algo que precisamos considerar em nossas migrações.

ACTIVITY_MANAGEMENT CAPL-3837 Correção de Problema Intermitente com Tasks Agendadas

Após atualização do Backoffice, alguns clientes estão relatando que as Tasks agendadas param de rodar automaticamente. É necessário editar e salvar o Schedule da Task para que volte a funcionar. O problema ocorre de forma intermitente e já foi verificado em ambientes de Sayerlack, Telemont e outros.

CAROL_APP CAPL-4023 Correção do Erro GGF Clock In - Impacto Crítico Resolvido

O erro GGF - Clock In - Erro ao atualizar App Clock In Backoffice foi corrigido. O comportamento esperado é que não apareça mais o erro ao atualizar o app. O produto Clock In - (Protheus) foi atualizado para a versão 4.0.0 (3.6.x). O ambiente GGF (Production) foi afetado.

CAROL_APP CAPL-4029 Erro Corrigido no App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA

A equipe de produto da Totvs identificou e corrigiu o erro ao atualizar o App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA. O erro "Error: com.totvslabs.framework.core.common.exceptions.ForeignKeyNotFoundException: Foreign key not met for tenant [1a78a30f72bc444a9b1d6ba1d939509d], type [mdmEntityValidationRule, mdmEntityValidationRuleWorking] at mdmId: ["1f34bb440b5f494bb7463ca35fe67dbd","1f34bb440b5f494bb7463ca35fe67dbd_w"]""Cause: [ForeignKeyNotFoundException] - Foreign key not met for tenant [1a78a30f72bc444a9b1d6ba1d939509d], type [mdmEntityValidationRule, mdmEntityValidationRuleWorking] at mdmId: ["1f34bb440b5f494bb7463ca35fe67dbd","1f34bb440b5f494bb7463ca35fe67dbd_w"]" não será mais apresentado. A equipe de produto da Totvs corrigiu o erro ao atualizar o App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA, garantindo assim o comportamento esperado. A equipe de produto da Totvs trabalhou para garantir que o erro não seja mais apresentado ao atualizar o App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA.

ORGANIZATION_ADMIN CAPL-4005 Atualização de Migração de Usuários Administradores do Carol e Alteração do Endpoint de Exclusão

Nesta atualização, foi realizada a migração de todos os usuários da organização que são administradores do Carol. Além disso, o endpoint de exclusão foi alterado para que os administradores do Carol nunca sejam excluídos do ElasticSearch. Esta atualização também garante que os administradores do Carol sejam mantidos em ambas as fontes de dados até que a entidade seja totalmente migrada, devido à imitação.

TENANT_ADMIN CAPL-3645 Atualização de Ambiente de Produção para Testes e Validações

Foi realizada a migração da entidade para o ambiente de produção, permitindo que os Tenants internos (QA) possam realizar testes e validações. Esta atualização incluiu a criação de uma tabela de staging, modelo de dados, processo de fullfilment, consulta nomeada, unificação, gerenciador de alertas e gerenciamento de alertas. Esta atualização permitirá que o time de produto teste em produção, bem como que os usuários do Tenant possam realizar testes de login, atualização, criação, deleção e processos SQL.

🚀 Melhorias​

BIG_QUERY CAPL-3907 Novas Funcionalidades de Migração para BigQuery na Versão Mais Recente

Agora é possível migrar um Tenant para a versão mais recente do BigQuery. Esta funcionalidade está disponível para o papel de Org Admin.

BILLING CAPL-3280 Gerenciamento de contas de faturamento para o Billing Admin

O acesso a funcionalidade de Billing ocorre através dos aprovadores. Novas funcionalidades do Billing Admin: • Listar, criar, editar e deletar contas de faturamento. • Editar os domínios de uma conta de faturamento vinculada. • Visualizar domínios (organizações e tenants) sem uma conta de faturamento vinculada. • Visualizar os detalhes de uma conta de faturamento. • Navegar diretamente para o dashboard da conta de faturamento a partir da tela de listagem.

BILLING CAPL-3840 Melhorias na Interface de Cobrança: gráficos, domínios, contas sem fatura e formatações

O acesso a funcionalidade de Billing ocorre através dos aprovadores. Realizamos ajustes gerais na interface de cobrança: • Melhoramos a legibilidade de gráficos com a reorganização na visualização do orçamento. • Introduzimos uma dica de ferramenta ao cabeçalho do campo de custos por recurso. • Reorganizamos a visualização dos domínios dentro de uma conta de cobrança. • Acrescentamos uma nova visualização para contas de cobrança sem fatura. • Realizamos diversos ajustes cosméticos na interface para melhorar a visualização e a experiência do usuário.

BILLING CAPL-3930 Cobrança: mostre as informações relacionadas ao Código TOTVS no fluxo de Cobrança de Conta

O acesso a funcionalidade de Billing ocorre através dos aprovadores. Adicionamos a informação relacionada ao Código TOTVS no fluxo de Faturamento da Conta. Agora, é possível visualizar o código TOTVS ao emitir a fatura.

CAROL_APP CAPL-3574 Carol App Process: deve ler se os modelos de dados processados pelo SQL Processing sofreram alterações desde a última execução

Atualização do Processamento de Dados em SQL Processing: deve verificar se os modelos de dados processados desde a última execução foram alterados.

CAROL_APP CAPL-3748 Perda de credenciais do Azure no CarolApp

Correção realizada quando o CarolApp perde as credenciais de acesso ao Azure.

CAROL_APP CAPL-3830 Melhorias no Guia de Usuário referente ao Campo Caminho Relativo

Adicionamos um guia de usuário para o campo Caminho Relativo.

CONNECTOR CAPL-3831 Revisado os conectores para remover o conceito de Status (Pausado)

Neste lançamento, revisamos os conectores para remover o conceito de Status (Pausado).

SQL_PIPELINES CAPL-3382 Novas Funcionalidades para Processamento de Pipelines

Agora é possível processar e reprocessar pipelines considerando parâmetros, para obter mais agilidade ao processar apenas uma quantidade limitada de registros. Foi revisada a funcionalidade para os Tenants Dev e Unified (admin do tenant). Foi adicionada a possibilidade de Pausar/Continuar, Reprocessar a partir da última tarefa, Reprocessar todos os dados (sem remover os dados antigos) e Limpar e Reprocessar todos os dados. Foi adicionado também o suporte para processar mais de um pipeline. O usuário pode selecionar vários pipelines e executar um fluxo de processamento para todos os pipelines selecionados. Foi adicionado também o filtro por período (última tarefa, 1 hora, 8 horas, 24 horas, personalizado) e filtro por tenant (apenas para o Tenant Unified).

🐛 Correções​

2C-CAROL_CONNECT CAPL-3606 Correção de erro na versão 3.6.4 do MongoDB e Migração para a versão 2C

Após a atualização da versão 2C para a versão 3.6.4, foi encontrado um problema com a conexão do mongoDB. O erro apresentado foi: "Erro ao iniciar o ApplicationContext. Para exibir o relatório de condições, execute novamente sua aplicação com o 'debug' habilitado". O objetivo é conseguir migrar para a nova versão 2C mesmo com a conexão do mongoDB e também corrigir a compilação do buildkite.

2C-CAROL_CONNECT CAPL-3726 Atualização 3.6.4 do 2C: Problemas Corrigidos e Experiência do Usuário Otimizada

Corrigimos problemas encontrados ao tentar atualizar ou instalar a nova versão 3.6.4 do 2C.

ACTIVITY_MANAGEMENT CAPL-3731 Resolução do Problema Intermitente da Tabela stg_internal_app_setting

Foi identificado um problema com a tabela stg_internal_app_setting, que não estava presente em alguns ambientes. Para solucionar o problema, foi necessário executar a ação de re-provisionamento para criação da mesma. Foi verificado que o problema não ocorre de forma frequente, sendo portanto intermitente. A tabela stg_internal_app_setting deve se fazer presente sempre nos ambientes. Para mais informações, entrar em contato com Bruno Furtado.

BIG_QUERY CAPL-3886 Melhorias no Processo da tarefa de Notificações de Esquema

Corrigimos um erro no processo de envio de notificações. Agora, as notificações serão enviadas corretamente.

CAROL_APP CAPL-3697 Erro ao adicionar/remover tenants de/para lista permitida quando a tenant for removida

Atualização de Segurança e Performance para Listas de Tenants: correção de erro ao adicionar/remover tenants de/para lista permitida quando a tenant for removida.

CAROL_APP CAPL-3820 Remoção de Aplicativo da Tenant Sem Mensagem de Erro

Correção de erro: Agora, quando o cliente tenta remover o aplicativo da tenant, não é mais exibida uma mensagem de erro devido ao aplicativo não ser encontrado na tenant unificada.

SQL_PIPELINES CAPL-3666 Tenants de processamento SQL com campos de mesclagem estão criando tarefas para mesclar dados (RT e CDS)

Adicionamos a capacidade de processar inquilinos com campos de mesclagem para criar tarefas de mesclagem de dados (RT e CDS).

ACTIVITY_MANAGEMENT CAPL-3873 Pipeline Clock In - Tasks estão aparecendo sem informações de LOGs

Corrigimos um problema onde tarefas estavam aparecendo sem informações de LOGs no Pipeline Clock In. Agora, as informações de LOGs estão sendo exibidas corretamente.

DATA_MODEL CAPL-2405 Depois que um label de modelo de dados é atualizado, a plataforma está acionando tarefas de alteração do esquema de notificação

Adicionado recurso para atualizar o Data Model e criar tarefa de notificação do esquema apenas quando modificar colunas.

EXPLORE CAPL-3789 Resolvido Problema de Visualização de Imagens de Marcações no Backoffice do Clock In

Corrigimos um problema onde usuários de negócios e administradores de aplicativos não conseguiam visualizar imagens de marcações no Backoffice do Clock In. Agora, as imagens são exibidas corretamente.

SQL_PIPELINES CAPL-3917 Correção de Bug no Pipeline Clock In: Campo 'Raio' do DM_LOCATION Agora Preenchido

Corrigimos um bug no Pipeline Clock In onde o campo "raio" do DM_LOCATION ficava vazio após o processamento do Pipeline.

BILLING CAPL-3851 Novas Funcionalidades de Gerenciamento de Cobrança

O acesso a funcionalidade de Billing ocorre através dos aprovadores. Adicionamos a capacidade de criar e gerenciar pipelines de cobrança.

🚀 Melhorias​

ACTIVITY_MANAGEMENT CAPL-3295 [TASK_LOG] Leitura do registro de tarefas a partir do endpoint do BigTable

Introduzimos uma nova funcionalidade que permite a leitura direta do registro de tarefas a partir do endpoint do BigTable. Agora, é possível acessar e analisar os registros de tarefas armazenados no BigTable de forma eficiente e escalável.

ACTIVITY_MANAGEMENT CAPL-3648 ExecPlan: conexões e registros da interface do usuário

Implementamos melhorias no ExecPlan para aprimorar a visualização e o acesso às conexões e registros de UI (Interface do Usuário). Agora, os usuários têm uma experiência aprimorada ao interagir com as conexões e registros de UI no ExecPlan.

ACTIVITY_MANAGEMENT CAPL-3763 Task Logs: retorno classificado por lastUpdated em ordem decrescente (DESC)

Implementamos uma melhoria nos Task Logs para garantir que o retorno dos logs de tarefas seja classificado pela propriedade lastUpdated em ordem decrescente (DESC). Isso proporciona uma visualização mais conveniente e intuitiva dos logs das tarefas, com os registros mais recentes sendo exibidos primeiro.

BIG_QUERY CAPL-3458 Migração de v2 para v3

Realizamos uma migração do sistema de Provisionamento da versão v2 para a versão v3. Essa atualização envolve mudanças significativas e melhorias em termos de recursos, desempenho e funcionalidade.

BILLING CAPL-3746 Faturamento: como administrador de faturamento, devo ser capaz de gerenciar itens de custo adicionais e específicos para cada conta de faturamento (positivos e negativos)

Implementamos uma nova funcionalidade no sistema de faturamento que permite aos administradores de faturamento gerenciar itens de custo adicionais e específicos para cada conta de faturamento. Agora, é possível registrar e acompanhar custos específicos, tanto positivos quanto negativos, de forma mais granular e personalizada.

CAROL_APP CAPL-3747 Como Administrador de Tenant em uma Tenant de Desenvolvimento ou Tenant Unificada, devo ver uma orientação sobre por que a tenant de Desenvolvimento é listada como tenant instalada (sem copiar dados para o unificado)

Implementamos uma melhoria no sistema para fornecer uma orientação clara aos Administradores de Tenant em uma Tenant de Desenvolvimento ou Tenant Unificada sobre por que a tenant de Desenvolvimento está sendo listada como uma tenant instalada, mesmo sem copiar dados para a tenant unificada.

EXPLORE CAPL-3649 ExecPlan: cliques e interações

Implementamos melhorias no ExecPlan para aprimorar a funcionalidade de clique e interações. Agora, os usuários têm uma experiência mais intuitiva e interativa ao trabalhar com o ExecPlan.

EXPLORE CAPL-3740 Explore Editor: não exibir notificação de erro

Realizamos uma melhoria no Explore Editor para não exibir a notificação de erro ao ocorrerem erros durante a edição. Essa alteração tem como objetivo melhorar a experiência do usuário, evitando interrupções desnecessárias e notificações excessivas.

ORGANIZATION/TENANT CAPL-2770 Suporte ao Microsoft SSO (SAML) na Interface do Usuário

Introduzimos uma nova funcionalidade na interface do usuário que oferece suporte ao Single Sign-On (SSO) da Microsoft usando o protocolo SAML (Security Assertion Markup Language). Agora, os usuários têm a capacidade de autenticar-se e acessar o sistema utilizando suas credenciais da Microsoft.

SHARED_DATA CAPL-3647 Data Share: criar/editar/remover VIEWS

Implementamos uma nova funcionalidade no recurso de compartilhamento de dados que permite aos usuários criar, editar e remover VIEWS. Agora, é possível personalizar as visualizações dos dados compartilhados de acordo com as necessidades específicas de cada usuário.

SHARED_DATA CAPL-3651 Compartilhamento de dados: edição de VIEWS, visualização de todas as tabelas e detalhes

Realizamos melhorias no recurso de compartilhamento de dados que permitem aos usuários editar VIEWS e visualizar todas as tabelas e detalhes associados. Agora, é possível ter uma visão abrangente das tabelas disponíveis e personalizar as VIEWS de acordo com as necessidades específicas.

🐛 Correções​

BIG_QUERY CAPL-3768 Falha no Provisionamento do BigQuery com Erro de Rastreamento (Traceback)

Identificamos um problema no processo de provisionamento do BigQuery que estava resultando em falhas acompanhadas de erros de rastreamento (traceback). Essas falhas estavam impedindo o correto provisionamento do BigQuery e causando interrupções no fluxo de trabalho.

CAROL_APP CAPL-3684 Investigação de Erros na Instalação do CarolApp Relacionados a Regras

Recentemente foram corrigidos problemas na instalação do CarolApp que estavam relacionados a regras. Esses problemas podem levar a falhas na instalação do aplicativo.

CAROL_APP CAPL-3742 CAROL APP: Erro ao salvar Carol App durante autenticação com conexão Git por SSO

Identificamos um problema ao tentar salvar o Carol App durante a autenticação com uma conexão Git usando Single Sign-On (SSO). Esse erro estava impedindo o salvamento adequado do Carol App e causando interrupções no fluxo de trabalho do sistema.

DATA_PROCESSING CAPL-3663 Processamento de Dados utilizando regras antigas após a remoção do Mapeamento e Limpeza(mapping and cleansing rule)

Quando removemos uma regra de mapeamento e limpeza, o sistema continua processando os dados utilizando o antigo mecanismo de processamento (mapping and cleansing rule).

🚀 Melhorias​

BIG_QUERY CAPL-3503 SchemaModification: Carregar dados parciais e consolidar ao recriar tabelas

No provisionamento carregar dados parciais e consolidar ao recriar tabelas no SchemaModification.

BIG_QUERY CAPL-3601 DataCopy: A cópia de dados precisa ser resiliente se o Redis for reiniciado

Característica adicionada para tornar a cópia de dados resiliente se o Redis for reiniciado.

CAROL_APP CAPL-3512 Carol App: Salva o commitID na conexão com o GitHub

Melhoria que permite salvar o commitID durante o desenvolvimento de um Carol App a partir da conexão com o seu repositório no GitHub.

CAROL_APP CAPL-3519 Pipelines: adicionar caminho relativo na caixa de diálogo de checkout

Melhoria realizada para adicionar um caminho relativo no checkout da Pipeline.

CAROL_ASSISTANT CAPL-3660 Assistente: remover link para a Interface antiga

Removido o link de acesso para a interface antiga da Assistente.

DATA_SUBSCRIPTION CAPL-3476 Data Subscription: a seleção de filtragem no campo de estatísticas de assinatura de dados não está sendo refletida no filtro da tabela

Correção feita no filtro da tabela no Data Subscription para que a mesma seja refletida no campo de estatísticas.

ORGANIZATION_ADMIN CAPL-3595 Carol Org: a classificação não está funcionando na lista de tenants

Melhoria realizada na classificação sobre a listagens de ambientes/tenants.

SQL_PIPELINES CAPL-3339 Ao atualizar o manifesto do pipeline, criar e atualizar os agendamentos nas tenants DEV

Ajuste realizado para atualizar os agendamentos nas tenants DEV quando o manifesto do pipeline for alterado

SQL_PIPELINES CAPL-3673 Criado um novo canal NATS para prioridades do SQL Processing

Canal de processamento mais rápido criado e apenas disponibilizado através de chamado.

🐛 Correções​

ACTIVITY_MANAGEMENT CAPL-3681 Docker é construído, mas a Carol diz que não é

Ajuste realizado para a Carol identificar a construção do Docker.

BIG_QUERY CAPL-3575 Algumas Tenants estão com a consolidação do BQ sem funcionar

Correção realizada referente a consolidação do Big Query não estar funcionando em algumas Tenants.

BIG_QUERY CAPL-3605 Modificação do esquema da tabela no BigQuery não encontrada

Ajuste realizado para não ser realizada nenhuma modificação de esquema de tabela no BigQuery quando a mesma não é encontrada.

CAROL_APP CAPL-3545 AI Process Task não mostrando os parâmetros do operador

Correção realizada para mostrar os parâmetros do operador no AI Process Task.

CONNECTOR CAPL-3603 Carol deve considerar sempre o último registro na mesma solicitação

Correção realizada para a Carol considerar sempre o último registro ao receber o mesmo registro mais de uma vez na mesma solicitação.

CONNECTOR CAPL-3607 Truncate: Falha de truncate quando a tabela de carregamento de dados não existe

Realizado uma correção no truncate quando a tabela de carregamento de dados não existe.

CONNECTOR CAPL-3677 SchemaModification: Falha em algumas modificações

Correção realizada no SchemaModification quando tenta alterar colunas referentes ao tipo de partição.

CONNECTOR CAPL-3682 Tenant tem dados ausentes quando comparado com a tabela AUDIT

Realizada a equalização dos dados da Tenant referente à tabela AUDIT.

DATA_MODEL CAPL-3724 Demora no retorno quando usamos o endpoint deleteAllRecords

Ajuste para agilizar o retorno de sucesso quando o endpoint deleteAllRecords é utilizado.

DATA_SUBSCRIPTION CAPL-3572 Otimização na Task de Processamento SQL

A tarefa de Processamento SQL deve otimizar o número de registros por mensagem respeitando e evitando quebrá-la em várias mensagens.

DATA_SUBSCRIPTION CAPL-3604 Data Subscription: travado após uma exceção no stackdriver

Realizada uma correção para o Data Subscription não travar após uma exceção no StackDriver.

ORGANIZATION_ADMIN CAPL-3578 Alteração de nome da tenant não foi realizado completamente - cache

Realizada correção para alterar definitivamento o nome da tenant.

SQL_PIPELINES CAPL-3573 Problemas de memória no servidor ao processar o conjunto de resultados do SQL Pipeline

Realizada uma correção no processamento de resultados na Pipeline do SQL para não ocorrer problemas de memória no servidor.

🚀 Melhorias​

BIG_QUERY

CAPL-3505 SchemaModification Adicione detalhes sobre as alterações na tarefa Carol

Adicionado detalhes sobre as alterações na tarefa da Carol sobre SchemaModification.

CAROL_APP

CAPL-2908 Carol App: Página de estado vazia no aplicativo Carol (exibição do cliente)

Melhoria para que seja alertado ao cliente caso a página de estado esteja vazia.

CAROL_ASSISTANT

CAPL-3428 Carol Assistant: mostra ao usuário que a Assistente está com uma nova versão e permite navegar até ela

Melhoria para que seja mostrado ao usuário que existe uma nova versão da Carol Assistente.

CONNECTOR

CAPL-3508 Pipelines Techfin CDS levando tempo para salvar dados

Ajustes realizados para lidar melhor com as filas nos pipelines do Dataflow sem processar dados (somente salvar no Bigquery e CDS), evitando o alto tempo de resposta.

EXPLORE

CAPL-3474 Explore: remova a opção de exportar dados do Explore

Remover a opção de exportar dados do Explore com tipo de armazenamento do BigQuery.

ORGANIZATION/TENANT

CAPL-3401 Acessar conteúdo base64(CDS/GCS) por meio de um fluxo de autenticação

Tornar a autenticação obrigatória nas tenants por meio de um parâmetro para gerenciar melhor o lançamento e os impactos de aplicativos não prontos. Todas as novas tenants provisionadas devem ter o parâmetro de autenticação CDS ativado por padrão.

ORGANIZATION/TENANT

CAPL-3478 Atualizar links de documentação no Swagger

Realizada a atulização de links da documentação no Swagger.

SQL_PIPELINES

CAPL-2626 Aumente o prazo de processamento da tabela temporária SQL: de 3 dias para 15 dias

Realizado o aumento do prazo de 3 para 15 dias no processamento de tabela temporária SQL.

SQL_PIPELINES

CAPL-3383 Pipelines: Processar e Reprocessar - Filtrar por período: última tarefa

Permitir processar e reprocessar pipelines filtrando por período da última tarefa.

TENANT_ADMIN

CAPL-3553 Carol deve permitir um requisito de senha padrão para todas as tenants

A plataforma Carol agora permite um requisito de senha padrão para todas as tenants.

VSCODE

CAPL-3544 VSCode: melhorias em dry-run

Melhorias realizadas no VSCode para a execução em dry-run.

🐛 Correções​

BIG_QUERY

CAPL-2827 Falha no provisionamento por causa de staging table/conector excluído

Correção realizada para tornar as deleções de connector/staging resilientes no provisionamento.

BIG_QUERY

CAPL-3483 Cancelar schema modifications quando uma nova provision é solicitada

Realizar p cancelamento das modificações de schema quando um novo provisionamento é solicitado.

BIG_QUERY

CAPL-3497 Provision fica travada

Realizada correção para o provisionamento não ficar travado.

BIG_QUERY

CAPL-3547 A tarefa de provisionamento do BigQuery falhou devido a um erro de rastreamento na criação do data set

Correção realizada na tarefa de provisionamento do BigQuery em um erro de rastreamento na criação do data set.

BIG_QUERY

CAPL-3556 Tarefas de alteração de schema com falhas

Definida política de repetição para o tipo de tarefa de notificação de alterações de esquema no BigQuery.

CAROL_APP

CAPL-3482 Melhorias no fluxo de exceções na instalação do CarolApp

Realizadas melhorias no fluxo de exceções na instalação do CarolApp.

CAROL_APP

CAPL-3538 AI Process Task não está mostrando os parâmetros do operador

Correção realizada para mostrar os parâmetros do operados no AI Process Task.

CAROL_APP

CAPL-3567 Erro ao instalar o aplicativo quando a referência do Git for inválida

Correção realizada na instalação de aplicativo quando for fornecida uma referência do Git inválida.

CAROL_APP

CAPL-3570 Git Azure: não é possível autenticar usando um token que funciona por meio da CLI

Correção realizada na autenticação do Git Azure para utilizar token por meio da CLI.

DATA_JOURNEY

CAPL-3176 [New Data Journey] Para novas tabelas de stagings criadas, a mesma não aparece na página

Realizada a correção no Novo Data Journey quando o cliente clica no ícone para as novas stagings criadas aparecerem.

DATA_PROCESSING

CAPL-3542 MDM workes merge tasks com bug(loop)

Realizada correção para as tarefas de merge não entrarem em loop.

ORGANIZATION_ADMIN

CAPL-3576 As tarefas CREATE TENANT foram removidas da plataforma antes de serem concluídas

Realizada uma correção para que as tarefas de CREATE TENANT não sejam removidas da plataforma antes de serem concluídas, por demorarem muito tempo.

SQL_PIPELINES

CAPL-3624 Tenants foram removidas e não é possível adicionar novos ambientes a tenant unified

Correção para ser possível a exclusão de tenants de ambientes em que essa ação é permitida.

🚀 Melhorias​

ORGANIZATION/TENANT | LOGIN
CAPL-1212 ORGANIZATION/TENANT | LOGIN: Login: Melhor orientação quando há uma sessão ativa
Melhoria realizada para informar o usuário qual sessão de qual tenant está ativa, caso seja necessário sair para logar em outra tenant da mesma organização.

BIG_QUERY | PROVISIONING
CAPL-1244 BIG_QUERY | PROVISIONING: BigQuery: como usuário, devo ser capaz de definir o particionamento e o clustering para o modelo de dados (Ingestion Time Config)
Adicionada a característica par aque o usuário seja capaz de configurar o particionamento e o clustering do BigQuery.

SQL_PIPELINES | DATA_PROCESSING
CAPL-1418 SQL_PIPELINES | DATA_PROCESSING: Validando a Tenant como SQL Processing somente no Mapping
Ao criar um mapeamento e tentar publicá-lo/reprocessar uma mensagem de aviso deve ser exibida.

SQL_PIPELINES | DATA_PROCESSING
CAPL-3418 SQL_PIPELINES | DATA_PROCESSING: Pipelines: pausar e retomar um único pipeline
Melhoria realizada para ser possível pausar momentaneamente um pipeline agendado e depois retomar o agendamento existente para que seja possível realizar alguma atividade crítica de manutenção a qualquer momento.

TENANT_ADMIN | DATA_ACCESS_LEVELS
CAPL-3434 TENANT_ADMIN | DATA_ACCESS_LEVELS: Login: não permite o redirecionamento após o login para um caminho absoluto
Melhoria para não permitir redirecionamentos após o login com links de caminho absolutos.

CAROL_ASSISTANT | ACCESS_PROVIDING
CAPL-3435 TENANT_ADMIN | DATA_ACCESS_LEVELS: Assistant: Redirecionamento do acesseso da Carol Assistente
Melhoria realizada para que o usuário acesse a Carol Assistente com o login da Carol.

VSCODE | PLUGIN
CAPL-3340 VSCODE | PLUGIN: VS Code: Mostrar lista de tarefas geradas na seção atual para melhorar o rastreamento de tarefas
Melhoria realizada para melhorar o rastreamento das tarefas na mesma seção.

VSCODE | PLUGIN
CAPL-3341 VSCODE | PLUGIN: VSCode: valida atributos inválidos definidos no manifesto do pipeline
Evitar erros ao definir o manifesto do pipeline com atributos não reconhecidos.

ACTIVITY_MANAGEMENT | TASK_EXECUTION
CAPL-2830 ACTIVITY_MANAGEMENT | TASK_EXECUTION: Tasks: Não acionar SCHEMA_CHANGED_NOTIFY_BIGQUERY se falharmos ao criar/atualizar o esquema avro
Melhoria para não disparar o SCHEMA_CHANGED_NOTIFY_BIGQUERY se for encontrada alguma falha

DATA_SUBSCRIPTION | DATA_SENDING
CAPL-3425 DATA_SUBSCRIPTION | DATA_SENDING: Data Subscription: Limitar o batch size do data subscription
Melhoria para poder limitar o tamanho do batch para o data subscription.

🐛 Correções​

SQL_PIPELINES | LISTING
CAPL-3369 SQL_PIPELINES | LISTING: SQL Pipeline: Diferença de número de registros entre camada BQ e RT mesmo com Pipeline
Correção realizada para equalizar a quantidade de registros entre BigQuery e RealTime.

BIG_QUERY | PROVISIONING
CAPL-3490 BIG_QUERY | PROVISIONING: BigQuery: Campo _ingestionDatetime não preenchido nas stagings causando falha no processamento das Pipelines
Correção no processamento das Pipelines por falta de preenchimento do campo _ingestionDatetime.

ORGANIZATION/TENANT | LOGIN
CAPL-3481 ORGANIZATION/TENANT | LOGIN: Login: Erro ao realizar login Correção para que o usuário consiga realizar o login.

CONNECTOR | DATA_INGESTION, CONNECTOR | MAPPING_AND_CLEANSING_RULE
CAPL-3451 CONNECTOR | DATA_INGESTION, CONNECTOR | MAPPING_AND_CLEANSING_RULE : Data Ingestion: A fila do fluxo de dados esta muito alta
Correção realizada para estabilizar a fila do fluxo de dados.

ORGANIZATION/TENANT | DASHBOARD
CAPL-3166 ORGANIZATION/TENANT | DASHBOARD: Cargas recorrentes excessivas na nova Home Page
Adicionada a característica para não carregar mais de uma vez o mesmo endpoint para configurar a Home Page.

CAROL_APP | APP_PROVIDING
CAPL-3178 CAROL_APP | APP_PROVIDING: Carol App: AI Process Task não está mostrando os parâmetros do operador
Correção para exibir os parâmetros do operador no AI Proccess Task.

DATA_MODEL | DELETE/DROP
CAPL-3282 DATA_MODEL | DELETE/DROP: Data Model: Quando um Data Model é excluído, a plataforma mostra uma mensagem de que o DM não foi encontrado
Correção na mensagem quando um Data Model é excluído.

CAROL_APP | INSTALATION
CAPL-3430 CAROL_APP | INSTALATION: App Config: estamos tornando a senha visível
Correção para mascarar a senha.

2C-CAROL_CONNECT | SETTINGS
CAPL-3373 2C-CAROL_CONNECT | SETTINGS: Carol Connect: A conexão aparece offline após a migração para o novo 2C
Realizada uma correção para que as conexões já existentes não fiquem offline após a atualização para a nova versão. - Documentação suplementar: clique aqui

BIG_QUERY | PROVISIONING
CAPL-3484 BIG_QUERY | PROVISIONING: Schema Modification: Corrigido problemas de paralelismo
Correção no paralelismo no schema modification do Big Query.

🚀 Melhorias​

SQL_PIPELINES | ORCHESTRATOR
CAPL-3184 SQL_PIPELINES | ORCHESTRATOR: SQL Pipeline: O envio de dados para a camada RT é lento e, às vezes, falha quando há muito registros
Correção no envio de muito registros para a camada RT, para que seja mais rápido.

ACTIVITY_MANAGEMENT | TASK_EXECUTION
CAPL-3135 ACTIVITY_MANAGEMENT | TASK_EXECUTION: TaskLog: Criar microservice e método de pubsub subscription
Tarefa para criação de microservice e método de pubsub subscription.

VSCODE | PLUGIN
CAPL-3140 VSCODE | PLUGIN: VS Code: Definido o parâmetro TimeZone como um campo obrigatório para pipelines
Alterado o parâmetro de TimeZone como um campo obrigatório para não quebrar as pipelines.

ORGANIZATION_ADMIN | SETTINGS
CAPL-3158 ORGANIZATION_ADMIN | SETTINGS: Carol Platform: Análise e criação de índices de banco de dados de acordo com os insights do pganalyze
Melhorias realizadas para melhorar a performance da plataforma.

SUPPORT
CAPL-3180 SUPPORT: Carol: Revisar a mensagem da Carol quando estiver indisponível
Alterada a mensagem da Carol quando estiver indisponível ou em manutenção.

🐛 Correções​

ACTIVITY_MANAGEMENT | TASK_EXECUTION
CAPL-3413 ACTIVITY_MANAGEMENT | TASK_EXECUTION: Tarefas AI_PROCESS retornando erro não encontrado
Correção realizada para que tarefas executadas ao mesmo tempo não altere o mesmo arquivo e cause erros.

SQL_PIPELINES | CHECKOUT_PIPELINE
CAPL-3093 SQL_PIPELINES | CHECKOUT_PIPELINE: SQL Pipelines: histórico de commits para o Azure não disponível
Correção realizada para que o histórico dos commits para o Azure esteja disponível da mesma forma que temos no github.

CAROL_ASSISTANT | ACCESS_PROVIDING
CAPL-3453 CAROL_ASSISTANT | ACCESS_PROVIDING: CAROL_ASSISTANT : Correção no acesso à Assistant
Correção realizada referente ao acesso da CAROL ASSISTANT.

🚀 Melhorias​

ACTIVITY_MANAGEMENT | SCHEDULE_TASK
CAPL-3185 ACTIVITY_MANAGEMENT | SCHEDULE_TASK: Tarefa para remover o código do RelationshipView
Realizada a remoção do source code referente ao RelationshipView que foi descontinuado.

ACTIVITY_MANAGEMENT | TASK_EXECUTION
CAPL-3198 ACTIVITY_MANAGEMENT | TASK_EXECUTION: FE está recebendo um erro de visualização de relacionamento na plataforma
Tarefa realizada para remover o relationship view na plataforma.

🐛 Correções​

ORGANIZATION_ADMIN | TENANTS
CAPL-3028 ORGANIZATION_ADMIN | TENANTS: Falha na task de cópia de dados
Corrigida uma falha na task de cópia de dados do ambiente customer ao unificado.

ORGANIZATION/TENANT | PERFORMANCE
CAPL-3145 ORGANIZATION/TENANT | PERFORMANCE: Problemas com conexões Postgres sendo descartadas
Correção realizada no pod do kubernetes que estava reiniciando e derrubando as conexões, as configurações foram alteradas para que isso não ocorra mais.

CONNECTOR | DATA_PROPAGATION
CAPL-3147 CONNECTOR | DATA_PROPAGATION: Bug no Schema modification
Adicionada a característica e corrigida uma situação no schema modification para suportar alterações em tabelas com um volume grande de dados.

SQL_PIPELINES | SCHEDULE
CAPL-2797 SQL_PIPELINES | SCHEDULE: Bug na execução de multíplos agendamentos em SQL PIPELINES
Correção realizada referente a configuração de multíplos agendamentos(cron expressions) no arquivo pipeline.json para que a pipeline seja executada mais de uma vez.

SQL_PIPELINES | DATA_PROCESSING
CAPL-2824 SQL_PIPELINES | DATA_PROCESSING: Bug na criaçãode usuário atráves do SQL PROCESSING
Correção realizada na criação de usuário atráves do SQL PROCESSING usando dados da Staging Table, os registros não eram gerados para Real Time.

SHARED_DATA | DATA_QUERY
CAPL-3033 SHARED_DATA | DATA_QUERY: Share Query está retornando erros quando o usuário tenta abrir uma consulta compartilhada
Correção realizada na ação de compartilhar consultas, que estava com falhas mesmo a consulta estando errada ou correta.

ORGANIZATION/TENANT | SWAGGER/APIS
CAPL-3049 ORGANIZATION/TENANT | SWAGGER/APIS: Verificado o problema com o endpoint de estatísticas
Realizada uma correção no endpoint de estatísticas referente a falta de label na tabela do Big Query.

SQL_PIPELINES | DATA_PROCESSING
CAPL-3120 SQL_PIPELINES | DATA_PROCESSING: Melhorias no worker-pubsub que não está iniciando completamente
Melhorias realizadas para que o worker-pubsub seja iniciado completamenta.