🚀 Melhorias
ALERTS_MANAGEMENT CAPL-4350 Melhorias na Interface do Alert Manager
Neste Jira, foram feitas pequenas mudanças para melhorar a interface do Alert Manager. As mudanças incluem a alteração da ordem das abas para Notificações/Eventos/Políticas de Alerta, acesso ao Alert Manager a partir da página inicial, alterações na tabela de notificações, detalhes da notificação, página vazia de notificações, tabela de eventos, detalhes do evento e políticas de alerta. Além disso, foram adicionadas informações sobre o tipo, data/hora, fonte e gravidade, e foi indicado o canal inativo.
BIG_QUERY CAPL-4427 Melhorando a compreensão de incidentes: Atualização para tarefas de dados (bq)
Atualização para tarefas de dados (bq) para serem mais verbosas. Agora, quando ocorrem incidentes, será possível ter uma melhor compreensão do que está acontecendo, pois serão adicionadas informações detalhadas às tarefas. Além disso, foram adicionadas informações detalhadas às tarefas de cópia de dados, notificação de alterações de esquema e provisionamento de Tenant com manutenção de dados.
BILLING CAPL-4371 Novo Recurso: Processamento de Cobrança por Batch_ID
Agora é possível processar a cobrança, pipelines, usando um batch_id existente. Esta capacidade substituirá qualquer cobrança existente para o batch_id especificado.
BILLING CAPL-4502 Novas Visualizações de Dados para Billing Admin com Botão "Comparar Batches"
Agora é possível para o Billing Admin visualizar os dados de forma tabular. Foi adicionado um botão "Comparar batches" na aba Batch Process. Ao navegar para a tabela de Comparar batches, é possível filtrar por recurso, tenant, período e batch.
CAROL_APP CAPL-4508 Atualização do App Carol: Evitando Incidentes Relacionados
Agora, as alterações realizadas na Jira permitem que a instalação de um App Carol não materialize as tabelas de staging para o conector protheus_carol. Apenas cria o conector, caso ele não exista. Além disso, foi adicionado um parâmetro para forçar a materialização das tabelas de staging para essa tarefa de instalação do App Carol. Estas alterações permitem que sejam evitados novos incidentes relacionados ao App Carol.
CONNECTOR CAPL-4425 Notificação de Descontinuação do Mapping and Cleansing Rule
Agora, os usuários do tenant receberão uma notificação de que o Mapping and Cleansing Rule está prestes a ser descontinuado no final deste ano. Esta notificação informará aos usuários que eles devem migrar para o SQL Processing. A documentação sobre como migrar e remover o Mapping and Cleansing Rule estará disponível. Uma regra será definida para mostrar a mensagem, excluindo os tenants de clientes (por exemplo, o cliente do Clockin). Esta notificação será exibida para todos os usuários do tenant que ainda estão usando o Mapping and Cleansing Rule e que não estão marcados como SQL Only.
ORGANIZATION_ADMIN CAPL-2909 Atualização de Status Online para Usuários
Foi adicionado um listener para saber quando o usuário está de volta online e alterar o alerta de status offline. Quando o usuário estiver de volta online, será exibida uma notificação de conexão restaurada e o tempo da última atualização.
PLATFORM CAPL-4153 Novo Endpoint para Acionar Coletor de Estatísticas para Tenants
Foi desenvolvido um endpoint para acionar o coletor de estatísticas para um Tenant. O coletor de estatísticas será executado duas vezes por dia para cada Tenant provisionado, mas um usuário Tenant também poderá acionar o coletor de estatísticas para seu Tenant. Cada Tenant pode acionar este endpoint a cada 15 minutos. Se algum Tenant acionar mais rápido que isso, podemos retornar 429. Se já houver um coletor em execução para este Tenant ou para todos os Tenants, retornar 409 e a mensagem explicando. No endpoint GET estatísticas desenvolvido na cartão acima, também devemos retornar o status do coletor para este Tenant. Se houver um coletor em execução neste momento, podemos retornar: "RUNNING", se não houver coletor em execução, podemos retornar “DONE" e, se houve um erro na última coleta, podemos ignorar e retornar o status “DONE" também, já que as estatísticas que o usuário verá estão relacionadas ao sucesso. Em outras palavras, devemos trazer as últimas estatísticas DONE e também trazer o último status de estatísticas para este Tenant. Não retorne outros status como "PUBLISHED", por exemplo, pois é um controle interno. Os consumidores só querem saber RUNNING ou DONE. Se for “PUBLISHED", "RUNNING" retornar "RUNNING”. Se for “ERROR", “CANCELED", “DONE", retornar “DONE". Mas lembre-se, as estatísticas devem sempre ser do último processo
SQL_PIPELINES CAPL-4329 Atualização Otimizada para Execução de Notificações de Aplicativos Externos
Agora foi lançada uma atualização para otimizar a execução baseada em notificações de aplicativos externos. O tempo limite para summaries abertos automaticamente foi alterado para 30 minutos, enquanto que para os summaries recebidos via API pelo Smart Link, o tempo limite é de 30 minutos. Quando o summary não tiver dados enviados, terá o status de NO_PIPELINE_EXECUTE. Esta atualização deve reduzir o número de tarefas de processamento SQL a serem executadas e cobrir tarefas agendadas e Orchestrator.
SQL_PIPELINES CAPL-4346 Adicionando Parâmetro Opcional ao Endpoint "processQuery" para Identificar de onde veio a Pipeline
Foi adicionado um parâmetro opcional ao endpoint "processQuery" para que seja possível enviar o nome da aplicação Carol. O parâmetro é opcional, mas se for enviado, a informação estará disponível na tarefa criada. Esta alteração permite que seja possível identificar de onde veio a pipeline, considerando que o nome da pipeline é único por nome da aplicação Carol. A alteração também não afeta a eficiência do SQL Processing (OKR-01). Esta funcionalidade está disponível para Tenant Admin e Carol Admin.
SQL_PIPELINES CAPL-4458 Novo Recurso: Notificação de BatchId Pronto para Processamento
Resumo: Foi implementada uma funcionalidade para notificar o time Smartlink que um batchId específico está pronto para ser processado. Para isso, foi necessário armazenar informações na nível da Organização, como URL Rack, Client Id & Secret e URL Observabilidade. Além disso, foi necessário gerar um token de acesso a partir do RAC, que tem validade de 20 minutos. Para otimizar o processo, o token deve ser armazenado/cacheado para futuras requisições.
SQL_PIPELINES CAPL-4561 Novos Parâmetros de Fanout para Processamento de Dados em Tenants Unificados
Nesta atualização, foi adicionado um parâmetro ao endpoint processQuery que permite especificar se deve ou não haver fanout dos dados para os tenants dos clientes quando processando dados em um tenant unificado. Este parâmetro ajudará a processar dados em tenants unificados sem erros de OOM. O valor padrão é que o fanout seja realizado (comportamento atual).
🐛 Correções
ACTIVITY_MANAGEMENT CAPL-4285 Correção de problema de tarefas executadas após exclusão de Tenant
Foi corrigido um problema onde tarefas criadas após a exclusão de um Tenant eram executadas mesmo após a exclusão. O StaleTaskCheckJob deixou de tentar reagendar essas tarefas. Os logs podem ser encontrados no link. Espera-se que as tarefas não sejam mais executadas após a exclusão de um Tenant.
BIG_QUERY CAPL-4437 Correção de Erro de Esquema na Instalação da Aplicação Carol
Atualização de Release: Houve um erro de esquema ao instalar uma aplicação em alguns Tenants, o que moveu as tabelas de staging existentes para o status INATIVO. O contato para questões sobre o problema é Breno Zipoli Monteiro Papa e Robson Thanael Poffo. A maioria das tabelas com status INATIVO são app_setting e currency. Uma tarefa que instalou a aplicação e o problema DE que está trabalhando estão listados. O comportamento esperado é que a instalação da aplicação Carol mantenha o status correto.
CAROL_APP CAPL-4334 Resolução de Erro Após Exclusão de Branch no GitHub
Após a exclusão de uma branch no GitHub, a aplicação não está mais no modo de desenvolvimento. O erro parece ter relação com a integração com o GitHub, pois a chamada de post em /clone/ retorna erro. O comportamento esperado é que a aplicação mantenha o status correto, "dev", permitindo que o usuário altere a configuração do GitHub e corrija o problema.
CAROL_APP CAPL-4540 Correção de Erro na Configuração do Repositório Azure na Plataforma Carol
Nesta versão, corrigimos um erro que ocorria ao tentar configurar o repositório Azure na Plataforma Carol. O cliente precisava alterar o token atual para o novo, mas não conseguia realizar essa configuração. O erro também ocorria ao tentar criar uma nova versão da aplicação. O Tenant foi alterado e o erro era que havia problemas com as definições de conexão da aplicação meupostobycarol, o que impedia que os dados fossem visíveis até que os problemas fossem corrigidos. Agora, esses problemas foram corrigidos e a configuração do repositório Azure na Plataforma Carol está funcionando corretamente.
CONNECTOR CAPL-4447 Resolução de Divergências entre Tabelas Records_Landing e Intake
Corrigimos um erro que ocasionava divergência na chegada dos dados na Carol, devido a atualização de schema não ter ocorrido a tempo dos dados serem gravados na staging area. Como ação, a Carol vai retornar um erro 4xx informando que o schema vai ser alterado. O erro 4xx é para que o aplicativo reenvie os dados novamente depois (quando o schema estiver atualizado).
ORGANIZATION/TENANT CAPL-4151 Correção de Problema de Sobreposição de TenantId no Swagger para Usuário Carol Admin
A correção para o problema de sobreposição de tenantId no Swagger para o usuário Carol Admin foi implementada. Agora, ao usar qualquer endpoint no Swagger usando o campo de sobreposição de tenantId, o Swagger passa corretamente o parâmetro overriddentenantid. Além disso, foi adicionada uma informação visual para alertar o usuário de que existe uma sobreposição de tenant definida.
PLATFORM CAPL-4483 Resolução do Erro de Autorização na Cópia de Dados para o Tenant Unificado
Corrigimos um erro de autorização na tarefa de cópia de dados do ambiente de staging para o tenant unificado. O erro ocorria quando a instalação do App Carol era feita em uma organização diferente da organização do tenant unificado. Agora, o usuário precisa estar presente na organização do tenant unificado para que a tarefa de cópia de dados seja executada com sucesso.
SHARED_DATA CAPL-4446 Correção de Erro na Criação de Sharing Group With View
Foi desenvolvida uma solução para o problema reportado, onde a query não estava sendo aceita como uma query válida para uma Shared View. A partir de agora, queries como essa devem funcionar normalmente.
SQL_PIPELINES CAPL-4211 Correção do Campo Last Run para Exibir Última Execução de Tarefas
O campo Last Run deve exibir a última execução de tarefas.Nós corrigimos um problema que impedia que o campo Last Run exibisse a última execução de tarefas. Agora, o campo Last Run exibe corretamente a última execução de tarefas.
SQL_PIPELINES CAPL-4328 Melhorando a Execução de Tarefas SQL com Notificação de Aplicativo Externo
Otimizar a execução com base na notificação de aplicativo externo - Arquitetura. Esta issue trata da otimização do processamento de tarefas SQL, que atualmente estão sendo executadas sem processar dados em 70% dos casos. A solução proposta é permitir que os remetentes (como o Smart Link) notifiquem a Carol que um lote de dados foi completamente enviado para que ela possa iniciar o processamento dos dados. Para isso, será criado um diagrama com a solução a ser implementada para resolver o problema de execução de pipelines SQL somente quando o aplicativo externo enviar a notificação de que todas as mensagens foram enviadas.
SQL_PIPELINES CAPL-4333 Correção de Bug no Endpoint "/api/v2/bigQuery/processQuery"
Foi corrigido um bug no endpoint "/api/v2/bigQuery/processQuery" que estava criando tarefas para Tenants deletados. Agora, a Carol valida se o Tenant existe quando chamado o endpoint. Se o Tenant não existir, é retornado um erro (412 - Pre conditions FAILED).
SQL_PIPELINES CAPL-4525 Correção de Erro na Execução de Pipelines na Organização TOTVSTECHFINDEV
Foi corrigido um erro na execução de pipelines que causava uma OutOfMemoryException. O erro ocorria na organização totvstechfindev, no produto insightsbackoffice, no ambiente de produção. A prioridade desta issue era alta, pois gerava interrupção no funcionamento da aplicação. Foi realizada uma atualização na Carol APP, na versão 0a1f13abb6f34c5a9bdf2085f5d49e69. Além disso, foi corrigida uma falha de task, com o link da tenant da task em questão. Não foi necessário realizar nenhuma alteração no banco de dados 2C. Esta correção foi realizada para melhorar a performance da plataforma.
SQL_PIPELINES CAPL-4528 Melhoria de Velocidade de Processamento de Dados do SQL e Adição de Funcionalidade de Cancelamento de Tarefas
Esta atualização melhora a velocidade de processamento de dados do SQL. O tempo de execução da query foi reduzido para menos de 1 minuto, enquanto o tempo de envio de dados para o BQ e RT layers foi reduzido para menos de 10 minutos. Além disso, foi adicionada uma funcionalidade que cancela a tarefa após 30 minutos de espera para o Dataflow iniciar. Esta funcionalidade está disponível para o Tenant Admin.
TENANT_ADMIN CAPL-4426 Remoção do Rodapé dos Emails do Carol Notification
Nesta atualização, foi removido o rodapé dos emails enviados pelo Carol Notification. O rodapé continha o link para o contato conosco, o que estava gerando emails indevidos para o nosso time de suporte. Com esta mudança, esperamos reduzir o número de emails indesejados.