🚀 Melhorias
BIG_QUERY CAPL-3853 Melhorias de Desempenho e Processos Paralelos para Notificações de Esquema
Nesta atualização, melhoramos o desempenho e permitimos mais processos paralelos. Identificamos que os 6 trabalhadores não eram suficientes para processar todas as notificações de esquema rapidamente e eles estavam consumindo cerca de 3-4 GB de memória cada. Também notamos que estávamos definindo como RUNNING apenas 20 modificações de esquema por vez, mesmo após a escala para 10 trabalhadores. Assim que melhorarmos o consumo de memória, devemos resolver esta garganta de engarrafamento. Uma ideia também pode ser descartar logo as modificações de esquema que não afetam a tabela BigQuery, pois poderíamos ter muitos pedidos sem alterações. Considere esta estratégia, mas não sabemos se isso ajudará de alguma forma.
BIG_QUERY CAPL-3920 Atualização de Segurança para Prevenir Exclusão de Tabelas de Staging no Pipeline Copy Data SQL
A partir desta atualização, não será mais possível excluir tabelas de staging que façam parte da lista de Pipeline Copy Data SQL. Quando tentar excluir uma tabela de staging que faça parte da lista, será necessário verificar o mapeamento de Tenant. Esta atualização visa evitar que os usuários excluam tabelas de staging que façam parte do manifesto de pipeline de cópia de dados.
BIG_QUERY CAPL-3928 Melhorias no Processo de Modificação de Esquema e Aumento de Memória para o Worker
Neste release, foi realizada uma modificação no esquema para que o processo seja processado por um worker. O worker estava morrendo devido a uma query, mas agora que o problema foi resolvido, o processo de modificação de esquema foi movido para o worker novamente. Além disso, para que o worker possa processar outras tarefas, foi necessário aumentar a memória para 2Gi.
EXPLORE CAPL-3611 Lançamento do Serviço V2 e Proxy de Roteamento
Foi criado o serviço (chamado v2) que será usado para o CRUD do Postgres. Além disso, o Proxy deve ser criado para rotear a solicitação corretamente (v1 ou v2) com base no ID do Tenant da solicitação. Todos os itens da lista de verificação de desenvolvimento devem ser verificados para serem considerados como concluídos.
EXPLORE CAPL-4040 Novas Funcionalidades no Jira para BigQuery
BigQuery: informar se o resultado é de cache ou execução. Adicionamos uma propriedade ao endpoint queryResults (query_sync e query_polling) para informar se os resultados vieram de cache ou de uma nova execução. Isso permitirá que o usuário oculte ou desative o botão "plano de execução" ou até mesmo adicione uma mensagem informando que os resultados vieram do cache do BigQuery. Esta funcionalidade está disponível para todos os usuários.
SQL_PIPELINES CAPL-4191 Novo Parâmetro Opcional para Endpoint "processQuery"
Foi criado um novo parâmetro opcional para o endpoint “processQuery” (/api/v2/bigQuery/processQuery) chamado dontCreateIfRunningOrQueuedTasks, com valor padrão false. Tarefas criadas para processar dados (tarefas de processamento SQL) devem armazenar o nome da pipeline, da mesma forma que o Unified faz hoje. Se o parâmetro for definido como true, o endpoint validará se há outra tarefa para o mesmo nome de pipeline em execução ou na fila. Se houver outra tarefa em execução ou na fila, será retornada uma resposta HTTP específica (acreditamos que 200 é adequado) e o documento da tarefa existente. Se o parâmetro for definido como false, serão criadas as tarefas de processamento SQL como hoje, ou seja, não haverá validação de tarefas existentes. O endpoint ignorará o parâmetro dontCreateIfRunningOrQueuedTasks se o nome da pipeline for nulo ou vazio (pipelineName.trim().length()).
🐛 Correções
2C-CAROL_CONNECT CAPL-4060 Atualização de Segurança para o Banco de Dados do 2C
Nesta versão foi adicionada uma camada de segurança para a nova configuração de banco de dados do 2C. Foi criado um script para remover o usuário anônimo do banco e adicionar o usuário carol. Além disso, foi verificado quantos 2C estão na versão 3.6.x para verificar se há necessidade de um script de correção. Esta atualização garante maior segurança para os dados dos clientes.
2C-CAROL_CONNECT CAPL-4123 Novas Funcionalidades para Validação de Token na Carol/2C
Foi corrigido um erro que ocorria ao tentar validar o token do usuário na plataforma Carol/2C. Agora, não será exibida mensagem de token inválido caso o token esteja correto.
2C-CAROL_CONNECT CAPL-4126 Correção de Bug e Melhorias no 2C
Nós corrigimos um bug que estava impedindo que a versão do 2C fosse enviada para os logs do heartbeat. Agora, a versão do 2C é enviada corretamente para os logs do heartbeat.
BIG_QUERY CAPL-4032 Correção de Problemas de Permissões ao Reprovisionar Tenant
Neste release, corrigimos um problema que não era resolvido automaticamente quando reprovisionamos um Tenant. Agora, aplicamos as permissões novamente em cada reprovisionamento para garantir que os problemas sejam resolvidos. Verificamos se a aplicação das mesmas permissões não terá efeitos colaterais no código (como uma exceção porque a permissão já existe).
CAROL_APP CAPL-4015 Melhorias no Fluxo de Exceções do CarolApp
Nesta versão, melhoramos o fluxo de exceções na instalação do CarolApp. Tratamos alguns erros nos passos de restauração de template de entidade, relacionamento e mapeamentos de entidade. Após as últimas melhorias, notamos que a instalação do CarolApp está abortando devido aos passos de restauração do esquema de staging. Isso faz com que o usuário reprocesse as tarefas de instalação várias vezes. Tratamos a exceção da mesma forma que fizemos para os passos mencionados acima. Esperamos que a atualização do esquema do BigQuery para a notificação da tarefa de alteração do esquema de staging e que seja feita uma nova tentativa de restauração dos esquemas de staging que falharam, como fazemos para os modelos de dados.
CAROL_APP CAPL-4046 Correção de Erro na Validação de Tag de Docker na Produção
A execução de jobs de AI Process está gerando erro na validação de tag de docker na produção. Durante a execução dos jobs de batch, ocorre uma exceção. O erro só ocorre no ambiente de produção, pois há um erro no código Java para obter o nome correto do job GCP do ambiente de produção. O comportamento esperado é que a imagem docker seja validada durante a execução dos jobs de AI Process para evitar problemas durante o download da imagem no lado dos Operadores (jobs SRE). A única validação que deve falhar na tarefa é a não existência da imagem informada no manifest na lista de tags disponíveis no registry docker, as outras falhas das outras validações devem ser convertidas para impressão de avisos nos logs para serem monitorados pelo time SRE.
CAROL_APP CAPL-4135 Correção de Falha no Teste de Unidade
Foi corrigido um problema no teste de unidade, que estava falhando na branch develop, pois agora estamos recebendo o código de resposta 403 da requisição em vez de 400 (Bad request). Foi realizada uma análise para verificar se é necessário cobrir o comportamento de resposta de erro com o método, se não for, substituí-lo por algum outro teste de unidade para garantir os casos de uso proibidos.
CONNECTOR CAPL-4051 Atualização da Arquitetura do Publisher do PubSub de Auditoria
Foi realizada uma mudança na arquitetura do nosso Publisher do PubSub de Auditoria para que seja instanciado corretamente. Todas as tabelas de staging agora podem enviar dados para o nosso PubSub de Auditoria. Foi adicionado um parâmetro no YAML para ativar essa funcionalidade (intake.yml, intake_docker.yml, mdm.yml e mdm-docker.yml). Somente será inserido o payload na etapa de LANDING.
DATA_MODEL CAPL-4206 Melhoria na Adição de Valores ao Cache do Redis
Corrigimos o erro ao adicionar valores ao cache do Redis. Agora, os valores são adicionados corretamente ao cache.
ORGANIZATION/TENANT CAPL-3871 Correção de Bug: Chave de API não sendo deletada ao deletar OrgUser
Ao deletar o OrgUser, pois é o último TenantUser, sua chave de API não está sendo deletada da Plataforma. Esse caso foi encontrado durante o trabalho de automação da equipe de QA. O Org User não foi encontrado pois foi deletado, porém sua Token de API ainda está disponível na plataforma. O comportamento esperado é que, quando o Tenant User que gerou a chave de API for deletado, a chave de API também seja deletada.
CAROL_APP CAPL-3943 Correção de Erro Crítico na IA - CHURN EXPL
Foi identificado um erro ao consumir API, onde o domínio ..carol.ai foi bloqueado pelo CORS policy. O erro foi identificado nos ambientes de Homologação e Produção, com prioridade crítica. O produto/Carol APP relacionado foi IA - CHURN EXPL. Ao tentar consumir as APIs, foram retornados erros nos ambientes de desenvolvimento e na Carol.
BILLING CAPL-4084 Correção de Problema de Billing - Preview do Ciclo Anterior Agora Disponível
Nesta versão, foi corrigido um problema relacionado ao Billing. O problema era que, quando um novo ciclo começava e era calculado o preview do ciclo anterior, este era deletado. Agora, o preview do ciclo anterior permanecerá disponível até que o consolidado seja publicado.
BILLING CAPL-4085 Suporte para Exclusão de Rascunhos de Lotes
Nesta versão, foi adicionado suporte para excluir fisicamente rascunhos de lotes. Isso inclui a criação de uma tabela de staging, modelo de dados, processo de preenchimento, consulta nomeada, unificação de dados, gerenciador de alertas e gerenciamento de alertas.
ORGANIZATION_ADMIN CAPL-4159 Melhorias no Método getOrgUserNotInTenant para Migração Parcial
Neste release, foi refatorado o método getOrgUserNotInTenant para trabalhar com migração parcial para TenantUser. O método agora suporta todas as variações possíveis de migrações, incluindo migração parcial. Além disso, foi adicionado suporte para a tabela de staging, modelo de dados, fullfilment, consulta nomeada, unificação, gerenciador de alertas e gerenciamento de alertas.