CAPL_3.89
š Melhoriasā
BIG_QUERY CAPL-3853 Melhorias de Desempenho e Processos Paralelos para NotificaƧƵes de Esquema
Nesta atualização, melhoramos o desempenho e permitimos mais processos paralelos. Identificamos que os 6 trabalhadores nĆ£o eram suficientes para processar todas as notificaƧƵes de esquema rapidamente e eles estavam consumindo cerca de 3-4 GB de memória cada. TambĆ©m notamos que estĆ”vamos definindo como RUNNING apenas 20 modificaƧƵes de esquema por vez, mesmo após a escala para 10 trabalhadores. Assim que melhorarmos o consumo de memória, devemos resolver esta garganta de engarrafamento. Uma ideia tambĆ©m pode ser descartar logo as modificaƧƵes de esquema que nĆ£o afetam a tabela BigQuery, pois poderĆamos ter muitos pedidos sem alteraƧƵes. Considere esta estratĆ©gia, mas nĆ£o sabemos se isso ajudarĆ” de alguma forma.
BIG_QUERY CAPL-3920 Atualização de Segurança para Prevenir Exclusão de Tabelas de Staging no Pipeline Copy Data SQL
A partir desta atualização, nĆ£o serĆ” mais possĆvel excluir tabelas de staging que faƧam parte da lista de Pipeline Copy Data SQL. Quando tentar excluir uma tabela de staging que faƧa parte da lista, serĆ” necessĆ”rio verificar o mapeamento de Tenant. Esta atualização visa evitar que os usuĆ”rios excluam tabelas de staging que faƧam parte do manifesto de pipeline de cópia de dados.
BIG_QUERY CAPL-3928 Melhorias no Processo de Modificação de Esquema e Aumento de Memória para o Worker
Neste release, foi realizada uma modificação no esquema para que o processo seja processado por um worker. O worker estava morrendo devido a uma query, mas agora que o problema foi resolvido, o processo de modificação de esquema foi movido para o worker novamente. Além disso, para que o worker possa processar outras tarefas, foi necessÔrio aumentar a memória para 2Gi.
EXPLORE CAPL-3611 LanƧamento do ServiƧo V2 e Proxy de Roteamento
Foi criado o serviƧo (chamado v2) que serĆ” usado para o CRUD do Postgres. AlĆ©m disso, o Proxy deve ser criado para rotear a solicitação corretamente (v1 ou v2) com base no ID do Tenant da solicitação. Todos os itens da lista de verificação de desenvolvimento devem ser verificados para serem considerados como concluĆdos.
EXPLORE CAPL-4040 Novas Funcionalidades no Jira para BigQuery
BigQuery: informar se o resultado Ć© de cache ou execução. Adicionamos uma propriedade ao endpoint queryResults (query_sync e query_polling) para informar se os resultados vieram de cache ou de uma nova execução. Isso permitirĆ” que o usuĆ”rio oculte ou desative o botĆ£o "plano de execução" ou atĆ© mesmo adicione uma mensagem informando que os resultados vieram do cache do BigQuery. Esta funcionalidade estĆ” disponĆvel para todos os usuĆ”rios.
SQL_PIPELINES CAPL-4191 Novo Parâmetro Opcional para Endpoint "processQuery"
Foi criado um novo parĆ¢metro opcional para o endpoint āprocessQueryā (/api/v2/bigQuery/processQuery) chamado dontCreateIfRunningOrQueuedTasks, com valor padrĆ£o false. Tarefas criadas para processar dados (tarefas de processamento SQL) devem armazenar o nome da pipeline, da mesma forma que o Unified faz hoje. Se o parĆ¢metro for definido como true, o endpoint validarĆ” se hĆ” outra tarefa para o mesmo nome de pipeline em execução ou na fila. Se houver outra tarefa em execução ou na fila, serĆ” retornada uma resposta HTTP especĆfica (acreditamos que 200 Ć© adequado) e o documento da tarefa existente. Se o parĆ¢metro for definido como false, serĆ£o criadas as tarefas de processamento SQL como hoje, ou seja, nĆ£o haverĆ” validação de tarefas existentes. O endpoint ignorarĆ” o parĆ¢metro dontCreateIfRunningOrQueuedTasks se o nome da pipeline for nulo ou vazio (pipelineName.trim().length()).
š CorreƧƵesā
2C-CAROL_CONNECT CAPL-4060 Atualização de Segurança para o Banco de Dados do 2C
Nesta versão foi adicionada uma camada de segurança para a nova configuração de banco de dados do 2C. Foi criado um script para remover o usuÔrio anÓnimo do banco e adicionar o usuÔrio carol. Além disso, foi verificado quantos 2C estão na versão 3.6.x para verificar se hÔ necessidade de um script de correção. Esta atualização garante maior segurança para os dados dos clientes.
2C-CAROL_CONNECT CAPL-4123 Novas Funcionalidades para Validação de Token na Carol/2C
Foi corrigido um erro que ocorria ao tentar validar o token do usuÔrio na plataforma Carol/2C. Agora, não serÔ exibida mensagem de token invÔlido caso o token esteja correto.
2C-CAROL_CONNECT CAPL-4126 Correção de Bug e Melhorias no 2C
Nós corrigimos um bug que estava impedindo que a versão do 2C fosse enviada para os logs do heartbeat. Agora, a versão do 2C é enviada corretamente para os logs do heartbeat.
BIG_QUERY CAPL-4032 Correção de Problemas de Permissões ao Reprovisionar Tenant
Neste release, corrigimos um problema que não era resolvido automaticamente quando reprovisionamos um Tenant. Agora, aplicamos as permissões novamente em cada reprovisionamento para garantir que os problemas sejam resolvidos. Verificamos se a aplicação das mesmas permissões não terÔ efeitos colaterais no código (como uma exceção porque a permissão jÔ existe).
CAROL_APP CAPL-4015 Melhorias no Fluxo de ExceƧƵes do CarolApp
Nesta versão, melhoramos o fluxo de exceções na instalação do CarolApp. Tratamos alguns erros nos passos de restauração de template de entidade, relacionamento e mapeamentos de entidade. Após as últimas melhorias, notamos que a instalação do CarolApp estÔ abortando devido aos passos de restauração do esquema de staging. Isso faz com que o usuÔrio reprocesse as tarefas de instalação vÔrias vezes. Tratamos a exceção da mesma forma que fizemos para os passos mencionados acima. Esperamos que a atualização do esquema do BigQuery para a notificação da tarefa de alteração do esquema de staging e que seja feita uma nova tentativa de restauração dos esquemas de staging que falharam, como fazemos para os modelos de dados.
CAROL_APP CAPL-4046 Correção de Erro na Validação de Tag de Docker na Produção
A execução de jobs de AI Process estĆ” gerando erro na validação de tag de docker na produção. Durante a execução dos jobs de batch, ocorre uma exceção. O erro só ocorre no ambiente de produção, pois hĆ” um erro no código Java para obter o nome correto do job GCP do ambiente de produção. O comportamento esperado Ć© que a imagem docker seja validada durante a execução dos jobs de AI Process para evitar problemas durante o download da imagem no lado dos Operadores (jobs SRE). A Ćŗnica validação que deve falhar na tarefa Ć© a nĆ£o existĆŖncia da imagem informada no manifest na lista de tags disponĆveis no registry docker, as outras falhas das outras validaƧƵes devem ser convertidas para impressĆ£o de avisos nos logs para serem monitorados pelo time SRE.
CAROL_APP CAPL-4135 Correção de Falha no Teste de Unidade
Foi corrigido um problema no teste de unidade, que estava falhando na branch develop, pois agora estamos recebendo o código de resposta 403 da requisição em vez de 400 (Bad request). Foi realizada uma anĆ”lise para verificar se Ć© necessĆ”rio cobrir o comportamento de resposta de erro com o mĆ©todo, se nĆ£o for, substituĆ-lo por algum outro teste de unidade para garantir os casos de uso proibidos.
CONNECTOR CAPL-4051 Atualização da Arquitetura do Publisher do PubSub de Auditoria
Foi realizada uma mudança na arquitetura do nosso Publisher do PubSub de Auditoria para que seja instanciado corretamente. Todas as tabelas de staging agora podem enviar dados para o nosso PubSub de Auditoria. Foi adicionado um parâmetro no YAML para ativar essa funcionalidade (intake.yml, intake_docker.yml, mdm.yml e mdm-docker.yml). Somente serÔ inserido o payload na etapa de LANDING.
DATA_MODEL CAPL-4206 Melhoria na Adição de Valores ao Cache do Redis
Corrigimos o erro ao adicionar valores ao cache do Redis. Agora, os valores são adicionados corretamente ao cache.
ORGANIZATION/TENANT CAPL-3871 Correção de Bug: Chave de API não sendo deletada ao deletar OrgUser
Ao deletar o OrgUser, pois Ć© o Ćŗltimo TenantUser, sua chave de API nĆ£o estĆ” sendo deletada da Plataforma. Esse caso foi encontrado durante o trabalho de automação da equipe de QA. O Org User nĆ£o foi encontrado pois foi deletado, porĆ©m sua Token de API ainda estĆ” disponĆvel na plataforma. O comportamento esperado Ć© que, quando o Tenant User que gerou a chave de API for deletado, a chave de API tambĆ©m seja deletada.
CAROL_APP CAPL-3943 Correção de Erro CrĆtico na IA - CHURN EXPL
Foi identificado um erro ao consumir API, onde o domĆnio ..carol.ai foi bloqueado pelo CORS policy. O erro foi identificado nos ambientes de Homologação e Produção, com prioridade crĆtica. O produto/Carol APP relacionado foi IA - CHURN EXPL. Ao tentar consumir as APIs, foram retornados erros nos ambientes de desenvolvimento e na Carol.
BILLING CAPL-4084 Correção de Problema de Billing - Preview do Ciclo Anterior Agora DisponĆvel
Nesta versĆ£o, foi corrigido um problema relacionado ao Billing. O problema era que, quando um novo ciclo comeƧava e era calculado o preview do ciclo anterior, este era deletado. Agora, o preview do ciclo anterior permanecerĆ” disponĆvel atĆ© que o consolidado seja publicado.
BILLING CAPL-4085 Suporte para Exclusão de Rascunhos de Lotes
Nesta versão, foi adicionado suporte para excluir fisicamente rascunhos de lotes. Isso inclui a criação de uma tabela de staging, modelo de dados, processo de preenchimento, consulta nomeada, unificação de dados, gerenciador de alertas e gerenciamento de alertas.
ORGANIZATION_ADMIN CAPL-4159 Melhorias no Método getOrgUserNotInTenant para Migração Parcial
Neste release, foi refatorado o mĆ©todo getOrgUserNotInTenant para trabalhar com migração parcial para TenantUser. O mĆ©todo agora suporta todas as variaƧƵes possĆveis de migraƧƵes, incluindo migração parcial. AlĆ©m disso, foi adicionado suporte para a tabela de staging, modelo de dados, fullfilment, consulta nomeada, unificação, gerenciador de alertas e gerenciamento de alertas.