CAROL_ASSISTANT CAAS-268 Correção de Problema de Carregamento de Sessão e Melhorias na Página de Widgets
Foi corrigido um problema que impedia o carregamento da sessão na página de conversas (apenas no modo de desenvolvimento) e na página de widgets. Algumas melhorias foram feitas para garantir que o problema não volte a ocorrer.
CAROL_ASSISTANT CAAS-277 Validar cabeçalhos CORS no protocolo fallback do widget (Query HTTP)
Nesta atualização, validamos os cabeçalhos CORS no protocolo de recurso de widget (HTTP Query). Esta alteração permitirá que os usuários acessem os recursos de widget de forma segura.
CAROL_ASSISTANT CAAS-208 Correção de Problema no Envio de Dados para o Log Viewer na UI do Assistente Carol
Foi corrigido um problema no envio de dados para o Log Viewer na UI do Assistente Carol, onde o campo parâmetro tinha uma propriedade com dados inválidos. A propriedade permissao_transbordo deveria ser codificada como string e não como booleano.
CAROL_ASSISTANT CAAS-300 Extração de Logs da Assistente de RH para Análise da Área de Recursos Humanos
Esta issue foi criada para solicitar a extração dos logs da Assistente de RH, visando a análise pela nossa equipe da Área de Recursos Humanos. O objetivo é entender melhor as interações e o desempenho da assistente relacionadas aos recursos humanos. A extração deve abranger um período relevante para a análise (Agosto/23). A mesma solicitação foi feita no último mês, e a issue anterior pode ser consultada para dúvidas.
ALERTS_MANAGEMENT CAPL-4619 Melhorias na Funcionalidade de Alerts Management
Foi realizada uma melhoria na funcionalidade de Alertas. Agora, os eventos abertos são destacados na tabela, a largura do painel lateral foi aumentada para que se possa ler melhor os detalhes de cada evento, os valores dos filtros são ordenados alfabeticamente e foi adicionado um guarda para que usuários com o papel OrgUsers não possam acessar o conteúdo de Alertas.
BIG_QUERY CAPL-4484 Novas Funcionalidades para Provisionamento com MigrateKeepingData
Agora, é possível chamar o provisionamento com migrateKeepingData mesmo que o tenant já esteja na última versão. Não permitimos usar essa flag se o provisionamento anterior falhou (ERRO). Apenas permitimos migrar mantendo os dados se o provisionamento anterior tiver status DONE ou DONE_WITH_ERROR. Se o último provisionamento definir o status do tenant como READY_WITH_LOAD_ERROR, então devemos manter o mesmo status. (Porque um provisionamento mantendo os dados não corrige os dados em si, apenas a estrutura das tabelas).
BIG_QUERY CAPL-4584 Mudança no Log de Mensagem para Comando DROP COLUMN
Nesta atualização, foi alterado o log de mensagem de INFO para WARNING quando relacionado ao comando DROP COLUMN. Quando um comando de mudança de esquema exclui uma coluna, ele registra uma mensagem como INFO, tornando mais difícil encontrar essa alteração importante. Agora, essa mensagem será registrada como um WARNING. Esta atualização afeta todos os usuários que usam o comando DROP COLUMN.
BILLING CAPL-4589 Melhorias na Pesquisa de Usuários e Novas Funcionalidades no Billing Admin
Nesta atualização, corrigimos um problema que impedia que a pesquisa de usuários filtrasse os resultados corretamente.
BILLING CAPL-4768 Adição de Coluna de Referência de Mês e Exportação de CSV
Foi realizada a inclusão de uma coluna com mês de referência no download de invoice e opção de exportar o csv. Esta coluna possui o mesmo valor para todas as linhas, relacionado ao período de entrada do item de recurso. Além disso, foi adicionada a opção de exportar o arquivo csv.
SQL_PIPELINES CAPL-4605 Atualização do Parâmetro RealTimeDisable para Tenants Unificados
Resolução: Foi criado um parâmetro chamado RealTimeDisable que é definido como TRUE para todos os Tenants Unificados. O campo Enable Realtime Storage foi desabilitado para os Tenants Unificados para evitar que o usuário possa marcá-lo. O Tooltip foi atualizado para informar que os Tenants Unificados não podem ter o tipo de armazenamento Realtime habilitado. O campo de tipo Unified foi atualizado para informar que os Tenants Unificados centralizam os dados e tarefas de processamento do Carol Apps e não podem ter o tipo de armazenamento Realtime.
TENANT_ADMIN CAPL-4324 Adicionando Emails de Carol ao GCP IAM
Foi criado um endpoint para adicionar emails de Carol ao GCP IAM. O endpoint é um pedido de sincronização e enviará uma lista de usuários para adicionar e remover do IAM. Se ocorrer algum erro, será retornado um erro claro na resposta. Se algum usuário que está sendo adicionado já estiver no IAM, será ignorado. Se algum usuário que está sendo removido não estiver mais no IAM, também será ignorado. Os emails devem ser da Totvs. Existe uma cota de 600 políticas por minuto. Só os usuários OrgAdmin e intern token LocalApiAuthorization podem adicionar usuários. Foi criada uma regra personalizada para SRE. Não é necessário armazenar os pedidos e seus status em uma tabela PG, mas é possível registrar os corpos dos pedidos como debug. Não devem ser permitidos dois processos concorrentes para o mesmo tenant. Para erros genéricos do GCP, será retornado um erro 500. Para limite de cota, deve ser retornado o erro 4xx mais apropriado. Se outros tipos de erros forem identificados com antecedência, deve ser usado um erro 4xx apropriado.
ACTIVITY_MANAGEMENT CAPL-4754 Título de Release Notes: Correção do problema de tarefas de alteração de esquema de notificação falhando para tabelas de estágio
Notification Schema Change tasks should not fail for staging tables. 06 - CURRENT BEHAVIOR (LIST THE CURRENT BEHAVIORS): . Notification Schema Change tasks are failing for staging tables with an Avro file not found error. Release Notes: O problema de tarefas de alteração de esquema de notificação falhando para tabelas de estágio foi corrigido. O erro de arquivo Avro não encontrado não será mais exibido. A tarefa de alteração de esquema de notificação não deve mais falhar para tabelas de estágio.
ACTIVITY_MANAGEMENT, APP CAPL-4765 Correção de Erro no Planova Clockin Backoffice e Adição de Named Query
Foi corrigido um erro no ambiente Notify Schema do Planova Clockin Backoffice. O erro ocorria ao tentar acessar a Staging Table e o Data Model do Fullfilment. Além disso, foi adicionada a Named Query para o Unified Alert Manager e o Alert Management. Agora, o ambiente está funcionando corretamente.
BIG_QUERY CAPL-4432 Melhorando a Resiliência da Plataforma: Correção de Erro 409
Foi corrigido um problema que ocorria durante a morte de um pod de trabalho, onde a plataforma aguardava o mdmTaskId da resposta do endpoint {{/v1/schema/{mdmEntityName}}. Como o erro 409 ocorria, o ID da tarefa ficava nulo. Para melhorar a resiliência da plataforma, foi feita uma revisão do comportamento deste endpoint, lendo o ID da tarefa disponível no código ao invés de ler a resposta do endpoint. Foram realizadas análises e definidas instruções para a solução do problema.
BIG_QUERY CAPL-4451 Correção de Status de Tenant durante Provisionamento Parcial
Foi corrigido um problema que ocorria durante a provisionamento parcial, onde o status do Tenant era atualizado para READY mesmo quando haviam outras tabelas com erro de carregamento. Por exemplo, se durante a primeira provisionamento houvessem 5 tabelas com erro de carregamento, o status seria atualizado para READY_WITH_LOAD_ERROR. Porém, se o usuário solicitasse um provisionamento parcial para apenas uma dessas tabelas, o status seria atualizado para READY, o que não deveria acontecer. Agora, o status será mantido como READY_WITH_LOAD_ERROR até que todas as tabelas sejam corrigidas.
CAROL_APP CAPL-4465 Melhorias no Processo de Reconciliação de Tarefas
Nesta atualização, foi realizada uma melhoria no processo de reconciliação de tarefas que estão em execução há mais de 30 dias. Foi definida uma melhor maneira de diferenciar e identificar o Status do Processo do Status da Tarefa. Além disso, foi implementada uma thread para verificar o processo de reconciliação de processos AI Batches que estão completos. Esta atualização também atualizou o comportamento esperado para considerar este bug como resolvido.
CONNECTOR CAPL-4593 Correção de Loop Intenso na UI de Staging
Foi identificado um cenário com mais de 2k solicitações a um select, que parece ter origem na UI de Staging. A hipótese é que algum cenário neste Tenant possa estar causando um loop de select, originado nestas URLs. Não sabemos se isso é relevante, mas ambos os Stagings com problemas parecem ter ETL aplicado. O objetivo desta atualização é identificar cenários potenciais para um loop intenso na UI de Staging e, se encontrado, adicionar algum mecanismo de atraso ou debounce.
DATA_PROCESSING CAPL-4714 Correção de Issue no App InsightsBackoffice
Foi identificado que o app insightsbackoffice não criou as tasks de cópia para o unificado para os tenants 4ada68fe5dcb4ce78f91111f64fa3e47 e 6bf22680ab664026ac127f4f856ecd85. Foi verificado que as stagings não foram materializadas e não há dados do cliente na tenant unificada. Foi realizada a correção da issue e as tasks de cópia foram criadas para o unificado.
ORGANIZATION/TENANT CAPL-4691 Melhorias nos Logs de Migração de Tenant para Somente Leitura
Melhoramos o log quando falha ao mudar um Tenant para somente leitura. Durante o processo de migração, o sistema só registra quando todas as tentativas foram feitas para mudar um Tenant para somente leitura, deixando-nos sem logs por cerca de 3 minutos durante o processo de migração. Agora, o sistema registra cada tentativa que falha ao mudar um Tenant para somente leitura, permitindo que possamos identificar e corrigir problemas mais rapidamente.
SQL_PIPELINES CAPL-4532 Revisão da Conexão do Repositório BitBucket no Jira - Correção de Erros e Melhorias na Experiência do Usuário
Atualização de notas de lançamento para o Jira: BitBucket Repository Connection Review. Esta atualização resolve o problema de não conseguir ver a lista de IDs de commit para o repositório Bitbucket. Além disso, corrige o erro que ocorre ao tentar usar um Token de senha. Esta atualização também melhora a experiência do usuário ao usar o ambiente de produção.
SQL_PIPELINES CAPL-4551 Lançamento de Melhorias no Checkout de Tenants Unif
Neste lançamento, resolvemos o problema de timeout ao executar o checkout em Tenants Unif. O checkout agora é executado como uma tarefa, tornando o fluxo assíncrono. Esta funcionalidade está disponível para Tenant Admin em Tenants Unif.
PYCAROL DASC-1142 Novos Filtros no BQStorage: Melhorias no PyCarol
Nesta versão, adicionamos filtros de linha em sessões de leitura do BQStorage.
PYCAROL DASC-1170 Novas Funcionalidades de Acesso à API de Leitura de Armazenamento do BigQuery no pyCarol
Nesta versão, foi implementada a capacidade de acesso à API de leitura de armazenamento do BigQuery no pyCarol. Esta funcionalidade permite que aplicativos na Carol possam fornecer o filtro a ser aplicado e ter acesso aos dados através da API de leitura de armazenamento do BigQuery.
PYCAROL DASC-1191 Corrigido bug na interface com BQ Storage
Na versão antiga, existia a possibilidade do retorno da query do BQ Storage não retornar todos os registros. A nova versão retorna todos os registros consultados.
PYCAROL DASC-1208 Adiciona rótulos (labels) para os BigQuery Jobs.
Neste lançamento, foi implementada a capacidade de enviar rótulos para o BigQuery em cada trabalho de consulta do pyCarol. Estes rótulos podem ser utilizados para agrupamentos do GoogleCloudPlatform.
PYCAROL DASC-1234 Exposição do job após consultas no BigQuery
Agora é possível verificar os logs de trabalho do Big Query, como ID do trabalho, hora de criação, hora de início, hora de término, tempo de slot consumido, resultados em cache e assim por diante, usando o módulo BQ do Pycarol.
PYCAROL DASC-1162 Retrocompatibilidade com tipos depreciados em NumPy >= 1.20
Corrigido bug onde se usava tipos depreciados a partir da versão 1.20 do NumPy pelo PyCarol.
PYCAROL DASC-1196 Incompatibilidade entre dependências do PyCarol
Bibliotecas pandas e numpy foram ajustadas para compatibilidade mínima.
PYCAROL DASC-1272 Suporte a versões recentes da urllib3
A versão da biblioteca urllib3 não estava fixa o que podia resultar em incompatibilidades entre o PyCarol e essa biblioteca. Modificamos o código para aceitar assinaturas mais modernas da urllib3.
CAROL_ASSISTANT CAAS-285 Correção do Problema com o Widget HTTPS
Foi corrigido um problema com o Widget HTTPS, onde conversas vazias eram exibidas. Foi verificado se as entradas vazias deveriam ter algum conteúdo visível ou se deveriam ser removidas.
CAROL_ASSISTANT CAAS-287 Melhorias na Assistente: Resolução de Problemas no Treinamento de Intenções
Resolvemos um problema significativo que estávamos enfrentando durante o treinamento de intenções na Assistente. Agora, as alterações feitas no nó "Default Welcome" são refletidas na Assistente após o treinamento.
CAROL_ASSISTANT CAAS-293 Extração de Logs da Assistente de RH para Análise da Área de Recursos Humanos
Foi realizada a extração dos logs da Assistente de RH, visando a análise pela equipe da Área de Recursos Humanos. Os logs abrangem um período relevante para a análise (janeiro até julho).
ALERTS_MANAGEMENT CAPL-4350 Melhorias na Interface do Alert Manager
Neste Jira, foram feitas pequenas mudanças para melhorar a interface do Alert Manager. As mudanças incluem a alteração da ordem das abas para Notificações/Eventos/Políticas de Alerta, acesso ao Alert Manager a partir da página inicial, alterações na tabela de notificações, detalhes da notificação, página vazia de notificações, tabela de eventos, detalhes do evento e políticas de alerta. Além disso, foram adicionadas informações sobre o tipo, data/hora, fonte e gravidade, e foi indicado o canal inativo.
BIG_QUERY CAPL-4427 Melhorando a compreensão de incidentes: Atualização para tarefas de dados (bq)
Atualização para tarefas de dados (bq) para serem mais verbosas. Agora, quando ocorrem incidentes, será possível ter uma melhor compreensão do que está acontecendo, pois serão adicionadas informações detalhadas às tarefas. Além disso, foram adicionadas informações detalhadas às tarefas de cópia de dados, notificação de alterações de esquema e provisionamento de Tenant com manutenção de dados.
BILLING CAPL-4371 Novo Recurso: Processamento de Cobrança por Batch_ID
Agora é possível processar a cobrança, pipelines, usando um batch_id existente. Esta capacidade substituirá qualquer cobrança existente para o batch_id especificado.
BILLING CAPL-4502 Novas Visualizações de Dados para Billing Admin com Botão "Comparar Batches"
Agora é possível para o Billing Admin visualizar os dados de forma tabular. Foi adicionado um botão "Comparar batches" na aba Batch Process. Ao navegar para a tabela de Comparar batches, é possível filtrar por recurso, tenant, período e batch.
CAROL_APP CAPL-4508 Atualização do App Carol: Evitando Incidentes Relacionados
Agora, as alterações realizadas na Jira permitem que a instalação de um App Carol não materialize as tabelas de staging para o conector protheus_carol. Apenas cria o conector, caso ele não exista. Além disso, foi adicionado um parâmetro para forçar a materialização das tabelas de staging para essa tarefa de instalação do App Carol. Estas alterações permitem que sejam evitados novos incidentes relacionados ao App Carol.
CONNECTOR CAPL-4425 Notificação de Descontinuação do Mapping and Cleansing Rule
Agora, os usuários do tenant receberão uma notificação de que o Mapping and Cleansing Rule está prestes a ser descontinuado no final deste ano. Esta notificação informará aos usuários que eles devem migrar para o SQL Processing. A documentação sobre como migrar e remover o Mapping and Cleansing Rule estará disponível. Uma regra será definida para mostrar a mensagem, excluindo os tenants de clientes (por exemplo, o cliente do Clockin). Esta notificação será exibida para todos os usuários do tenant que ainda estão usando o Mapping and Cleansing Rule e que não estão marcados como SQL Only.
ORGANIZATION_ADMIN CAPL-2909 Atualização de Status Online para Usuários
Foi adicionado um listener para saber quando o usuário está de volta online e alterar o alerta de status offline. Quando o usuário estiver de volta online, será exibida uma notificação de conexão restaurada e o tempo da última atualização.
PLATFORM CAPL-4153 Novo Endpoint para Acionar Coletor de Estatísticas para Tenants
Foi desenvolvido um endpoint para acionar o coletor de estatísticas para um Tenant. O coletor de estatísticas será executado duas vezes por dia para cada Tenant provisionado, mas um usuário Tenant também poderá acionar o coletor de estatísticas para seu Tenant. Cada Tenant pode acionar este endpoint a cada 15 minutos. Se algum Tenant acionar mais rápido que isso, podemos retornar 429. Se já houver um coletor em execução para este Tenant ou para todos os Tenants, retornar 409 e a mensagem explicando. No endpoint GET estatísticas desenvolvido na cartão acima, também devemos retornar o status do coletor para este Tenant. Se houver um coletor em execução neste momento, podemos retornar: "RUNNING", se não houver coletor em execução, podemos retornar “DONE" e, se houve um erro na última coleta, podemos ignorar e retornar o status “DONE" também, já que as estatísticas que o usuário verá estão relacionadas ao sucesso. Em outras palavras, devemos trazer as últimas estatísticas DONE e também trazer o último status de estatísticas para este Tenant. Não retorne outros status como "PUBLISHED", por exemplo, pois é um controle interno. Os consumidores só querem saber RUNNING ou DONE. Se for “PUBLISHED", "RUNNING" retornar "RUNNING”. Se for “ERROR", “CANCELED", “DONE", retornar “DONE". Mas lembre-se, as estatísticas devem sempre ser do último processo
SQL_PIPELINES CAPL-4329 Atualização Otimizada para Execução de Notificações de Aplicativos Externos
Agora foi lançada uma atualização para otimizar a execução baseada em notificações de aplicativos externos. O tempo limite para summaries abertos automaticamente foi alterado para 30 minutos, enquanto que para os summaries recebidos via API pelo Smart Link, o tempo limite é de 30 minutos. Quando o summary não tiver dados enviados, terá o status de NO_PIPELINE_EXECUTE. Esta atualização deve reduzir o número de tarefas de processamento SQL a serem executadas e cobrir tarefas agendadas e Orchestrator.
SQL_PIPELINES CAPL-4346 Adicionando Parâmetro Opcional ao Endpoint "processQuery" para Identificar de onde veio a Pipeline
Foi adicionado um parâmetro opcional ao endpoint "processQuery" para que seja possível enviar o nome da aplicação Carol. O parâmetro é opcional, mas se for enviado, a informação estará disponível na tarefa criada. Esta alteração permite que seja possível identificar de onde veio a pipeline, considerando que o nome da pipeline é único por nome da aplicação Carol. A alteração também não afeta a eficiência do SQL Processing (OKR-01). Esta funcionalidade está disponível para Tenant Admin e Carol Admin.
SQL_PIPELINES CAPL-4458 Novo Recurso: Notificação de BatchId Pronto para Processamento
Resumo: Foi implementada uma funcionalidade para notificar o time Smartlink que um batchId específico está pronto para ser processado. Para isso, foi necessário armazenar informações na nível da Organização, como URL Rack, Client Id & Secret e URL Observabilidade. Além disso, foi necessário gerar um token de acesso a partir do RAC, que tem validade de 20 minutos. Para otimizar o processo, o token deve ser armazenado/cacheado para futuras requisições.
SQL_PIPELINES CAPL-4561 Novos Parâmetros de Fanout para Processamento de Dados em Tenants Unificados
Nesta atualização, foi adicionado um parâmetro ao endpoint processQuery que permite especificar se deve ou não haver fanout dos dados para os tenants dos clientes quando processando dados em um tenant unificado. Este parâmetro ajudará a processar dados em tenants unificados sem erros de OOM. O valor padrão é que o fanout seja realizado (comportamento atual).
ACTIVITY_MANAGEMENT CAPL-4285 Correção de problema de tarefas executadas após exclusão de Tenant
Foi corrigido um problema onde tarefas criadas após a exclusão de um Tenant eram executadas mesmo após a exclusão. O StaleTaskCheckJob deixou de tentar reagendar essas tarefas. Os logs podem ser encontrados no link. Espera-se que as tarefas não sejam mais executadas após a exclusão de um Tenant.
BIG_QUERY CAPL-4437 Correção de Erro de Esquema na Instalação da Aplicação Carol
Atualização de Release: Houve um erro de esquema ao instalar uma aplicação em alguns Tenants, o que moveu as tabelas de staging existentes para o status INATIVO. O contato para questões sobre o problema é Breno Zipoli Monteiro Papa e Robson Thanael Poffo. A maioria das tabelas com status INATIVO são app_setting e currency. Uma tarefa que instalou a aplicação e o problema DE que está trabalhando estão listados. O comportamento esperado é que a instalação da aplicação Carol mantenha o status correto.
CAROL_APP CAPL-4334 Resolução de Erro Após Exclusão de Branch no GitHub
Após a exclusão de uma branch no GitHub, a aplicação não está mais no modo de desenvolvimento. O erro parece ter relação com a integração com o GitHub, pois a chamada de post em /clone/ retorna erro. O comportamento esperado é que a aplicação mantenha o status correto, "dev", permitindo que o usuário altere a configuração do GitHub e corrija o problema.
CAROL_APP CAPL-4540 Correção de Erro na Configuração do Repositório Azure na Plataforma Carol
Nesta versão, corrigimos um erro que ocorria ao tentar configurar o repositório Azure na Plataforma Carol. O cliente precisava alterar o token atual para o novo, mas não conseguia realizar essa configuração. O erro também ocorria ao tentar criar uma nova versão da aplicação. O Tenant foi alterado e o erro era que havia problemas com as definições de conexão da aplicação meupostobycarol, o que impedia que os dados fossem visíveis até que os problemas fossem corrigidos. Agora, esses problemas foram corrigidos e a configuração do repositório Azure na Plataforma Carol está funcionando corretamente.
CONNECTOR CAPL-4447 Resolução de Divergências entre Tabelas Records_Landing e Intake
Corrigimos um erro que ocasionava divergência na chegada dos dados na Carol, devido a atualização de schema não ter ocorrido a tempo dos dados serem gravados na staging area. Como ação, a Carol vai retornar um erro 4xx informando que o schema vai ser alterado. O erro 4xx é para que o aplicativo reenvie os dados novamente depois (quando o schema estiver atualizado).
ORGANIZATION/TENANT CAPL-4151 Correção de Problema de Sobreposição de TenantId no Swagger para Usuário Carol Admin
A correção para o problema de sobreposição de tenantId no Swagger para o usuário Carol Admin foi implementada. Agora, ao usar qualquer endpoint no Swagger usando o campo de sobreposição de tenantId, o Swagger passa corretamente o parâmetro overriddentenantid. Além disso, foi adicionada uma informação visual para alertar o usuário de que existe uma sobreposição de tenant definida.
PLATFORM CAPL-4483 Resolução do Erro de Autorização na Cópia de Dados para o Tenant Unificado
Corrigimos um erro de autorização na tarefa de cópia de dados do ambiente de staging para o tenant unificado. O erro ocorria quando a instalação do App Carol era feita em uma organização diferente da organização do tenant unificado. Agora, o usuário precisa estar presente na organização do tenant unificado para que a tarefa de cópia de dados seja executada com sucesso.
SHARED_DATA CAPL-4446 Correção de Erro na Criação de Sharing Group With View
Foi desenvolvida uma solução para o problema reportado, onde a query não estava sendo aceita como uma query válida para uma Shared View. A partir de agora, queries como essa devem funcionar normalmente.
SQL_PIPELINES CAPL-4211 Correção do Campo Last Run para Exibir Última Execução de Tarefas
O campo Last Run deve exibir a última execução de tarefas.Nós corrigimos um problema que impedia que o campo Last Run exibisse a última execução de tarefas. Agora, o campo Last Run exibe corretamente a última execução de tarefas.
SQL_PIPELINES CAPL-4328 Melhorando a Execução de Tarefas SQL com Notificação de Aplicativo Externo
Otimizar a execução com base na notificação de aplicativo externo - Arquitetura. Esta issue trata da otimização do processamento de tarefas SQL, que atualmente estão sendo executadas sem processar dados em 70% dos casos. A solução proposta é permitir que os remetentes (como o Smart Link) notifiquem a Carol que um lote de dados foi completamente enviado para que ela possa iniciar o processamento dos dados. Para isso, será criado um diagrama com a solução a ser implementada para resolver o problema de execução de pipelines SQL somente quando o aplicativo externo enviar a notificação de que todas as mensagens foram enviadas.
SQL_PIPELINES CAPL-4333 Correção de Bug no Endpoint "/api/v2/bigQuery/processQuery"
Foi corrigido um bug no endpoint "/api/v2/bigQuery/processQuery" que estava criando tarefas para Tenants deletados. Agora, a Carol valida se o Tenant existe quando chamado o endpoint. Se o Tenant não existir, é retornado um erro (412 - Pre conditions FAILED).
SQL_PIPELINES CAPL-4525 Correção de Erro na Execução de Pipelines na Organização TOTVSTECHFINDEV
Foi corrigido um erro na execução de pipelines que causava uma OutOfMemoryException. O erro ocorria na organização totvstechfindev, no produto insightsbackoffice, no ambiente de produção. A prioridade desta issue era alta, pois gerava interrupção no funcionamento da aplicação. Foi realizada uma atualização na Carol APP, na versão 0a1f13abb6f34c5a9bdf2085f5d49e69. Além disso, foi corrigida uma falha de task, com o link da tenant da task em questão. Não foi necessário realizar nenhuma alteração no banco de dados 2C. Esta correção foi realizada para melhorar a performance da plataforma.
SQL_PIPELINES CAPL-4528 Melhoria de Velocidade de Processamento de Dados do SQL e Adição de Funcionalidade de Cancelamento de Tarefas
Esta atualização melhora a velocidade de processamento de dados do SQL. O tempo de execução da query foi reduzido para menos de 1 minuto, enquanto o tempo de envio de dados para o BQ e RT layers foi reduzido para menos de 10 minutos. Além disso, foi adicionada uma funcionalidade que cancela a tarefa após 30 minutos de espera para o Dataflow iniciar. Esta funcionalidade está disponível para o Tenant Admin.
TENANT_ADMIN CAPL-4426 Remoção do Rodapé dos Emails do Carol Notification
Nesta atualização, foi removido o rodapé dos emails enviados pelo Carol Notification. O rodapé continha o link para o contato conosco, o que estava gerando emails indevidos para o nosso time de suporte. Com esta mudança, esperamos reduzir o número de emails indesejados.
2C-CAROL_CONNECT CAPL-4433 Correção para o tipo de dados inteiro quando a precisão no tipo number no Oracle for negativa
Se a conexão for com o Oracle, qualquer tipo de dado NUMBER (sem especificar a precisão) será considerado como INTEGER na Plataforma Carol (atualmente é considerado como double). Se o Oracle tiver um campo definido como NUMBER com precisão (NUMBER(3,2)), será criado como double na Carol.
ALERTS_MANAGEMENT CAPL-4347 Integração de novas tenants com Alert Manager
Nesta versão, foi implementada a integração do Alert Manager através de serviços habilitados na criação de novas tenants.
BIG_QUERY CAPL-4449 Considerar o status READY_WITH_LOAD_ERROR como PROVISIONED
Alterada a configuração das Tenants com o item mdmBigQueryStatusType = READY_WITH_LOAD_ERROR com o mesmo comportamento do mdmBigQueryStatusType = READY
BILLING CAPL-4147 Novas Funcionalidades para Compartilhamento de Filtros nas consultas do Billing
Nesta versão, foi implementada a capacidade de expressar os filtros ativos na URL como queryParams. Esta funcionalidade permite que os filtros sejam compartilhados entre usuários e aplicações. Além disso, a URL pode ser salva para acesso posterior.
BILLING CAPL-4351 Melhorias no gráfico de colunas e nas legendas
Foram realizadas melhorias na visualização das colunas estabelecendo um tamanho mínimo no espaçamento entre elas, além de um largura máxima da coluna, e a aplicação de um efeito de fundo na legenda ao passar o mouse sobre um determinado segmento da coluna.
BILLING CAPL-4352 Nova Funcionalidade de Orçamento na Fatura
Agora é possível adicionar e editar o valor do orçamento na primeira tela da fatura. Se o orçamento estiver vazio, será exibido um rodapé com um link para o painel lateral. Se o orçamento estiver preenchido, será exibido um ícone para editar e abrir o painel lateral. O painel lateral permite que o usuário adicione ou edite o valor do orçamento.
BILLING CAPL-4370 Melhorias nos Gráficos
O módulo Billing recebeu melhorias nos gráficos que mostram os custos por serviço, colocando serviços maiores no topo da barra, permitido interagir com a legenda desmarcando opções com clique (facilitando a operação para remover serviços maiores para focar em custos menores). Também adotamos um padrão de cores para manter coerência quando navegando entre os meses (serviços possuem cores padrões).
BILLING CAPL-4459 Novo serviço para o Billing: Dataflow Streaming
Adicionamos como novo recurso o serviço de Dataflow Streaming permitindo sua cobrança nas faturas de clientes que o utilizam.
CONNECTOR CAPL-4148 Bloqueio de Exclusão de Dados no Tenant Unificado
Com esta atualização, não é mais possível excluir uma tabela de staging ou dados de staging do Tenant Unificado. Foi criado um bloqueio para impedir que o Tenant Unificado exclua qualquer staging ou conector que seja referenciado no arquivo SQL Manifest. Além disso, o Flow “Delete Staging Table Records” e os Flows de entrada para excluir dados (usando crosswalk) também estão bloqueados. O Explorer também não permite a exclusão de dados. Apenas os CAROL ADMIN podem excluir um staging ou conector, mas a exclusão de dados está bloqueada para todos, incluindo o CAROL_ADMIN.
CONNECTOR CAPL-4201 Nova Funcionalidade para Atualização do Conector
Adicionamos um ícone de atualização de conector na lista de etapas do conector para melhorar a experiência do usuário. Esta funcionalidade está disponível para todos os usuários. O ícone de atualização de conector permitirá que os usuários atualizem os dados do conector com facilidade.
SQL_PIPELINES CAPL-4162 Adição de Label para Jobs do BigQuery
Foi adicionado um label para os jobs do BigQuery, tendo como intuito a melhoraria da rastreabilidade e visualização das tarefas durante os processos de análise e realização de tarefas em geral na plataforma relacionadas ao BigQuery.
ACTIVITY_MANAGEMENT CAPL-4489 Correção de Erros no APP Clock In Backoffice
Foi corrigido um problema que causava falhas na atualização do APP Clock In Backoffice devido as falhas e travamentos em tasks de Notify Schemas Changes. O problema ocorria em diversos ambientes e a mensagem de erro era "message": "Unable to provision. There is a schema change task running." Agora, as tasks de Notify Schema Changes, Install e Provision BigQuery Update Data Model and Staging estão funcionando corretamente.
APP, DATA_PROCESSING CAPL-4080 Solução de Problemas no Segmento CLOCK IN
Correção realizada na propagação e processamento de novos usuários para o Clock in.
BIG_QUERY CAPL-4384 Correção do Erro de Autorização na Tarefa de Copiar Dados da Aplicação
Corrigimos o erro de autorização na tarefa de Copiar Dados da Aplicação para o Tenant Unificado. Agora, a tarefa é capaz de iniciar mesmo em organizações diferentes.
BIG_QUERY CAPL-4423 Correção do Problema de Status de Big Query
Corrigimos o problema de status de Big Query que estava preso em LOADING_DATA.
CAROL_APP CAPL-4307 Correção de Erro na Configuração de Repositório Privado/Público
Neste lançamento, corrigimos um erro que ocorria ao tentar salvar uma configuração incorreta para um repositório privado/público. Ao fechar e retornar à tela de configuração, o resumo mostrava a configuração salva, quando deveria ser exibido sem nenhuma configuração. Agora, ao salvar uma configuração incorreta, o repositório será aberto novamente para seleção em uma configuração limpa.
CONNECTOR CAPL-4296 Correção de problema no upload de snapshot de staging com Lookup habilitado
Foi corrigido um problema no qual o parâmetro "mdmLookupTable" não era passado no payload quando o usuário fazia o upload de um snapshot de staging com Lookup habilitado. Agora, o parâmetro é passado corretamente.
DATA_PROCESSING CAPL-3891 Atualização de Documentação do BigQuery para Fluxo de Dados
Nesta atualização, foi implementada a documentação para salvar todos os passos de fluxo de dados dentro do BigQuery. Foi criada uma documentação explicando os passos no Notion. Além disso, foi notificado o time de Produto após a conclusão da documentação. Esta atualização é destinada a todos os usuários.
ORGANIZATION_ADMIN CAPL-4177 Correção de erro no painel de usuário da organização referente ao TenantUsers
Nesta atualização, corrigimos um problema que fazia com que a quantidade de TenantUsers fosse sempre zero no painel de usuário da organização, mesmo quando os usuários da Tenant estavam no Postgres. Agora, a quantidade de TenantUsers é exibida corretamente no painel de usuário da organização.
ORGANIZATION/TENANT CAPL-4422 Melhorias na Plataforma: Correção de Status, Data Model e Fullfilment
Nesta versão, corrigimos um problema que estava enviando o status errado para o Tenant. O status esperado era READY_WITH_LOAD_ERROR, mas a Platforma estava enviando READY_LOAD_FAILED.
ORGANIZATION/TENANT, TENANT_ADMIN CAPL-4505 Correção de Problema de Atualização de TenantType Development
Foi corrigido o problema que impedia a criação/atualização de um tenant como TenantType Development. Agora é possível criar/atualizar um tenant como TenantType Development. No entanto, em algumas situações, se tentarmos atualizar o tenant para ser um TenantType Development, o tenant ainda será um CUSTOMER. Para aplicar a atualização do TenantType, é necessário executar o endpoint duas vezes.
SQL_PIPELINES CAPL-4435 Correção de Bug no Processo de Pipeline de Tenants
Correção do bug que impedia que os Tenants fossem exibidos e selecionados corretamente no processo de Pipeline.
TENANT_ADMIN CAPL-4450 Correção de problema no BackOffice da Icomon ClockIn
Foi corrigido um problema no BackOffice da Icomon ClockIn, onde o Data Access Level não estava respeitando as regras de acesso, tratando o operador AND como se fosse OR. O impacto foi médio, pois o número de funcionários sincronizados era maior que o esperado. O comportamento esperado é que a configuração de DAL funcione corretamente para que o número de funcionários seja o real.
ALERTS_MANAGEMENT CAPL-3844 Novas Funcionalidades do Alerts Management
lerts Management: Events Listing, Filters & Sorting. Esta issue trata da criação de uma lista de eventos em uma nova aba "Eventos" contendo: data/hora de envio, severidade, ação e fonte, tipo de ação, organização, Tenant e tipo de Tenant. Ao clicar em um evento, abrirá um painel lateral com: tipo de ação, evento enviado, URL de origem, usuário proprietário do evento/tarefa, severidade, fonte, ação, nome da política (link para política), data e canal se foi notificado.
BIG_QUERY CAPL-4038 Nova Funcionalidade: Migração de Tenants para a Versão Mais Recente do BigQuery
Como administrador de organização, eu deveria ser capaz de migrar uma tennant para a nova versão do BigQuery. Foi adicionada ação abaixo do status do Big Query no painel da Tennant. Estas ações são apenas para administradores de organização. A ação de provisionamento apaga o Big Query da Tennant e o recria, sempre exigindo uma confirmação dupla. A ação de migração para a versão mais recente atualiza para a versão mais recente, mas só está disponível quando a versão não está atualizada. Os dados existentes compartilhados devem funcionar após a migração, assim como os pipelines SQL. Os dados ainda são acessíveis através da tabela de staging e do explore.
BILLING CAPL-4061 Melhorando o Acesso ao Carol Billing na Org Admin
Nesta atualização, foi realizada uma revisão na página inicial da Org Admin para promover um acesso mais fácil ao Billing. Existem duas páginas iniciais: uma para usuários que possuem tenants e outra para usuários que não possuem tenants. O objetivo é tornar o link para o Carol Billing mais visível para usuários que seguem essa regra: usuários da Org que selecionam o tenant para acessar e usuários da Org que não têm acesso ao Billing. O ícone deve sempre estar visível e informar ao usuário que não tem acesso ao Billing, caso o usuário atual não tenha acesso a ele. O link só será visível se o usuário tiver acesso ao aplicativo Billing.
BILLING CAPL-4232 Nova Funcionalidade: Filtrar Gráfico por Legenda
Agora, foi lançada uma nova funcionalidade que permite aos usuários filtrar o gráfico clicando na legenda do gráfico. Esta funcionalidade está disponível para todos os usuários. Esta funcionalidade permitirá que os usuários obtenham uma melhor compreensão dos dados ao filtrar o gráfico através da legenda do gráfico.
CAROL_APP CAPL-3749 Atualização do Git Connection com Azure para Segurança
Esta atualização permite que o Git Connection com Azure seja mantido com segurança, pois o refresh token é armazenado e usado para obter um novo token de acesso sempre que necessário. Isso evita que as credenciais sejam perdidas de forma periódica.
CONNECTOR CAPL-4220 Notificação de Descontinuação do Mapping and Cleansing Rule
Agora, os usuários do tenant receberão uma notificação de que o Mapping and Cleansing Rule está prestes a ser descontinuado no final deste ano. Esta notificação informará aos usuários que eles devem migrar para o SQL Processing. A documentação sobre como migrar e remover o Mapping and Cleansing Rule estará disponível. Uma regra será definida para mostrar a mensagem, excluindo os tenants de clientes (por exemplo, o cliente do Clockin). Esta notificação será exibida para todos os usuários do tenant que ainda estão usando o Mapping and Cleansing Rule e que não estão marcados como SQL Only.
DATA_MODEL CAPL-4217 Novos Valores Padrão, Mínimo e Máximo para Parâmetro Max In Flight
Foi estabelecido um valor padrão, mínimo e máximo para o parâmetro Max In Flight. O valor padrão é 15, com um mínimo de 5 e máximo de 100. O valor inserido no campo será persistido antes da regra estabelecida. Esta funcionalidade está disponível para o usuário Tenant Admin. O valor padrão, mínimo e máximo será exibido na tela ao lado da label Max In Flight.
DATA_SUBSCRIPTION CAPL-4309 Remoção do Botão de Reenvio de Registros de Logs de DataSubscription
Foi removido o botão para reenviar registros dos logs de DataSubscription, pois o endpoint foi removido pela BE, causando erro para quem tenta usá-lo. Esta atualização remove o botão para "reenviar registros novamente", uma vez que o endpoint foi removido.
EXPLORE CAPL-4040 Novas Funcionalidades para BigQuery
BigQuery: informar se o resultado é de cache ou execução. Adicionamos uma propriedade ao endpoint queryResults (query_sync e query_polling) para informar se os resultados vieram de cache ou de uma nova execução. Isso permitirá que o usuário oculte ou desative o botão "plano de execução" ou até mesmo adicione uma mensagem informando que os resultados vieram do cache do BigQuery. Esta funcionalidade está disponível para todos os usuários.
EXPLORE CAPL-4198 Nova Funcionalidade: Cancelamento de Consultas em BigQuery por JobId
Foi implementada uma funcionalidade que permite cancelar consultas em BigQuery por jobId. Apenas jobIDs sem tarefas associadas serão permitidas. Isso significa que jobIDs relacionados ao VSCode e ao Explore serão permitidos. O nome sugerido para a funcionalidade é cancelQueryByJobId. Tarefas de processamento SQL devem ser canceladas por tarefa.
ORGANIZATION/TENANT CAPL-4064 Atualização da Carol: Aplicar Tema do Sistema Operacional
Com esta atualização, o usuário pode aplicar o tema do sistema operacional ao Carol. O seletor de tema escuro/claro foi removido do menu e um botão de grupo rotulado com as opções AUTO, Escuro e Claro foi adicionado para alternar entre o tema do sistema operacional ou selecionar manualmente temas escuros ou claros.
ORGANIZATION/TENANT CAPL-4079 Melhorias na Verificação de Integridade do Usuário
Nesta atualização, foi feita uma alteração para que o usuário da Tenant e o usuário da Organização não sejam considerados no campo de último login na verificação de integridade. Além disso, o campo de última atualização também será ignorado, pois ele muda quando o usuário faz o login.
SQL_PIPELINES CAPL-3381 Novas Funcionalidades de Pipeline para Processamento de Dados
Esta atualização inclui a capacidade de pausar, retomar e reprocessar pipelines com maior flexibilidade, a partir da última tarefa bem-sucedida ou reprocessar todos os dados. Também foi adicionada a capacidade de selecionar múltiplos pipelines para processamento e visualizar os pipelines mais recentes instalados no tenant dev/unificado através do aplicativo Carol. Além disso, o botão de status de agendamento será desabilitado se apenas um pipeline estiver selecionado.
SQL_PIPELINES CAPL-3752 Novas Funcionalidades para Pausar, Reproduzir, Reprocessar e Limpar Dados de Pipelines Selecionados
Esta atualização permite que os usuários pausam, reproduzam, reprocessem e limpem dados de pipelines selecionados. O usuário pode selecionar um ou mais pipelines e executar um fluxo de processamento para todos os pipelines selecionados. O serviço que processa os dados deve validar se o nome do pipeline existe, retornando um erro caso tenha sido solicitado o processamento de um pipeline que não existe. Além disso, o usuário pode definir um período de tempo para reprocessar o pipeline.
SQL_PIPELINES CAPL-3791 Adição de Label para Jobs do BigQuery
Foi adicionado um label para os jobs do BigQuery. O label deve conter os seguintes dados: orgId, orgName, tenantId, tenantName, taskID (SQL Processing), source: explore, task, internal, etc, appName: quando é chamado pela Carol App, carolAppProcessName: quando é chamado pela Carol App. Os jobs que devem ser considerados são: SQL Processing tasks, Explore, VSCode, Jobs from Date team (source: internal) e User Rejected Golden Records. Carol App: queries gerados através do pyCarol SA não estão cobertos.
SQL_PIPELINES CAPL-4162 Adição de Label para Jobs do BigQuery
Foi adicionado um label para os jobs do BigQuery. O label inclui orgId, orgName, tenantId, tenantName, taskID (SQL Processing), source: explore, task, internal, etc, appName: quando é chamado pela Carol App e carolAppProcessName: quando é chamado pela Carol App. Os jobs considerados são Carol App: queries geradas através do pyCarol SA, SQL Processing tasks, Explore, VSCode e Jobs da equipe Date (source: internal).
SQL_PIPELINES CAPL-4191 Novo Parâmetro Opcional para Endpoint "processQuery"
Foi criado um novo parâmetro opcional para o endpoint “processQuery” (/api/v2/bigQuery/processQuery) chamado dontCreateIfRunningOrQueuedTasks, com valor padrão false. Tarefas criadas para processar dados (tarefas de processamento SQL) devem armazenar o nome da pipeline, da mesma forma que o Unified faz hoje. Se o parâmetro for definido como true, o endpoint validará se há outra tarefa para o mesmo nome de pipeline em execução ou na fila. Se houver outra tarefa em execução ou na fila, será retornada uma resposta HTTP específica e o documento da tarefa existente. Se o parâmetro for definido como false, serão criadas as tarefas de processamento SQL como hoje, ou seja, não haverá validação de tarefas existentes. O endpoint ignorará o parâmetro dontCreateIfRunningOrQueuedTasks se o nome da pipeline for nulo ou vazio.
SQL_PIPELINES CAPL-4197 Novo Recurso: Cancelamento de Consultas do BigQuery
Agora é possível cancelar consultas do BigQuery (job). Esta funcionalidade está disponível no VSCode e Explore e para todos os usuários.
SQL_PIPELINES CAPL-4215 Novas Funcionalidades de Agendamento para Processar Múltiplos Pipelines
Nesta atualização, foi adicionado o filtro pipelineName/carolAppName na aba de agendamento. Isso será útil para processar múltiplos pipelines. Além disso, a BE já fornece essa informação. Esta atualização também inclui um diagrama de atividades, ações a serem realizadas, passos alternativos, ativos e critérios de aceitação.
VSCODE CAPL-4269 Remoção da Funcionalidade de Feedback do VSCode e Melhorias na Plataforma
Nesta versão, foi removida a funcionalidade de feedback do VSCode. Esta funcionalidade demandava um banco de dados Postgres, gerando custos mensais não associados a benefícios para a plataforma ou para os clientes.
BIG_QUERY CAPL-4032 Correção de Problemas de Permissões ao Reprovisionar Tenant
Neste release, corrigimos um problema que não era resolvido automaticamente quando reprovisionamos uma Tenant. Agora, aplicamos as permissões novamente em cada reprovisionamento para garantir que os problemas sejam resolvidos.
BIG_QUERY CAPL-4287 Correção do Botão de Provisionamento para Notificar o Status da Tenant
Foi corrigido um problema onde o botão de provisionamento não notificava que a Tenant estava sendo provisionada. O botão deverá notificar quando a tenant estiver sendo provisionada, exibindo um spinner enquanto o processo estiver em execução, baseado na verificação do status da Tenant.
BILLING CAPL-4084 Correção de Problema de Billing - Preview do Ciclo Anterior Agora Disponível
Nesta versão, foi corrigido um problema relacionado ao Billing. O problema era que, quando um novo ciclo começava e era calculado o preview do ciclo anterior, este era deletado. Agora, o preview do ciclo anterior permanecerá disponível até que o consolidado seja publicado.
CAROL_APP CAPL-2868 Correção de Erro na Configuração da Carol App
Resolvemos um problema onde ao criar/atualizar valores de uma Carol App setting, um novo registro é enviado para o BigQuery. Ao deletar/atualizar o nome/variável da app setting (lado do desenvolvedor), também devemos enviar mdmDeleted = true para essa configuração (ingestion_stg_internal_app_setting). O problema estava acontecendo dentro do documento da Carol App (visualizando como Desenvolvedor na UI). A app deve estar em um Tenant de Desenvolvedor antes de ser submetida.
CAROL_APP CAPL-4246 Erro no Build do Carol App Impactando Ambiente de Desenvolvimento
Foi identificado um erro ao realizar o build no Carol App. Complementando o CAPL-4273.
CAROL_APP CAPL-4273 Identificado um erro no Build do Carol App
Foram detectados erros ao realizar o build no Carol App. Realizamos melhorias no registro de erros relacionados à compilação do Docker, bem como na validação da existência do Dockerfile em subpastas ou na pasta raiz do repositório.
DATA_MODEL CAPL-4195 Melhoria na Interação entre DataModels
Foi corrigido um problema relacionado à interação entre os DataModels. Agora, ao passar o mouse sobre um DataModel, todos os DataModels relacionados serão destacados e, ao clicar, informações sobre o DataModel serão exibidas no painel lateral. Esta correção foi realizada para melhorar a experiência do usuário.
DATA_MODEL CAPL-4206 Melhoria na Adição de Valores ao Cache do Redis
Corrigimos o erro ao adicionar valores ao cache do Redis. Agora, os valores são adicionados corretamente ao cache.
DATA_SUBSCRIPTION CAPL-3769 Remoção da Tarefa de Alimentação do Data Subscription
Foi corrigido um problema onde, ao adicionar ou editar um Data Subscription, a Carol criava a tarefa de alimentação da subscription. Esta tarefa parece não ser mais necessária. A alternativa para este fluxo é processar uma pipeline SQL. Esta tarefa aumenta os custos e pode ser mais eficaz em termos de desempenho usando pipelines SQL. Foram removidos os endpoints que obtêm dados do CDS e outros obtendo dados do RT (/api/v1/subscription/${dataSubscriptionId}/feedQuery e /api/v1/subscription/${dataSubscriptionId}/feed?startCounter=${counter}).
DATA_SUBSCRIPTION CAPL-4059 Melhoria no Data Subscription
Resolução: Corrigimos um problema no qual o Data Subscription estava preso devido a dados inválidos no Redis. Agora, os Data Subscription estão funcionando como esperado.
DATA_SUBSCRIPTION CAPL-4325 Atualização da UI para exibição de Data Subscription
Neste lançamento, corrigimos um problema no qual a UI não estava atualizando a visão relacionada a Data Subscription. O problema era que a área da visão estava vazia, mesmo após o carregamento rápido dos dados. Ao redimensionar a janela do navegador, a área da visão era atualizada e os dados eram exibidos. Agora, a visão é atualizada automaticamente após o carregamento dos dados do endpoint.
DATA_SUBSCRIPTION CAPL-4326 Correção de bug que impedia visualização de detalhes de assinatura de dados
Correção de um bug que impedia que o administrador da organização visualizasse detalhes relacionados à assinatura de dados para toda a organização. Foi verificado que as requisições estavam OK, mas o usuário não conseguia visualizar os resultados de outro usuário. Foi necessário ajustar o pooling da query para que os resultados fossem exibidos na página inicial.
EXPLORE CAPL-4208 Correção da Ordem de Exibição dos Dados da Linha de Dados
Foi detectado um problema na ordem de exibição dos dados da linha de dados. O mais antigo é o v1, quando deveria ser o vX. O problema foi corrigido para garantir que a ordem seja exibida corretamente.
ORGANIZATION_ADMIN CAPL-4054 Atualização do StagingEntityProxy para uso do ConfigMigrationService
Nesta atualização, o StagingEntityProxy foi alterado para usar o ConfigMigrationService em vez de usar diretamente o StrategyFactory. Esta alteração permitirá que as Tenants sejam configuradas de forma mais eficiente e que os dados sejam migrados de forma mais rápida.
ORGANIZATION_ADMIN CAPL-4159 Melhorias no Método getOrgUserNotInTenant para Migração Parcial
Neste release, foi refatorado o método getOrgUserNotInTenant para trabalhar com migração parcial para TenantUser. O método agora suporta todas as variações possíveis de migrações, incluindo migração parcial.
ORGANIZATION/TENANT CAPL-3916 Melhorias na Autenticação de landing pages
Foi realizada uma refatoração da autenticação das landing pages para ter uma abordagem genérica para redirecionamentos, recebendo a URL absoluta. Suporta apenas URLs absolutas para sites conhecidos (por enquanto, subdomínios assistant e docs no carol.ai).
SQL_PIPELINES CAPL-4150 Correção de Problema de Acesso Não Autorizado ao Repositório do Azure
Foi corrigido um problema de acesso não autorizado ao conectar-se ao repositório do Azure usando as credenciais PAT. Ao conectar ao GCP: App Carol, a plataforma exibiu uma mensagem de erro. Ao acessar os logs do GCP, foi exibida uma mensagem de aviso "não autorizado". O problema foi corrigido e agora é possível conectar-se com sucesso usando as credenciais PAT.
BIG_QUERY CAPL-3853 Melhorias de Desempenho e Processos Paralelos para Notificações de Esquema
Nesta atualização, melhoramos o desempenho e permitimos mais processos paralelos. Identificamos que os 6 trabalhadores não eram suficientes para processar todas as notificações de esquema rapidamente e eles estavam consumindo cerca de 3-4 GB de memória cada. Também notamos que estávamos definindo como RUNNING apenas 20 modificações de esquema por vez, mesmo após a escala para 10 trabalhadores. Assim que melhorarmos o consumo de memória, devemos resolver esta garganta de engarrafamento. Uma ideia também pode ser descartar logo as modificações de esquema que não afetam a tabela BigQuery, pois poderíamos ter muitos pedidos sem alterações. Considere esta estratégia, mas não sabemos se isso ajudará de alguma forma.
BIG_QUERY CAPL-3920 Atualização de Segurança para Prevenir Exclusão de Tabelas de Staging no Pipeline Copy Data SQL
A partir desta atualização, não será mais possível excluir tabelas de staging que façam parte da lista de Pipeline Copy Data SQL. Quando tentar excluir uma tabela de staging que faça parte da lista, será necessário verificar o mapeamento de Tenant. Esta atualização visa evitar que os usuários excluam tabelas de staging que façam parte do manifesto de pipeline de cópia de dados.
BIG_QUERY CAPL-3928 Melhorias no Processo de Modificação de Esquema e Aumento de Memória para o Worker
Neste release, foi realizada uma modificação no esquema para que o processo seja processado por um worker. O worker estava morrendo devido a uma query, mas agora que o problema foi resolvido, o processo de modificação de esquema foi movido para o worker novamente. Além disso, para que o worker possa processar outras tarefas, foi necessário aumentar a memória para 2Gi.
EXPLORE CAPL-3611 Lançamento do Serviço V2 e Proxy de Roteamento
Foi criado o serviço (chamado v2) que será usado para o CRUD do Postgres. Além disso, o Proxy deve ser criado para rotear a solicitação corretamente (v1 ou v2) com base no ID do Tenant da solicitação. Todos os itens da lista de verificação de desenvolvimento devem ser verificados para serem considerados como concluídos.
EXPLORE CAPL-4040 Novas Funcionalidades no Jira para BigQuery
BigQuery: informar se o resultado é de cache ou execução. Adicionamos uma propriedade ao endpoint queryResults (query_sync e query_polling) para informar se os resultados vieram de cache ou de uma nova execução. Isso permitirá que o usuário oculte ou desative o botão "plano de execução" ou até mesmo adicione uma mensagem informando que os resultados vieram do cache do BigQuery. Esta funcionalidade está disponível para todos os usuários.
SQL_PIPELINES CAPL-4191 Novo Parâmetro Opcional para Endpoint "processQuery"
Foi criado um novo parâmetro opcional para o endpoint “processQuery” (/api/v2/bigQuery/processQuery) chamado dontCreateIfRunningOrQueuedTasks, com valor padrão false. Tarefas criadas para processar dados (tarefas de processamento SQL) devem armazenar o nome da pipeline, da mesma forma que o Unified faz hoje. Se o parâmetro for definido como true, o endpoint validará se há outra tarefa para o mesmo nome de pipeline em execução ou na fila. Se houver outra tarefa em execução ou na fila, será retornada uma resposta HTTP específica (acreditamos que 200 é adequado) e o documento da tarefa existente. Se o parâmetro for definido como false, serão criadas as tarefas de processamento SQL como hoje, ou seja, não haverá validação de tarefas existentes. O endpoint ignorará o parâmetro dontCreateIfRunningOrQueuedTasks se o nome da pipeline for nulo ou vazio (pipelineName.trim().length()).
2C-CAROL_CONNECT CAPL-4060 Atualização de Segurança para o Banco de Dados do 2C
Nesta versão foi adicionada uma camada de segurança para a nova configuração de banco de dados do 2C. Foi criado um script para remover o usuário anônimo do banco e adicionar o usuário carol. Além disso, foi verificado quantos 2C estão na versão 3.6.x para verificar se há necessidade de um script de correção. Esta atualização garante maior segurança para os dados dos clientes.
2C-CAROL_CONNECT CAPL-4123 Novas Funcionalidades para Validação de Token na Carol/2C
Foi corrigido um erro que ocorria ao tentar validar o token do usuário na plataforma Carol/2C. Agora, não será exibida mensagem de token inválido caso o token esteja correto.
2C-CAROL_CONNECT CAPL-4126 Correção de Bug e Melhorias no 2C
Nós corrigimos um bug que estava impedindo que a versão do 2C fosse enviada para os logs do heartbeat. Agora, a versão do 2C é enviada corretamente para os logs do heartbeat.
BIG_QUERY CAPL-4032 Correção de Problemas de Permissões ao Reprovisionar Tenant
Neste release, corrigimos um problema que não era resolvido automaticamente quando reprovisionamos um Tenant. Agora, aplicamos as permissões novamente em cada reprovisionamento para garantir que os problemas sejam resolvidos. Verificamos se a aplicação das mesmas permissões não terá efeitos colaterais no código (como uma exceção porque a permissão já existe).
CAROL_APP CAPL-4015 Melhorias no Fluxo de Exceções do CarolApp
Nesta versão, melhoramos o fluxo de exceções na instalação do CarolApp. Tratamos alguns erros nos passos de restauração de template de entidade, relacionamento e mapeamentos de entidade. Após as últimas melhorias, notamos que a instalação do CarolApp está abortando devido aos passos de restauração do esquema de staging. Isso faz com que o usuário reprocesse as tarefas de instalação várias vezes. Tratamos a exceção da mesma forma que fizemos para os passos mencionados acima. Esperamos que a atualização do esquema do BigQuery para a notificação da tarefa de alteração do esquema de staging e que seja feita uma nova tentativa de restauração dos esquemas de staging que falharam, como fazemos para os modelos de dados.
CAROL_APP CAPL-4046 Correção de Erro na Validação de Tag de Docker na Produção
A execução de jobs de AI Process está gerando erro na validação de tag de docker na produção. Durante a execução dos jobs de batch, ocorre uma exceção. O erro só ocorre no ambiente de produção, pois há um erro no código Java para obter o nome correto do job GCP do ambiente de produção. O comportamento esperado é que a imagem docker seja validada durante a execução dos jobs de AI Process para evitar problemas durante o download da imagem no lado dos Operadores (jobs SRE). A única validação que deve falhar na tarefa é a não existência da imagem informada no manifest na lista de tags disponíveis no registry docker, as outras falhas das outras validações devem ser convertidas para impressão de avisos nos logs para serem monitorados pelo time SRE.
CAROL_APP CAPL-4135 Correção de Falha no Teste de Unidade
Foi corrigido um problema no teste de unidade, que estava falhando na branch develop, pois agora estamos recebendo o código de resposta 403 da requisição em vez de 400 (Bad request). Foi realizada uma análise para verificar se é necessário cobrir o comportamento de resposta de erro com o método, se não for, substituí-lo por algum outro teste de unidade para garantir os casos de uso proibidos.
CONNECTOR CAPL-4051 Atualização da Arquitetura do Publisher do PubSub de Auditoria
Foi realizada uma mudança na arquitetura do nosso Publisher do PubSub de Auditoria para que seja instanciado corretamente. Todas as tabelas de staging agora podem enviar dados para o nosso PubSub de Auditoria. Foi adicionado um parâmetro no YAML para ativar essa funcionalidade (intake.yml, intake_docker.yml, mdm.yml e mdm-docker.yml). Somente será inserido o payload na etapa de LANDING.
DATA_MODEL CAPL-4206 Melhoria na Adição de Valores ao Cache do Redis
Corrigimos o erro ao adicionar valores ao cache do Redis. Agora, os valores são adicionados corretamente ao cache.
ORGANIZATION/TENANT CAPL-3871 Correção de Bug: Chave de API não sendo deletada ao deletar OrgUser
Ao deletar o OrgUser, pois é o último TenantUser, sua chave de API não está sendo deletada da Plataforma. Esse caso foi encontrado durante o trabalho de automação da equipe de QA. O Org User não foi encontrado pois foi deletado, porém sua Token de API ainda está disponível na plataforma. O comportamento esperado é que, quando o Tenant User que gerou a chave de API for deletado, a chave de API também seja deletada.
CAROL_APP CAPL-3943 Correção de Erro Crítico na IA - CHURN EXPL
Foi identificado um erro ao consumir API, onde o domínio ..carol.ai foi bloqueado pelo CORS policy. O erro foi identificado nos ambientes de Homologação e Produção, com prioridade crítica. O produto/Carol APP relacionado foi IA - CHURN EXPL. Ao tentar consumir as APIs, foram retornados erros nos ambientes de desenvolvimento e na Carol.
BILLING CAPL-4084 Correção de Problema de Billing - Preview do Ciclo Anterior Agora Disponível
Nesta versão, foi corrigido um problema relacionado ao Billing. O problema era que, quando um novo ciclo começava e era calculado o preview do ciclo anterior, este era deletado. Agora, o preview do ciclo anterior permanecerá disponível até que o consolidado seja publicado.
BILLING CAPL-4085 Suporte para Exclusão de Rascunhos de Lotes
Nesta versão, foi adicionado suporte para excluir fisicamente rascunhos de lotes. Isso inclui a criação de uma tabela de staging, modelo de dados, processo de preenchimento, consulta nomeada, unificação de dados, gerenciador de alertas e gerenciamento de alertas.
ORGANIZATION_ADMIN CAPL-4159 Melhorias no Método getOrgUserNotInTenant para Migração Parcial
Neste release, foi refatorado o método getOrgUserNotInTenant para trabalhar com migração parcial para TenantUser. O método agora suporta todas as variações possíveis de migrações, incluindo migração parcial. Além disso, foi adicionado suporte para a tabela de staging, modelo de dados, fullfilment, consulta nomeada, unificação, gerenciador de alertas e gerenciamento de alertas.
ACTIVITY_MANAGEMENT CAPL-3961 Atualização de Exibição de Milissegundos no Log de Tarefas
Agora, quando o "Mostrar data/hora" estiver habilitado, também será exibido os milissegundos. Esta funcionalidade está disponível para todos os usuários. Esta atualização permitirá que os usuários vejam os milissegundos na tela de Log de Tarefas. Esta atualização não afetará outras partes do sistema. Não há passos alternativos para esta atualização. Não há recursos adicionais necessários para esta atualização. Os critérios de aceitação são que os milissegundos devem ser exibidos quando o "Mostrar data/hora" estiver habilitado.
BIG_QUERY CAPL-3754 Novas Funcionalidades para Cancelamento de Tarefas na Migração de V2 para V3
Neste lançamento, foi implementada a capacidade de lidar com solicitações de cancelamento de tarefas durante a migração de v2 para v3. Agora, após certos pontos da migração, não será mais possível cancelar ou reverter a tarefa. Em vez disso, será retornado um erro 409. Esta alteração foi feita para garantir que as tabelas antigas sejam excluídas e as novas renomeadas, sem a possibilidade de reverter.
BILLING CAPL-4033 Lançamento do Operador: Agrupamento de Dados por Data
A nova versão do operador foi lançada, permitindo que a cobrança obtenha os dados de consumo agrupados por data. Agora, é possível chamar a API com o parâmetro 'group_by=day' para obter os dados agrupados diariamente para o período especificado. Esta nova versão também permite que a cobrança armazene os dados de tempo de execução da Carol App agrupados diariamente.
BILLING CAPL-4035 Novas Funcionalidades de Acesso a Detalhes de Fatura
Neste release, foi implementada a funcionalidade de acesso a detalhes de fatura. Agora, os usuários de faturamento e administradores de faturamento podem acessar os detalhes da fatura através da opção "Download invoice" nas primeira e segunda cartões do dashboard. O arquivo CSV gerado contém todas as informações sobre a fatura selecionada, desde informações de Org, Tenant e apps até consumo de recursos e custos.
CAROL_APP CAPL-3633 Validação da Imagem Docker no AI_Process Concluída
Foi realizada a validação da imagem Docker no AI_Process. O SRE reclamou que máquinas de altos recursos eram iniciadas e falhavam ao tentar puxar a imagem do Docker. Como causa raiz, temos um cenário afetado pelo Nome/Tag da Imagem Docker que não existe. O usuário Dev faz o upload de um novo manifesto, às vezes esse manifesto aponta para uma nova imagem Docker porque ele deseja construir uma nova imagem Docker. Quando o usuário Dev executa o Processo de Aplicativo Carol, ele tenta iniciar um Processo de Aplicativo Carol (lote/online) apontando para um Nome/Tag de Imagem Docker que não existe. A solução proposta é validar a imagem Docker antes de enviar a solicitação ao Operador. Foram validadas as configurações do GitHub no arquivo manifesto ao construir a Imagem Docker e validada a existência da Imagem Docker em nosso Registro Docker antes de enviar a solicitação ao Operador (na tarefa em si).
CONNECTOR CAPL-3709 Atualização da Arquitetura do Publisher PubSub de Auditoria
Nesta atualização, foi realizada uma mudança na arquitetura do nosso Publisher PubSub de Auditoria para que ele seja instanciado corretamente. Todas as tabelas de staging agora podem enviar dados para o nosso PubSub de Auditoria. Um parâmetro foi adicionado no YAML para ativar essa funcionalidade (intake.yml, intake_docker.yml, mdm.yml e mdm-docker.yml). Apenas o payload é inserido na etapa de LANDING. É importante verificar como esses processos funcionarão no SANDBOX, LOCAL e PRODUÇÃO (talvez configuração para tópico?). A documentação da Notion foi atualizada.
ORGANIZATION_ADMIN CAPL-3829 Novas Funcionalidades para Destacar a App na Barra de Cabeçalho
Foi implementada uma funcionalidade para destacar a App na barra de cabeçalho da plataforma. Agora, é possível identificar mais facilmente a página de Carol entre outras páginas com diferentes aplicativos. Foi adicionado um separador entre o logotipo e o seletor de Tenants com a descrição do aplicativo. Se o tag for ou conter Admin, a cor de fundo do cabeçalho deve ser secundária/mais escura. Se o tag for Billing, a cor de fundo do cabeçalho deve ser secundária/mais clara.
SHARED_DATA CAPL-3969 Lançamento do Recurso de Data Share
Nosso novo recurso de Data Share foi lançado. Agora, os usuários podem compartilhar dados entre os Tenants. A tabela de staging foi atualizada para incluir o novo modelo de dados. O Fullfilment foi atualizado para suportar a nova Query Nomeada. O Unified foi atualizado para suportar o Gerenciador de Alertas e o Gerenciamento de Alertas.
SQL_PIPELINES CAPL-3940 Resolução do Problema de Suporte a Múltiplas Pipelines no Manifest Pipeline
Neste Jira, resolvemos o problema de que o Manifest Pipeline não suportava mais do que uma pipeline para o mesmo modelo de dados. Foi verificado que, ao instalar o aplicativo Carol no Tenant Unificado, não eram criadas as tarefas agendadas conforme definido no arquivo de manifesto. O manifesto que estamos validando é o pipelines.json e o Tenant Unificado que atualizamos o aplicativo é o painelprotheusunif . A solução proposta é criar tarefas agendadas com base nas entradas da pipeline definida, mesmo quando houver mais de uma pipeline que exporta dados para o mesmo modelo de dados. Para validar isso, foi necessário executar juntas diferentes pipelines que exportam dados para o mesmo modelo de dados, com a mesma expressão cron definida, forçando as duas pipelines a executarem ao mesmo tempo.
SQL_PIPELINES CAPL-3954 Correção do problema: Nome do arquivo Manifest agora é clicável e redireciona para o repositório git e BitBucket
Atualização: O problema foi corrigido, a plataforma agora está fazendo o nome do arquivo Manifest clicável, redirecionando o usuário para o repositório git em uma nova aba do navegador. Além disso, foi aplicado o mesmo comportamento para o BitBucket.
BIG_QUERY, CAROL_APP, DATA_MODEL CAPL-3422 Atualização da Aplicação Carol: Propagação de Customização de Agrupamento e Particionamento
Ao instalar a aplicação Carol, a customização de agrupamento e particionamento deve ser propagada para o cliente. Isso deve acontecer tanto na primeira versão da aplicação quanto na versão de atualização.
BIG_QUERY CAPL-3892 Falha na provisão de migração caso a cópia da tenant do cliente falhe devido à tabela não encontrada
Neste release, corrigimos um problema que ocorria durante a migração de provisionamento de um Tenant Unificado, onde se a cópia do último dia falhasse porque a tabela não foi encontrada no Tenant do cliente, o processo de provisionamento inteiro falhava. Agora, garantimos que somente as tabelas usadas pela aplicação instalada no Tenant Unificado serão copiadas. Se uma tabela realmente não existir no Tenant do cliente, a migração pode falhar.
BILLING CAPL-3982 Faturamento: Correção de problema de acesso
Resolução: Foi corrigido um problema que impedia o acesso à página de faturamento para usuários de faturamento. Agora, o login funciona e redireciona para a página de faturamento.
CAROL_APP CAPL-3989 Melhorias na Validação de Imagem do Docker e Configuração do GitHub
Foi corrigido um problema que fazia com que máquinas de alto custo falhassem e reiniciassem ao tentar puxar uma imagem do Docker. Agora, a imagem do Docker é validada antes de enviar a solicitação ao Operador. Além disso, foi validada a configuração do GitHub no arquivo de manifesto ao construir a imagem do Docker.
CONNECTOR CAPL-3102 Correção de Erro de Exclusão de Dados de Staging
Resolvido um problema que fazia com que o endpoint de consulta trouxesse registros de eventos de tabelas de staging deletadas. Após a criação de um conector e tabela de staging, ao deletar o conector, os dados/eventos da staging também deveriam ser deletados.
CONNECTOR CAPL-3872 Correção de Erro na UI para Adicionar/Remover Crosswalks (Identificadores) em Stagings
Foi corrigido um erro na UI ao tentar adicionar/remover crosswalks (identificadores) em stagings. O erro ocorria quando a UI enviava o corpo da requisição errado, fazendo com que o backend retornasse um erro. O erro foi corrigido, e agora a UI envia a requisição correta, permitindo que as alterações nos crosswalks sejam realizadas com sucesso.
DATA_MODEL, SQL_PIPELINES CAPL-3835 Correção de Problema de Números de Telefone Duplicados na Plataforma Carol
Foi corrigido um problema onde usuários com números de telefone duplicados não eram rejeitados na plataforma. O problema foi identificado ao criar uma tabela de staging, um modelo de dados e executar uma tarefa SQL usando o pipeline. Ao enviar um segundo intake com um usuário com o mesmo email, mas o mesmo número de telefone, o usuário não foi rejeitado. Agora, o usuário com o número de telefone duplicado é rejeitado na plataforma e não é registrado no Carol.
ORGANIZATION/TENANT CAPL-4002 Resolução do Problema de Login do Usuário Após Deploy/Rollback
Resolução do problema de login do usuário após deploy/rollback relacionado ao admin do tenant. Após o rollout ocorrido em 06/05 às 22 brt, o usuário não conseguiu mais fazer login usando os seguintes parâmetros. O login está sendo executado sem problemas em nosso fluxo UI (tenant fluigdata mesmo que o admin). O incidente impactou as tarefas de processamento SQL. Entender o que aconteceu e se é algo que precisamos considerar em nossas migrações.
ACTIVITY_MANAGEMENT CAPL-3837 Correção de Problema Intermitente com Tasks Agendadas
Após atualização do Backoffice, alguns clientes estão relatando que as Tasks agendadas param de rodar automaticamente. É necessário editar e salvar o Schedule da Task para que volte a funcionar. O problema ocorre de forma intermitente e já foi verificado em ambientes de Sayerlack, Telemont e outros.
CAROL_APP CAPL-4023 Correção do Erro GGF Clock In - Impacto Crítico Resolvido
O erro GGF - Clock In - Erro ao atualizar App Clock In Backoffice foi corrigido. O comportamento esperado é que não apareça mais o erro ao atualizar o app. O produto Clock In - (Protheus) foi atualizado para a versão 4.0.0 (3.6.x). O ambiente GGF (Production) foi afetado.
CAROL_APP CAPL-4029 Erro Corrigido no App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA
A equipe de produto da Totvs identificou e corrigiu o erro ao atualizar o App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA. O erro "Error: com.totvslabs.framework.core.common.exceptions.ForeignKeyNotFoundException: Foreign key not met for tenant [1a78a30f72bc444a9b1d6ba1d939509d], type [mdmEntityValidationRule, mdmEntityValidationRuleWorking] at mdmId: ["1f34bb440b5f494bb7463ca35fe67dbd","1f34bb440b5f494bb7463ca35fe67dbd_w"]""Cause: [ForeignKeyNotFoundException] - Foreign key not met for tenant [1a78a30f72bc444a9b1d6ba1d939509d], type [mdmEntityValidationRule, mdmEntityValidationRuleWorking] at mdmId: ["1f34bb440b5f494bb7463ca35fe67dbd","1f34bb440b5f494bb7463ca35fe67dbd_w"]" não será mais apresentado. A equipe de produto da Totvs corrigiu o erro ao atualizar o App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA, garantindo assim o comportamento esperado. A equipe de produto da Totvs trabalhou para garantir que o erro não seja mais apresentado ao atualizar o App Clock In Backoffice para a ASSOCIAÇÃO EDUCATIVA EVANGELICA.
ORGANIZATION_ADMIN CAPL-4005 Atualização de Migração de Usuários Administradores do Carol e Alteração do Endpoint de Exclusão
Nesta atualização, foi realizada a migração de todos os usuários da organização que são administradores do Carol. Além disso, o endpoint de exclusão foi alterado para que os administradores do Carol nunca sejam excluídos do ElasticSearch. Esta atualização também garante que os administradores do Carol sejam mantidos em ambas as fontes de dados até que a entidade seja totalmente migrada, devido à imitação.
TENANT_ADMIN CAPL-3645 Atualização de Ambiente de Produção para Testes e Validações
Foi realizada a migração da entidade para o ambiente de produção, permitindo que os Tenants internos (QA) possam realizar testes e validações. Esta atualização incluiu a criação de uma tabela de staging, modelo de dados, processo de fullfilment, consulta nomeada, unificação, gerenciador de alertas e gerenciamento de alertas. Esta atualização permitirá que o time de produto teste em produção, bem como que os usuários do Tenant possam realizar testes de login, atualização, criação, deleção e processos SQL.