🚀 Melhorias
ALERTS_MANAGEMENT CAPL-3844 Novas Funcionalidades do Alerts Management
lerts Management: Events Listing, Filters & Sorting. Esta issue trata da criação de uma lista de eventos em uma nova aba "Eventos" contendo: data/hora de envio, severidade, ação e fonte, tipo de ação, organização, Tenant e tipo de Tenant. Ao clicar em um evento, abrirá um painel lateral com: tipo de ação, evento enviado, URL de origem, usuário proprietário do evento/tarefa, severidade, fonte, ação, nome da política (link para política), data e canal se foi notificado.
BIG_QUERY CAPL-4038 Nova Funcionalidade: Migração de Tenants para a Versão Mais Recente do BigQuery
Como administrador de organização, eu deveria ser capaz de migrar uma tennant para a nova versão do BigQuery. Foi adicionada ação abaixo do status do Big Query no painel da Tennant. Estas ações são apenas para administradores de organização. A ação de provisionamento apaga o Big Query da Tennant e o recria, sempre exigindo uma confirmação dupla. A ação de migração para a versão mais recente atualiza para a versão mais recente, mas só está disponível quando a versão não está atualizada. Os dados existentes compartilhados devem funcionar após a migração, assim como os pipelines SQL. Os dados ainda são acessíveis através da tabela de staging e do explore.
BILLING CAPL-4061 Melhorando o Acesso ao Carol Billing na Org Admin
Nesta atualização, foi realizada uma revisão na página inicial da Org Admin para promover um acesso mais fácil ao Billing. Existem duas páginas iniciais: uma para usuários que possuem tenants e outra para usuários que não possuem tenants. O objetivo é tornar o link para o Carol Billing mais visível para usuários que seguem essa regra: usuários da Org que selecionam o tenant para acessar e usuários da Org que não têm acesso ao Billing. O ícone deve sempre estar visível e informar ao usuário que não tem acesso ao Billing, caso o usuário atual não tenha acesso a ele. O link só será visível se o usuário tiver acesso ao aplicativo Billing.
BILLING CAPL-4232 Nova Funcionalidade: Filtrar Gráfico por Legenda
Agora, foi lançada uma nova funcionalidade que permite aos usuários filtrar o gráfico clicando na legenda do gráfico. Esta funcionalidade está disponível para todos os usuários. Esta funcionalidade permitirá que os usuários obtenham uma melhor compreensão dos dados ao filtrar o gráfico através da legenda do gráfico.
CAROL_APP CAPL-3749 Atualização do Git Connection com Azure para Segurança
Esta atualização permite que o Git Connection com Azure seja mantido com segurança, pois o refresh token é armazenado e usado para obter um novo token de acesso sempre que necessário. Isso evita que as credenciais sejam perdidas de forma periódica.
CONNECTOR CAPL-4220 Notificação de Descontinuação do Mapping and Cleansing Rule
Agora, os usuários do tenant receberão uma notificação de que o Mapping and Cleansing Rule está prestes a ser descontinuado no final deste ano. Esta notificação informará aos usuários que eles devem migrar para o SQL Processing. A documentação sobre como migrar e remover o Mapping and Cleansing Rule estará disponível. Uma regra será definida para mostrar a mensagem, excluindo os tenants de clientes (por exemplo, o cliente do Clockin). Esta notificação será exibida para todos os usuários do tenant que ainda estão usando o Mapping and Cleansing Rule e que não estão marcados como SQL Only.
DATA_MODEL CAPL-4217 Novos Valores Padrão, Mínimo e Máximo para Parâmetro Max In Flight
Foi estabelecido um valor padrão, mínimo e máximo para o parâmetro Max In Flight. O valor padrão é 15, com um mínimo de 5 e máximo de 100. O valor inserido no campo será persistido antes da regra estabelecida. Esta funcionalidade está disponível para o usuário Tenant Admin. O valor padrão, mínimo e máximo será exibido na tela ao lado da label Max In Flight.
DATA_SUBSCRIPTION CAPL-4309 Remoção do Botão de Reenvio de Registros de Logs de DataSubscription
Foi removido o botão para reenviar registros dos logs de DataSubscription, pois o endpoint foi removido pela BE, causando erro para quem tenta usá-lo. Esta atualização remove o botão para "reenviar registros novamente", uma vez que o endpoint foi removido.
EXPLORE CAPL-4040 Novas Funcionalidades para BigQuery
BigQuery: informar se o resultado é de cache ou execução. Adicionamos uma propriedade ao endpoint queryResults (query_sync e query_polling) para informar se os resultados vieram de cache ou de uma nova execução. Isso permitirá que o usuário oculte ou desative o botão "plano de execução" ou até mesmo adicione uma mensagem informando que os resultados vieram do cache do BigQuery. Esta funcionalidade está disponível para todos os usuários.
EXPLORE CAPL-4198 Nova Funcionalidade: Cancelamento de Consultas em BigQuery por JobId
Foi implementada uma funcionalidade que permite cancelar consultas em BigQuery por jobId. Apenas jobIDs sem tarefas associadas serão permitidas. Isso significa que jobIDs relacionados ao VSCode e ao Explore serão permitidos. O nome sugerido para a funcionalidade é cancelQueryByJobId. Tarefas de processamento SQL devem ser canceladas por tarefa.
ORGANIZATION/TENANT CAPL-4064 Atualização da Carol: Aplicar Tema do Sistema Operacional
Com esta atualização, o usuário pode aplicar o tema do sistema operacional ao Carol. O seletor de tema escuro/claro foi removido do menu e um botão de grupo rotulado com as opções AUTO, Escuro e Claro foi adicionado para alternar entre o tema do sistema operacional ou selecionar manualmente temas escuros ou claros.
ORGANIZATION/TENANT CAPL-4079 Melhorias na Verificação de Integridade do Usuário
Nesta atualização, foi feita uma alteração para que o usuário da Tenant e o usuário da Organização não sejam considerados no campo de último login na verificação de integridade. Além disso, o campo de última atualização também será ignorado, pois ele muda quando o usuário faz o login.
SQL_PIPELINES CAPL-3381 Novas Funcionalidades de Pipeline para Processamento de Dados
Esta atualização inclui a capacidade de pausar, retomar e reprocessar pipelines com maior flexibilidade, a partir da última tarefa bem-sucedida ou reprocessar todos os dados. Também foi adicionada a capacidade de selecionar múltiplos pipelines para processamento e visualizar os pipelines mais recentes instalados no tenant dev/unificado através do aplicativo Carol. Além disso, o botão de status de agendamento será desabilitado se apenas um pipeline estiver selecionado.
SQL_PIPELINES CAPL-3752 Novas Funcionalidades para Pausar, Reproduzir, Reprocessar e Limpar Dados de Pipelines Selecionados
Esta atualização permite que os usuários pausam, reproduzam, reprocessem e limpem dados de pipelines selecionados. O usuário pode selecionar um ou mais pipelines e executar um fluxo de processamento para todos os pipelines selecionados. O serviço que processa os dados deve validar se o nome do pipeline existe, retornando um erro caso tenha sido solicitado o processamento de um pipeline que não existe. Além disso, o usuário pode definir um período de tempo para reprocessar o pipeline.
SQL_PIPELINES CAPL-3791 Adição de Label para Jobs do BigQuery
Foi adicionado um label para os jobs do BigQuery. O label deve conter os seguintes dados: orgId, orgName, tenantId, tenantName, taskID (SQL Processing), source: explore, task, internal, etc, appName: quando é chamado pela Carol App, carolAppProcessName: quando é chamado pela Carol App. Os jobs que devem ser considerados são: SQL Processing tasks, Explore, VSCode, Jobs from Date team (source: internal) e User Rejected Golden Records. Carol App: queries gerados através do pyCarol SA não estão cobertos.
SQL_PIPELINES CAPL-4162 Adição de Label para Jobs do BigQuery
Foi adicionado um label para os jobs do BigQuery. O label inclui orgId, orgName, tenantId, tenantName, taskID (SQL Processing), source: explore, task, internal, etc, appName: quando é chamado pela Carol App e carolAppProcessName: quando é chamado pela Carol App. Os jobs considerados são Carol App: queries geradas através do pyCarol SA, SQL Processing tasks, Explore, VSCode e Jobs da equipe Date (source: internal).
SQL_PIPELINES CAPL-4191 Novo Parâmetro Opcional para Endpoint "processQuery"
Foi criado um novo parâmetro opcional para o endpoint “processQuery” (/api/v2/bigQuery/processQuery) chamado dontCreateIfRunningOrQueuedTasks, com valor padrão false. Tarefas criadas para processar dados (tarefas de processamento SQL) devem armazenar o nome da pipeline, da mesma forma que o Unified faz hoje. Se o parâmetro for definido como true, o endpoint validará se há outra tarefa para o mesmo nome de pipeline em execução ou na fila. Se houver outra tarefa em execução ou na fila, será retornada uma resposta HTTP específica e o documento da tarefa existente. Se o parâmetro for definido como false, serão criadas as tarefas de processamento SQL como hoje, ou seja, não haverá validação de tarefas existentes. O endpoint ignorará o parâmetro dontCreateIfRunningOrQueuedTasks se o nome da pipeline for nulo ou vazio.
SQL_PIPELINES CAPL-4197 Novo Recurso: Cancelamento de Consultas do BigQuery
Agora é possível cancelar consultas do BigQuery (job). Esta funcionalidade está disponível no VSCode e Explore e para todos os usuários.
SQL_PIPELINES CAPL-4215 Novas Funcionalidades de Agendamento para Processar Múltiplos Pipelines
Nesta atualização, foi adicionado o filtro pipelineName/carolAppName na aba de agendamento. Isso será útil para processar múltiplos pipelines. Além disso, a BE já fornece essa informação. Esta atualização também inclui um diagrama de atividades, ações a serem realizadas, passos alternativos, ativos e critérios de aceitação.
VSCODE CAPL-4269 Remoção da Funcionalidade de Feedback do VSCode e Melhorias na Plataforma
Nesta versão, foi removida a funcionalidade de feedback do VSCode. Esta funcionalidade demandava um banco de dados Postgres, gerando custos mensais não associados a benefícios para a plataforma ou para os clientes.
🐛 Correções
BIG_QUERY CAPL-4032 Correção de Problemas de Permissões ao Reprovisionar Tenant
Neste release, corrigimos um problema que não era resolvido automaticamente quando reprovisionamos uma Tenant. Agora, aplicamos as permissões novamente em cada reprovisionamento para garantir que os problemas sejam resolvidos.
BIG_QUERY CAPL-4287 Correção do Botão de Provisionamento para Notificar o Status da Tenant
Foi corrigido um problema onde o botão de provisionamento não notificava que a Tenant estava sendo provisionada. O botão deverá notificar quando a tenant estiver sendo provisionada, exibindo um spinner enquanto o processo estiver em execução, baseado na verificação do status da Tenant.
BILLING CAPL-4084 Correção de Problema de Billing - Preview do Ciclo Anterior Agora Disponível
Nesta versão, foi corrigido um problema relacionado ao Billing. O problema era que, quando um novo ciclo começava e era calculado o preview do ciclo anterior, este era deletado. Agora, o preview do ciclo anterior permanecerá disponível até que o consolidado seja publicado.
CAROL_APP CAPL-2868 Correção de Erro na Configuração da Carol App
Resolvemos um problema onde ao criar/atualizar valores de uma Carol App setting, um novo registro é enviado para o BigQuery. Ao deletar/atualizar o nome/variável da app setting (lado do desenvolvedor), também devemos enviar mdmDeleted = true para essa configuração (ingestion_stg_internal_app_setting). O problema estava acontecendo dentro do documento da Carol App (visualizando como Desenvolvedor na UI). A app deve estar em um Tenant de Desenvolvedor antes de ser submetida.
CAROL_APP CAPL-4246 Erro no Build do Carol App Impactando Ambiente de Desenvolvimento
Foi identificado um erro ao realizar o build no Carol App. Complementando o CAPL-4273.
CAROL_APP CAPL-4273 Identificado um erro no Build do Carol App
Foram detectados erros ao realizar o build no Carol App. Realizamos melhorias no registro de erros relacionados à compilação do Docker, bem como na validação da existência do Dockerfile em subpastas ou na pasta raiz do repositório.
DATA_MODEL CAPL-4195 Melhoria na Interação entre DataModels
Foi corrigido um problema relacionado à interação entre os DataModels. Agora, ao passar o mouse sobre um DataModel, todos os DataModels relacionados serão destacados e, ao clicar, informações sobre o DataModel serão exibidas no painel lateral. Esta correção foi realizada para melhorar a experiência do usuário.
DATA_MODEL CAPL-4206 Melhoria na Adição de Valores ao Cache do Redis
Corrigimos o erro ao adicionar valores ao cache do Redis. Agora, os valores são adicionados corretamente ao cache.
DATA_SUBSCRIPTION CAPL-3769 Remoção da Tarefa de Alimentação do Data Subscription
Foi corrigido um problema onde, ao adicionar ou editar um Data Subscription, a Carol criava a tarefa de alimentação da subscription. Esta tarefa parece não ser mais necessária. A alternativa para este fluxo é processar uma pipeline SQL. Esta tarefa aumenta os custos e pode ser mais eficaz em termos de desempenho usando pipelines SQL. Foram removidos os endpoints que obtêm dados do CDS e outros obtendo dados do RT (/api/v1/subscription/${dataSubscriptionId}/feedQuery e /api/v1/subscription/${dataSubscriptionId}/feed?startCounter=${counter}).
DATA_SUBSCRIPTION CAPL-4059 Melhoria no Data Subscription
Resolução: Corrigimos um problema no qual o Data Subscription estava preso devido a dados inválidos no Redis. Agora, os Data Subscription estão funcionando como esperado.
DATA_SUBSCRIPTION CAPL-4325 Atualização da UI para exibição de Data Subscription
Neste lançamento, corrigimos um problema no qual a UI não estava atualizando a visão relacionada a Data Subscription. O problema era que a área da visão estava vazia, mesmo após o carregamento rápido dos dados. Ao redimensionar a janela do navegador, a área da visão era atualizada e os dados eram exibidos. Agora, a visão é atualizada automaticamente após o carregamento dos dados do endpoint.
DATA_SUBSCRIPTION CAPL-4326 Correção de bug que impedia visualização de detalhes de assinatura de dados
Correção de um bug que impedia que o administrador da organização visualizasse detalhes relacionados à assinatura de dados para toda a organização. Foi verificado que as requisições estavam OK, mas o usuário não conseguia visualizar os resultados de outro usuário. Foi necessário ajustar o pooling da query para que os resultados fossem exibidos na página inicial.
EXPLORE CAPL-4208 Correção da Ordem de Exibição dos Dados da Linha de Dados
Foi detectado um problema na ordem de exibição dos dados da linha de dados. O mais antigo é o v1, quando deveria ser o vX. O problema foi corrigido para garantir que a ordem seja exibida corretamente.
ORGANIZATION_ADMIN CAPL-4054 Atualização do StagingEntityProxy para uso do ConfigMigrationService
Nesta atualização, o StagingEntityProxy foi alterado para usar o ConfigMigrationService em vez de usar diretamente o StrategyFactory. Esta alteração permitirá que as Tenants sejam configuradas de forma mais eficiente e que os dados sejam migrados de forma mais rápida.
ORGANIZATION_ADMIN CAPL-4159 Melhorias no Método getOrgUserNotInTenant para Migração Parcial
Neste release, foi refatorado o método getOrgUserNotInTenant para trabalhar com migração parcial para TenantUser. O método agora suporta todas as variações possíveis de migrações, incluindo migração parcial.
ORGANIZATION/TENANT CAPL-3916 Melhorias na Autenticação de landing pages
Foi realizada uma refatoração da autenticação das landing pages para ter uma abordagem genérica para redirecionamentos, recebendo a URL absoluta. Suporta apenas URLs absolutas para sites conhecidos (por enquanto, subdomínios assistant e docs no carol.ai).
SQL_PIPELINES CAPL-4150 Correção de Problema de Acesso Não Autorizado ao Repositório do Azure
Foi corrigido um problema de acesso não autorizado ao conectar-se ao repositório do Azure usando as credenciais PAT. Ao conectar ao GCP: App Carol, a plataforma exibiu uma mensagem de erro. Ao acessar os logs do GCP, foi exibida uma mensagem de aviso "não autorizado". O problema foi corrigido e agora é possível conectar-se com sucesso usando as credenciais PAT.