🚀 Melhorias
BIG_QUERY CAPL-7848 Retarda início de tarefas de reprovisionamento e alteração de schema para aguardar ingestão de dados in flight
O início das tarefas de reprovisionamento e alteração de schema agora é retardado para aguardar a ingestão dos dados in flight da pipeline de staging. Essa mudança é necessária para o uso da nova pipeline CDSv2 com a Storage Write API. O sistema observa se o atraso da pipeline (watermark) está mais recente que o início do bloqueio da ingestão de dados, garantindo que todos os dados anteriores ao bloqueio já foram escritos. Além disso, uma verificação adicional assegura que a última atualização dos staging entity stats é maior que a watermark, indicando que ainda há dados in flight.
BIG_QUERY CAPL-8047 Integra provisionamento de tenants na Carol com a Plataforma IDeIA para criação de workspaces com baixa latência
O provisionamento de tenants na Carol agora integra com a Plataforma IDeIA, permitindo a criação de workspaces com suporte a baixa latência. Foi adicionada uma flag lowLatency na UI, que pode ser habilitada durante a criação do tenant. Essa funcionalidade permite que a criação de contas na Plataforma IDeIA ocorra de forma síncrona, registrando todos os passos do fluxo. Além disso, a nova API na Carol facilita a habilitação da baixa latência, garantindo que as tasks de provisionamento sejam gerenciadas corretamente entre as plataformas.
CAROL_APP CAPL-7892 Carrega ícone do Carol App dinamicamente na lista de aplicativos
Agora é possível carregar o ícone do Carol App dinamicamente na lista de aplicativos. O sistema verifica primeiramente se o ícone está disponível no pacote do web app. Caso contrário, valida o atributo mdmAppIconUrl definido pelo backend e, se ainda não for atendido, utiliza uma URL de fallback. A formação da URL considera variáveis como o nome da organização, nome do tenant, nome do app e a versão do app, garantindo flexibilidade no carregamento dos ícones.
CONNECTOR CAPL-8037 Reescreve pipeline dataflow streaming para aumentar resiliência e eliminar agregação inicial
Documenta e reescreve o pipeline dataflow streaming para aumentar a resiliência. Elimina a necessidade de agregação no início da pipeline, garantindo que o ACK dos dados ocorra ao final. Utiliza a storage write API e considera regras de negócio como o mecanismo para sensibilizar processamento de pipelines SQL e atributos específicos para tenants unificadas. Alimenta a tabela RECORD_STEPS para auditoria e implementa novos parâmetros para gravação de dados no GCS/CDS Staging, além de dados na tenant unificada e na staging area.
ORGANIZATION/TENANT CAPL-7956 Implementa novo endpoint de estatísticas de tabelas na lista de data models
Implementa um novo endpoint de estatísticas de tabelas na tela de lista de data models, substituindo as chamadas anteriores. O novo endpoint é {{sql/v1/api/v1/tenant/{TENANT_ID}/statistics/tables}}, mantendo os mesmos parâmetros do antigo {{sql/v1/api/v1/tenant/{TENANT_ID}/statistics/bigquery/tables}}. A resposta do novo endpoint fornece informações detalhadas sobre as estatísticas das tabelas, incluindo eventos do BigQuery, registros em tempo real e detalhes de consolidação.
ORGANIZATION/TENANT CAPL-8076 Implementa endpoint para obter nome do secret da service account ao provisionar workspace na plataforma IDeIA
Implementa um endpoint para obter o nome do secret da service account (SA) ao provisionar um workspace na plataforma IDeIA. A SA, com as permissões necessárias, permite que a plataforma consulte dados e schemas dos projetos gerenciados pela Carol.
PLATAFORMA_IDEIA CAPL-7934 Permite gravação de dados intake na staging de baixa latência para tenant admin
Como tenant admin, ao enviar dados intake para a Carol, é permitido que esses dados sejam gravados na staging de baixa latência. Essa mudança visa melhorar a eficiência no processamento de dados e garantir que as informações estejam disponíveis de forma rápida e confiável. O sistema agora atende melhor às necessidades dos usuários, proporcionando uma experiência otimizada na gestão de dados.
🐛 Correções
BIG_QUERY CAPL-7958 Atualiza opção de recreateAvroSchemas para task de provisionamento ao solicitar provisionamento de Tenant
A opção de recreateAvroSchemas é agora enviada corretamente para a task de provisionamento ao solicitar o provisionamento de uma Tenant via endpoint. Essa atualização resolve o problema de avros órfãos para tenants que estão migrando da V2 para a V3, garantindo que o provisionamento não falhe devido a inconsistências.
DATA_MODEL CAPL-7912 Identifica e analisa falhas em Subscriber desde 16/07 para restaurar funcionalidade adequada
As falhas em Subscriber desde 16/07 são identificadas e analisadas. O problema afeta a experiência do usuário, gerando dificuldades na validação e esclarecimento das informações. A solução proposta visa restaurar a funcionalidade adequada do sistema. Todos os perfis de usuários que dependem do Subscriber podem utilizar a nova implementação.
DATA_PROCESSING CAPL-8193 Avalia lentidão e erros em requisições goldenRecords durante cadastro
Identificamos um problema com requisições goldenRecords, onde o cliente reporta lentidão durante o cadastro, resultando na não aparição do registro. A análise dos logs revela uma requisição bem-sucedida com retorno 200 em 576 ms, mas também três requisições com erro 500 que levam até 420 segundos.
PLATFORM CAPL-8055 Corrige erro de table not found na pipeline de streaming que causa reprocessamento em loop
A pipeline de streaming apresenta um erro de "table not found" durante o processamento, resultando em registros sendo reprocessados em loop. Isso causa o consumo desnecessário de recursos pelos workers, que processam dados inválidos, e impede a conclusão do draining das pipelines, exigindo cancelamento manual.
PLATFORM CAPL-8093 Corrige status RUNNING em reprocesso de AI Process após falha no processamento
A task de AI Process apresenta um problema em que, após receber a resposta de falha no processamento, ao tentar reprocessá-la, ela permanece no status RUNNING, mesmo já tendo sido finalizada no operator. Para resolver essa questão, ao realizar o reprocesso de AI Process, a tag mdmResourceCleanUp deve ser alterada para false.