🚀 Melhorias
DATAFLOW CAPL-6876 Descontinua jobs Staging para processamento eficiente de dados no Dataflow.
Entender o motivo das métricas de processamento antigo ainda estarem presentes no Dataflow Staging. Atualmente, os jobs Staging estão consumindo recursos sem processar dados de forma eficiente. Com a mudança para o processamento SQL, foram descontinuados os jobs Staging e alinhado a remoção das Subscriptions com o SRE.
PLATFORM CAPL-7399 Administrador do tenant ativa ou desativa deduplicação durante ingestão de dados
O sistema agora permite que o administrador do tenant ative ou desative a deduplicação durante o processo de ingestão de dados. Essa mudança garante que o número de registros enviados via intake seja refletido de maneira idêntica na tenant cliente e unificada, independentemente das PKs definidas. A deduplicação será realizada no processo de consolidação semanal, permitindo que os registros sejam geridos de acordo com suas respectivas PKs nas tenants.
PLATFORM CAPL-7447 Permite ingestão de dados sem deduplicação ativa por tenant e organização
Agora é possível realizar a ingestão de dados sem a deduplicação ativa, através da nova flag a nível de tenant e organização. Isso resolve a divergência de dados entre a tenant cliente e a unificada, permitindo que o número de registros enviados via intake seja refletido em ambas, independentemente das PKs definidas. Se a deduplicação estiver habilitada a nível de tenant, não haverá consolidação no intake, e o mesmo se aplica para a organização, onde a configuração da organização prevalece sobre a da tenant. O comportamento padrão continua com a consolidação ativa.
🐛 Correções
CONNECTOR CAPL-6867 Corrige NPE no método StagingSchemaServiceImplV2.validateSchemaMappingTypes e previne criação de Staging Schema sem mapping
O problema de NPE (Null Pointer Exception) no método StagingSchemaServiceImplV2.validateSchemaMappingTypes foi identificado e corrigido. O sistema agora não permite a criação de uma Staging Schema sem um mapping, evitando a propagação de erros nos métodos updateEntitySynchronizationStatus e validateSchemaMappingTypes. Essa atualização garante maior estabilidade e integridade no processamento de dados, prevenindo falhas durante a sincronização de entidades no BigQuery.
CONNECTOR CAPL-7291 Exceção de tamanho de mensagem excedido ao processar payloads no IntakeServiceImpl
O sistema apresenta uma exceção de tamanho de mensagem excedido ao processar payloads, resultando em uma StreamConstraintsException devido ao comprimento da string ultrapassar o limite permitido. A falha ocorre durante a deserialização no IntakeServiceImpl, especificamente na criação de dados de intake na StagingIntakeResource. A situação gera alertas no Alert Manager, indicando a necessidade de otimização no tratamento de dados, que foram realizados para evitar problemas semelhantes no futuro.
DATA_SUBSCRIPTION CAPL-7318 Corrige a criação automática do tópico no PubSub ao criar um Data Subscription
Ao criar um Data Subscription, o sistema não está gerando um tópico no PubSub conforme esperado. Não há registros nos logs que indiquem o problema. A funcionalidade foi corrigida para garantir a criação automática do tópico durante o processo de criação do Data Subscription.
ORGANIZATION/TENANT CAPL-7382 Resolve problema de solicitação do código de MFA em acesso via sessão incognito
O problema em que o código de MFA não é solicitado em alguns cenários de acesso via sessão incognito é resolvido. Agora, mesmo com o MFA habilitado para o usuário global, o código é solicitado corretamente no primeiro acesso, garantindo segurança adequada. A funcionalidade é ajustada para que o comportamento esperado ocorra em todos os acessos, melhorando a experiência do usuário.
ORGANIZATION/TENANT CAPL-7467 Endpoint retorna 200 ao alterar mdmStagingType de staging table em vez de erro esperado
Ao tentar alterar o mdmStagingType de uma staging table, o endpoint retorna 200, o que não é o comportamento esperado, pois nenhuma task de notification schema é gerada e o mdmBigQuerySynchronizationStatus é alterado para FAILED_TO_SYNC. O endpoint deve retornar um erro em vez de 200, indicando que a operação não foi bem-sucedida. Correção realizada para garantir que o status correto seja retornado durante a atualização do schema.
PLATFORM CAPL-7230 Corrige erro de localização do schema da staging table no GCS e emite alerta de nível WARNING
Foi identificado um erro frequente relacionado à não localização do schema da staging table no GCS, especificamente quando a cópia de dados de uma tenant Customer para uma tenant Unified falha devido à inexistência da tabela na tenant Unified. O objetivo é mapear as causas desse problema e garantir que, ao invés de gerar uma exception, um alerta de nível WARNING seja emitido, permitindo que o fluxo de inserção de dados via streaming prossiga sem interrupções.