🚀 Melhorias
ACTIVITY_MANAGEMENT CAPL-5895 Atualiza campo lastUpdated em logs de task para tipo SQL Processing para monitoramento preciso
Atualiza o campo lastUpdated a cada novo log de task para o tipo SQL Processing, permitindo um monitoramento mais preciso pelo StaleBigQueryTaskCheckJob. Essa atualização reduz a lista de tasks a serem verificadas, garantindo que apenas as tasks que não receberam atualizações nos últimos 4 minutos sejam listadas. A solução avalia a necessidade de atualizar o lastUpdated para todas as tasks ou apenas para casos específicos como SQL Processing, melhorando a eficiência do sistema de monitoramento.
ACTIVITY_MANAGEMENT CAPL-5910 Otimiza a validação de jobs na task de processamento SQL na GCP
Otimiza a validação de jobs em execução na task de processamento SQL, ajustando a ordem de verificação dos jobs na GCP. A nova lógica verifica primeiro o DATAFLOW_JOB_ID, seguido do PROCESS_JOB_ID, e assim por diante, apenas se o status RUNNING for falso. A consulta ao Dataflow é realizada somente quando a flag useDataflow está ativa, evitando verificações desnecessárias. A implementação reduz o tempo de execução do método BigQueryProcessTaskProcessor, shouldDeallocateStale(), melhorando a eficiência do processamento.
ACTIVITY_MANAGEMENT CAPL-6655 Ajusta campo Duration da UI para corrigir inconsistências no registro de duração das tasks
Ajustes no campo Duration da UI são realizados para corrigir inconsistências no registro de duração das tasks. O cálculo atual, baseado em mdmUpdated - mdmCreated, gera confusão ao usuário sobre o tempo real de execução. Propostas incluem registrar a data e hora de criação no primeiro log, contabilizar apenas o processamento da task ou remover o campo Duration da UI. Essas mudanças visam garantir maior precisão e clareza nas informações apresentadas aos usuários.
DATA_MODEL CAPL-6644 Implementa descrição de data models para integração com Mandalore
Implementa a funcionalidade que permite informar a descrição de data models, facilitando a integração com Mandalore. Essa melhoria otimiza o processo de documentação e entendimento dos modelos de dados utilizados no sistema.
PLATFORM CAPL-6667 Recriar view ao editar staging table ou publicar data model para atualizar schema
Ao editar uma staging table ou publicar um data model, a view é recriada para forçar a atualização do schema, garantindo que a descrição do data model e os atributos estejam sempre atualizados. Essa mudança melhora a consistência dos dados e a integridade do sistema, refletindo corretamente as alterações realizadas nas tabelas e modelos. A documentação sobre atributos metadata está disponível para consulta.
SQL_PIPELINES CAPL-6711 Migra o Orchestrator para a implementação v4 dos endpoints de SQL Processing
O Orchestrator é migrado para a implementação v4 dos endpoints relacionados ao SQL Processing. Os endpoints processQuery e Get Pipelines agora utilizam as APIs /api/v4/bigQuery/processQuery e /api/v4/tenantApps/{id}/pipelines, respectivamente. Com essa migração, o Orchestrator se torna compatível com a v2 do manifest, conforme especificado na issue CAPL-6069. Essa atualização garante que o processamento de dados ocorra de forma eficiente e alinhada às novas versões das APIs.
🐛 Correções
CONNECTOR CAPL-6653 Valida parâmetros condicionais na escrita de parquets no GCS e corrige erros de escrita
Valida os parâmetros condicionais na escrita de parquets no GCS, corrigindo erros de escrita que ocorrem devido a pré-condições não atendidas. A implementação permite o uso de opções de parametrização mais resilientes, como o overwrite de arquivos utilizando ifGenerationMatch=0 e if_metageneration_match=0, evitando mensagens de erro que indicam que as condições não foram atendidas. A documentação relevante é atualizada para refletir essas melhorias e garantir uma operação mais estável.
CONNECTOR CAPL-6684 Correção NullPointerException ao tratar exceções do BigQuery ao adicionar AuditId
Corrige um NullPointerException que ocorre ao tratar exceções do BigQuery ao adicionar o AuditId. O problema é identificado na classe BigQueryExtendedErrorHandler, especificamente nos métodos reportStats e processElement. A implementação atualiza o tratamento de erros para garantir que não haja exceções de ponteiro nulo durante o processo.
CONNECTOR CAPL-6748 Corrige o valor de ingestionDatetime nas stagings para refletir a data/hora correta de aterrizagem do registro
O valor de _ingestionDatetime nas stagings não reflete a real data/hora de aterrizagem do registro, apresentando uma diferença de minutos em relação ao _CHANGE_TIMESTAMP do BigQuery. Essa discrepância impacta o processamento. Uma solução paliativa já foi implementada, mas o tema continua em análise. Um documento detalhado sobre o caso está disponível para consulta.
EXPLORE CAPL-6660 Corrige exibição da senha no painel lateral do registro Golden Record de mdmUser para o storage Type RT
O problema de exibição da senha no painel lateral do registro Golden Record de mdmUser para o storage Type RT foi identificado e corrigido. Agora, a senha não aparece mais, garantindo a segurança das informações. O comportamento para BQ permanece inalterado e continua funcionando corretamente.