Data Processing
1. Como identificar quando a Tenant está usando pipelines SQL gerenciado através de Carol App ou do Orquestrador?
O processo é bem simples, primeiro passo é se certiticar de que a Tenant está provisionada no Big Query e com a flag de SQL Processing Only ativada.
Figura 1. Configurações da Tenant de cliente.
O próximo passo é acessar a Tenant do cliente e na página de gerenciamento de atividades filtrar pelo tipo de tarefa: Process Data using BigQuery.
Figura 2. Opções de filtro na Tenant de cliente.
Processamento por Orquestrador
Caso sejam apresentados registros na lista de tarefas abaixo, isto significa que a tentant utiliza-se do orquestrador para o processamento da pipeline.
Figura 3. Tenant de cliente com tarefas de processamento SQL.
Processamento Unificado por Carol App
Caso contrário isto indica que há um Carol App responsável pelo processamento da pipeline em uma Tenant unificada, onde estarão listadas as tarefas.
Figura 4. Tenant de cliente sem tarefas de processamento SQL.
Figura 5. Tenant unificada com tarefas de processamento SQL.
A manutenção de registros (inclusão, alteração e eliminação) através do módulo Explore está em processo de descontinuação. As tenants e organizations que são habilitadas com o recurso SQL Only, ou seja, sem recurso de Mapping and Cleansing Rule e ETL não possuem esse fluxo disponível.
Para evitar a perda de dados, é recomendável que toda a ingestão de dados ocorra com o envio para a staging area.
A migração dos dados da área do Explore (golden record sem vínculo com staging records) deve ocorrer pelo time responsável pelos dados ou pelo aplicativo Carol App. Caso seja efetuado um reprocessamento das pipelines com o recurso Clean habilitado, todos os dados serão perdidos.