Configuração
Para configurar o Airbyte será necessário adicionar uma origem, destino e configurar a conexão entre a fonte e destino.
Você pode ter que esperar cerca de 30 segundos antes que os campos apareçam porque é a primeira vez que você está usando o Airbyte.
Adicionando uma origem
Você pode seguir este tutorial na integração ou por meio da interface do usuário, onde pode primeiro navegar até a guia Source na barra esquerda.
Nossa Origem de demonstração extrairá dados de uma API externa, que extrairá as informações de um Pokémon específico.
Para configurá-lo, basta seguir as instruções na imagem abaixo.
Não consegue encontrar os conectores que deseja? Tente construir facilmente um você mesmo usando o Python CDK para fontes de API HTTP, disponibilizado pela Airbyte!
Adicionando um destino
O destino que estamos criando é um arquivo de linha JSON simples, o que significa que conterá um objeto JSON por linha. Cada objeto representará os dados extraídos da fonte.
Os arquivos resultantes estarão localizados em /tmp/airbyte_local/json_data
Para configurá-lo, basta seguir as instruções na imagem abaixo.
Configurar uma conexão
Ao criar a conexão, podemos selecionar qual fluxo de dados queremos replicar. Também podemos selecionar se queremos uma replicação incremental, embora atualmente não seja oferecida para esta fonte. A replicação será executada na frequência de sincronização especificada.
Para configurá-lo, basta seguir as instruções na imagem abaixo.
Verifique os logs da sua primeira sincronização
Depois de concluir a integração, você será redirecionado para a lista de fontes e verá a fonte que acabou de adicionar. Clique nele para encontrar mais informações. Agora você verá todos os destinos conectados a essa fonte. Clique nele e você verá o histórico de sincronização.
A partir daí, você pode consultar os logs, baixá-los, forçar uma sincronização e ajustar a configuração da sua conexão.
Verifique os dados da sua primeira sincronização
Agora vamos verificar se funcionou:
$ cat /tmp/airbyte_local/json_data/_airbyte_raw_pokemon.jsonl
Você deve ver um grande objeto JSON com a resposta da API, fornecendo muitas informações sobre o Pokémon selecionado.
Se você tiver o jq instalado, vejamos alguns dos dados que replicamos sobre o charizard. Vamos puxar suas habilidades e peso:
$ cat _airbyte_raw_pokemon.jsonl |
$ jq '._airbyte_data | {abilities: .abilities, weight: .weight}'
Você extraiu dados de uma API diretamente para um arquivo, com toda a configuração real para essa replicação ocorrendo apenas na interface do usuário.
Se você estiver usando o Airbyte no Windows com WSL2 e Docker, consulte este tutorial ou esta seção no guia de destino local-json para localizar a pasta e o arquivo replicados.