Solucionado
Olá, estou rodando o airflow em um docker container. Como que consigo instalar os pacotes Pandas, NumPy e outros sem precisar ficar gerando um container novo toda hora a partir de uma imagem nova? Ao invés de adicionar os pacotes no Dockerfile, gostaria de instalar depois que a imagem é gerada e o container está já rodando.
Oii, Eduardo! Tudo bem?
Ótima pergunta! Como sugestão você pode utilizar o pip dentro do contêiner.
Segue um exemplo de instalação:
Acesse o terminal do contêiner onde o Airflow está rodando, usando o comando abaixo. Altere o nome do container para o que está em seu projeto. . Substitua <nome_do_container> pelo nome ou ID do seu contêiner.
docker exec -it <nome_do_container> /bin/bash
Depois, use o pip para instalar os pacotes que você deseja. Vamos usar Pandas e NumPy, como exemplo:
pip install pandas numpy
E para verificar se os pacotes foram instalados corretamente, pode-se rodar um script Python simples dentro do contêiner ou utilizando o comando pip list para listar todos os pacotes instalados.
pip list
Um ponto de atenção: essa sugestão é temporária e pode ser perdidas caso o contêiner for parado ou removido. Outra alternativa, que garanta mais estabilidade, considere criar um volume Docker para persistir os pacotes instalados ou criar um novo Dockerfile com os pacotes necessários.
Para te auxiliar nos estudos, reuni alguns links sobre o tema:
As páginas podem abrir em inglês, caso não tenha familiaridade com o idioma, clique com o botão direito do mouse em qualquer canto da tela e escolha a opção Traduzir para o português.
Espero ter ajudado. Qualquer dúvida, compartilhe no fórum.
Bons estudos, Eduardo!
Qual desses containeres é o correto para a instalação?
Oii, Eduardo!
Como sugestão, você pode instalar os pacotes em qualquer um dos containers que estão executando o Airflow, e é recomendável instalar os pacotes no container airflow_tutorial-airflow-worker-1, pois este é o container que executa as tarefas do Airflow.
Espero ter ajudado. Bons estudos, Eduardo!