Minha instalação do Airflow, que roda em um container Docker, cria pastas em um diretório temporário dentro do container. De modo que não consigo acessá-las. Tenho conhecimento limitado em Docker, há a possibilidade de especificar a criação das pastas no host? Uso uma máquina Windows 11 e o Docker roda no Ubuntu via WSL2.
No DAG substituí o comando 'mkdir' por echo '$PWD' pra entender qual o diretório de trabalho e o resultado foi o do print anexo.
E aí, Daniel!
Entendi que tá rolando um dilema com as pastas no teu Airflow no Docker, certo? Tipo, elas estão aparecendo num lugar meio escondido no container, e tu tá querendo jogar elas no host, no caso, teu Windows 11. Então, na real, tem um jeito de fazer isso.
Dentro do Docker, as pastas costumam ficar meio no mundinho dele, mas dá pra "linkar" elas pro host. Se tu tá rodando o Docker no Ubuntu via WSL2, tem umas manhas pra isso.
A parada do 'mkdir' no DAG tá certa pra tentar descobrir onde as coisas tão indo. Pelo que tu mostrou no print, parece que tá indo pro diretório atual do DAG.
Se quiser mandar essas pastas pro teu Windows, tenta dar uma fuçada nas configurações do teu container Docker. Às vezes, rola de configurar lá pra jogar essas pastas pro host.
Mas, fica ligado, que a solução exata pode depender da configuração do teu ambiente.