Estou com um problema ao executar o submit, mesmo passando o parâmetro process_date, estou recebendo um erro de que o parâmetro é necessário.
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Estou com um problema ao executar o submit, mesmo passando o parâmetro process_date, estou recebendo um erro de que o parâmetro é necessário.
Olá Leandro, tudo bem?
O problema pode estar relacionado ao uso do underline no nome do parâmetro. Na mensagem de erro notei que ele aponta requerer o parâmetro --process-date, mas na execução do comando, você usou --process_date (com um underline em vez de um hífen).
Tente usar o comando:
./bin/spark-submit /home/leandrobrave/Documents/curso1/src/Spark/transformation.py --src /home/leandrobrave/Documents/curso1/datalake/twitter_datascience --dest /home/leandrobrave/Documents/curso1/src/Spark --process-date 2022-08-15
Note que --process-date deve ser escrito com um hífen entre "process" e "date".
Espero ter ajudado.
Qualquer dúvida, não hesite em compartilhar no fórum.
Abraços e bons estudos!