Estou com um problema ao executar o submit, mesmo passando o parâmetro process_date, estou recebendo um erro de que o parâmetro é necessário.
Estou com um problema ao executar o submit, mesmo passando o parâmetro process_date, estou recebendo um erro de que o parâmetro é necessário.
Olá Leandro, tudo bem?
O problema pode estar relacionado ao uso do underline no nome do parâmetro. Na mensagem de erro notei que ele aponta requerer o parâmetro --process-date, mas na execução do comando, você usou --process_date (com um underline em vez de um hífen).
Tente usar o comando:
./bin/spark-submit /home/leandrobrave/Documents/curso1/src/Spark/transformation.py --src /home/leandrobrave/Documents/curso1/datalake/twitter_datascience --dest /home/leandrobrave/Documents/curso1/src/Spark --process-date 2022-08-15
Note que --process-date deve ser escrito com um hífen entre "process" e "date".
Espero ter ajudado.
Qualquer dúvida, não hesite em compartilhar no fórum.
Abraços e bons estudos!