Boa noite! Eu tentei, por diversas vezes, de formas diferentes e com ajuda da inteligência artificial crisar o Cluster, porém em todas tentativas deu "Falha na Etapa" verifiquei as perimissoes e refiz do inicio todo o passo a passo algumas vezes e o erro persiste. Conseguem me apoiar?
Preciso de apoio para conseguie dar continuidade ao curso!
Oii, José tudo bem?
Esse tipo de erro pode ser causado por vários motivos, para sabermos ao certo qual é, precisamos verificar o log do cluster (clique no ID do cluster) para lermos os detalhes do erro. Nesse sentido, faça isso e compartilhe conosco as informações sobre o erro.
Mas posso adiantar alguns para você verificar, por exemplo
Na documentação podemos encontrar soluções para os erros mais comuns, de acordo com a mensagem que encontramos no log, deixarei o link aqui:
Espero que uma das sugestões te ajude.
Bons estudos, José!
Boa tarde, segue o log: (esse é apenas um dos logs Stederr.gz), verifiquei permissões refiz etapas e continuo com erros.
25/01/15 22:39:16 ERROR Client: Application diagnostics message: User application exited with status 1 Exception in thread "main" org.apache.spark.SparkException: Application application_1736980658454_0001 finished with failed status at org.apache.spark.deploy.yarn.Client.run(Client.scala:1321) at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1754) at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:1075) at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:194) at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:217) at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:91) at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:1167) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:1176) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 25/01/15 22:39:16 INFO ShutdownHookManager: Shutdown hook called