Eu configurei minha conexão com spark com o host = "localhost", mas a configuração padrão do spark é local[*].
Vi aqui https://stackoverflow.com/a/27250746/10891491 que se tem duas configurações dá conflito.
O ideal é deixar o host como local[*]? Testei com local[*] e funcionou, mas com o localhost não
A configuração local[*] no Spark é usada para executar em modo local usando todos os núcleos disponíveis na máquina. Por outro lado, configurar o host como "localhost" refere-se a um cluster Spark em execução na mesma máquina onde você está executando seu código.
O conflito que você mencionou provavelmente ocorre porque, quando você configura o host como "localhost", o Spark tenta inicializar um cluster Spark em uma JVM separada, e isso pode entrar em conflito com uma instância Spark já em execução.
A configuração padrão local[*] é uma escolha mais segura para executar em um ambiente de desenvolvimento ou teste em uma máquina local, pois aproveita todos os núcleos disponíveis sem causar conflitos com outras instâncias Spark em execução.
Se você deseja executar em modo local usando todos os núcleos disponíveis na máquina, manter a configuração como local[*] é uma boa opção. No entanto, se você deseja se conectar a um cluster Spark em execução em um host específico, você precisa configurar o host corretamente e garantir que a instância Spark esteja em execução e acessível nesse host.
Em resumo, se você está executando um ambiente de desenvolvimento ou teste em sua máquina local e deseja usar todos os núcleos disponíveis, a configuração local[*] é a escolha mais simples. Se você estiver se conectando a um cluster Spark em execução em um host específico, ajuste o host conforme necessário e certifique-se de que a instância Spark esteja configurada e acessível corretamente.