Olá Pedro, isso realmente é muito complicado, indo para o back-end você irá ao ar de forma mais profunda o que você aprendeu nos cursos de lógica e irá aprender, ou reforçar, o conceito de orienta ao à objetos o que é fundamental na carreira.
Ambos são muito importante, o front-end realmente é muito perceptível ao usuário, mas se você, como back-end pega uma aplicação que é lenta e deixa ela mais rápida sem perder nenhuma funcionalidade o cliente tá bem irá perceber, no fim é interessante aprender ambos e focar em qual você mais gostar.
Agora, opinião minha, o curso de Java seria bem interessante por conta da orientação à objetos, mas é só uma opinião minha, a escolha é sua :)
Espero ter ajudado um pouco
Abraço e bons estudos