Oi Edu, tudo bem?
System.out.println é uma operação IO e, portanto, é demorado. O problema em usá-lo em seu código é que seu programa esperará até que o println termine. Isso pode não ser um problema em aplicações pequenas, mas assim que você tiver carga ou muitas iterações, começará a perceber problemas de performance.
A melhor abordagem é usar um framework de logging (exemplo: log4j). Esses frameworks usam uma fila de mensagens e escrevem somente se nenhuma outra saída estiver acontecendo.
Outro benefício é que você pode configurar arquivos de log separados para finalidades diferentes.
Espero ter ajudado, qualquer dúvida estou à disposição.
Abraço!