Galera, após alterar o Path do Windows para a versão correta, mova-o para o topo:
Feito isso, será necessário fechar o Prompt de Comando, deletar o arquivo "Programa.class" que foi gerado anteriormente e compilar o "Programa.java" novamente usando o comando javac Programa.java
Após, o comando java Programa irá funcionar corretamente printando o "ola mundo"
Opa Carlos.
Isso acontece porque o windows tenta referenciar um programa seguindo a ordem de cima para baixo das entradas em PATH. Veja que seu segundo item é uma referencia a um diretório para algum Java. Se essa entrada não existir, o seu caminho ao java 1.8.0_121 poderia estar mais embaixo sem problemas.
Contudo, é uma ótima dica!