Dúvida quanto ao conceito do machine learning

A minha dúvida é um tanto quanto maluca, mas creio que esteja ligada ao conceito do que foi ensinado, por isso preciso tirá-la para evitar de achar que entendi sem efetivamente ter entendido. Vamos la... Treinei alguns algoritmos e decidi que para o meu conjunto de dados o algoritmo X é melhor. Validei esse entendimento contra dados do mundo real e eles provaram que realmente o algoritmo X acerta mais. Fui para a vida real com este algoritmo e estou usando-o para saber se devo ou não dispensar esforço de recuperação para meus alunos, que este algoritmo campeão disse que provavelmente sejam reprovados. Até ai tudo certo, era isso mesmo que deveria ser feito, mas... minha dúvida está no seguinte... minha decisão de escolha do algoritmo está baseada em qual acerta mais e não exatamente em qual acerta melhor. Ou seja, como saber que este algoritmo escolhido realmente apontou o aluno que merece esta atenção especial e como saber que o outro algoritmo não encontraria um aluno mais necessitado do que este? Ou então, como saber que as variáveis que usei são as melhores para identificar o aluno que realmente precisa desta "ajuda"? Ou na verdade eu não estou preocupado com isso quando executo este tipo de análise. O que eu realmente quero é acertar na maior parte das vezes e pra toda vez que eu errar, "azar o meu" (ou neste caso azar o do meu aluno que precisava mais do que este que eu escolhi)?