Bom dia Felipe, sua pergunta tem uma resposta entre avançado e bem avançado no mundo técnico :) Eu pessoalmente gosto da resposta de mercado (marketing) que é a mais simples e traz o melhor resultado para mim.
Aqui existem duas explicações tecnicas (bemmm tecnicas) de motivos para escolher um k mais alto ou mais baixo. Repare que não existe uma solução fixa:
http://stats.stackexchange.com/questions/27730/choice-of-k-in-k-fold-cross-validation
https://www.quora.com/For-K-fold-cross-validation-what-k-should-be-selected
Por outro lado... repare a explicação de marketing: depende de quantos grupos serão úteis para você. Imagine que estou estudando o comportamento dos alunos do Alura para poder ajudá-los de maneiras distintas. Se eu agrupar os alunos em 30 grupos, terei grupos provavelmente com caracteristicas em comum mais "fortes" (variacao entre eles é pequena), mas terei que definir estrategias de ajuda customizadas para 30 grupos distintos, imagine o trabalho.
Se ao invés disso eu desejar agrupar em 6 grupos, terei grupos com uma variação um pouco maior entre eles, mas serei capaz de definir 6 estratégias de ação para ajudar esses 6 grupos distintos.
Repara como as vezes parece ser mais importante e fácil pensar no produto que estamos desenvolvendo do que no fator técnico em si?
[]s
Guilherme