[Dúvida] Então se um modelo for bom e preciso, independente do conjunto de dados de de treino e teste que eu usar, a faixa de porcentagem de acerto(acurácia) vai se manter consistente?

Então usando a validação cruzada, se um modelo(uma Rede Neural Multilayer Perceptron por exemplo) for bom e preciso, e estiver funcionando corretamente, independente do conjunto de dados de de treino e teste que eu usar, a faixa(intervalo) inicial e final de porcentagem de acerto(acurácia usando desvio padrão e média, mostrada na aula "Validacao cruzada e aleatoriedade inicial") vai se manter consistente? ou seja, vai sempre tentar a dar os mesmos valores iniciais e finais?

PERGUNTAS:

Então se um modelo for bom e preciso, e estiver funcionando corretamente, independente do conjunto de dados de de treino e teste que eu usar, a faixa(intervalo) inicial e final de porcentagem de acerto(acurácia usando desvio padrão e média, mostrada na aula "Validacao cruzada e aleatoriedade inicial") vai se manter consistente? ou seja, vai sempre tentar a dar os mesmos valores iniciais e finais?
(Se a resposta anterior for "sim") Se o intervalo tiver que se manter consistentes pra provar que o modelo está funcionando corretamente, isso significa que literalmente pra qualquer conjunto de treino e teste, o intervalo de acurácia vai precisar estritamente dar sempre as mesmas porcentagens inicial e final ? Ou esse valor pode variar um pouco dependendo do conjunto de treino e teste usado na validação cruzada?
Suponha que eu tenha umas 100 amostras no meu dataset, e Se eu estivar usando Validação Cruzada, E eu rodar minha validação cruzada(SEM DEFINIR UMA SEED, OU SEJA, COM UMA SEED ALEATÒRIA DO MOMENTO) apenas uma unica vez, e eu estiver usando 5 k-folds(de número K, o número padrão que o professor falou), e com isso, meu modelo tiver uma taxa de acerto alta entre 70% a 72%, isso prova com exatidão que meu modelo está funcionando corretamente?, e que sempre será bom e preciso para dados de teste daquele problema?

Oi William, tudo bem?

Vamos por partes para responder suas dúvidas:

Faixa de porcentagem de acerto consistente: Se um modelo for bom e preciso, ele tende a apresentar uma faixa de acurácia consistente, mas isso não significa que os valores serão exatamente os mesmos para qualquer conjunto de treino e teste. A validação cruzada ajuda a garantir que o modelo seja avaliado de forma mais robusta, mas ainda assim pode haver alguma variação devido à aleatoriedade inerente na divisão dos dados e na inicialização dos pesos do modelo (especialmente em redes neurais).
Variação no intervalo de acurácia: Mesmo que o modelo seja bom, o intervalo de acurácia pode variar um pouco dependendo do conjunto de treino e teste usado na validação cruzada. Essa variação é normal e esperada. O importante é que a média da acurácia e o desvio padrão sejam consistentes ao longo de várias execuções, indicando que o modelo é estável e generaliza bem para diferentes subconjuntos dos dados.
Validação cruzada com 100 amostras e 5 k-folds: Rodar a validação cruzada uma única vez sem definir uma seed pode não ser suficiente para provar com exatidão que o modelo está funcionando corretamente. A acurácia entre 70% e 72% é um bom indicativo, mas para ter mais confiança nos resultados, é recomendável rodar a validação cruzada várias vezes com diferentes seeds e observar a média e o desvio padrão da acurácia. Isso ajuda a garantir que o modelo não está apenas se beneficiando de uma divisão específica dos dados.

Por exemplo, se você rodar a validação cruzada 10 vezes e obter uma média de acurácia de 71% com um desvio padrão pequeno, isso indica que o modelo é consistente e generaliza bem. Se a variação for muito grande, pode ser um sinal de que o modelo não está generalizando bem ou que os dados são muito variáveis.

Espero ter ajudado.

Qualquer dúvida, compartilhe no fórum.

Abraços e bons estudos!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓. Bons Estudos!

Mergulhe em programação