pois entendi na sua explicacao q podemos ter uma especie de lixo e ter 2 grupos de comedia romantica por exemplo e aquilo ficar sem proposito. no agrupamento estou buscando uma tendencia com os pesos escalados na formacao do grupo, correto?, entao qdo eu organizo os dados como posso precisar meu corte pra analisar os dados ; existe uma quantidade ótima de dados num mes, num ano? a questao da qtde de cluster esta relacionada a variancia e vies e tb a overfitting e underfitng?
Olá Marco, td bem com você??
Desculpe a demora para te responder. Espero que eu tenha compreendido a sua dúvida para te ajudar!
"A questao da qtde de cluster esta relacionada a variancia e vies e tb a overfitting e underfitng?"
A questão de quantidade de cluster está diretamente ligada a quantidade de gêneros e como estes podem ser agrupados. Na aula "O método do cotovelo" é tratado isso. Mostrando como se chegou no número indicado de centroides que equivalem as separações em 17 grupos de gêneros de filmes distintos.
Para te ajudar no entendimento ainda mais e sanar as suas dúvidas, vou deixar uma breve explicação sobre alguns termos que citou.
Cluster: Seria um aglomerado de elementos, representando um conjunto de itens pertencentes ao mesmo grupo, localizando o centroide.
Centroide: Valor médio do Cluster. Representação central do grupo.
Variância: Medida de dispersão que trata a distância que cada valor está do valor central médio, Centroide.
Vies: Na área de Data Science, trata juntamente com a variância, de uma possível influência no desempenho da previsão.
Overfitting: Ocorre quando o modelo aprende tanto com a base de treino que acaba não conseguindo trabalhar com novas bases de dados. Gerando resultados errados pois o modelo só funciona com a base do treino.
Underfitting: Ocorre quando os dados de treino desempenham de forma ruim, não encontrando relações entre as variáveis, não aprendendo e não gerando resultados para conseguir trabalhar com outras bases de dados.
Espero ter te ajudado e qualquer dúvida é só retornar aqui!
Bons estudos!