1
resposta

Shap value

Eu montei um modelo utilizando o Random Forest para fazer algumas previsões. Após a elaboração do modelo decidi usar o SHAP para entender como cada característica estava impactando nos valores preditos. Gerei algumas opções de gráficos lá e ate ai tudo certo. O problema foi quando rodei novamente o SHAP para o mesmo modelo, pois os resultados não foram exatamente iguais os da primeira vez. Gostaria de saber se isso é normal, e se ocorrer devido a 'limitações' do SHAP em interpretar o modelo ou se tem algo de errado com a construção do próprio modelo.

Já agradeço possíveis respostas!!

1 resposta

Oii, Thales! Tudo bem?

A instabilidade dos resultados pode ser estimulados por diversos motivos, é importante investigar alguns pontos.

Por exemplo, a aleatoriedade do modelo, que usa subconjuntos aleatórios de dados e características, faz com que os valores SHAP variem. Além disso, há limitações no próprio SHAP, que usa aproximações e é sensível às mudanças nos dados, gerando flutuações. E também, problemas no modelo, como sobre ajuste ou a presença de características muito correlacionadas (multicolinearidade), também podem resultar em resultados instáveis.

Como sugestão, comece comparando os valores SHAP, pois pequenas diferenças são normais. Verifique se as interpretações gerais são consistentes entre si. Teste com diferentes conjuntos de dados, pois a persistência da instabilidade pode indicar problemas no modelo. Avalie a qualidade do modelo, já que modelos de baixa qualidade tendem a ser mais instáveis. Utilize técnicas de regularização, como L1 ou L2, para ajudar na estabilização. Trate a multicolinearidade usando PCA ou selecionando características para melhorar a estabilidade do modelo.

E tenha como apoio extra a documentação do SHAP, segue o link:

A página pode abrir em inglês, caso não tenha familiaridade com o idioma, clique com o botão direito do mouse em qualquer canto da página e escolha a opção Traduzir para o português.

Espero ter ajudado. Qualquer dúvida, conte conosco.

Bons estudos, Thales!