Boa tarde, quando temos um dataset no qual a unica informação é para que ele sera usado, não podendo inferir o que cada coluna e como elas se relacionam, para assim retirarmos insghts, o que devo fazer e observar?
Ex: As colunas estão como col1, col2, col3, ... , col100
Consegui verificar a existencia de valores nulos e NaN, outliers, criei uma matriz de correlação. Porém não consigo externalizar em um relatório, portanto não sei mais o que posso procurar observar.
Oi, Atilla! Tudo bem por aí?
Puxa, essa situação não é nada amigável para um analista de dados. O ideal seria que você pudesse conversar com a pessoa que conhece a origem desses dados para, então, conhecer melhor o que se espera do seu trabalho. Ou, se essa não for uma opção, conversar com algum especialista na área que possa compartilhar um pouco de sua experiência com você. Assim, seria possível direcionar seus esforços de forma mais coerente.
Caso isso não seja possível, você já fez um bom trabalho com a matriz de correlação e verificação de valores nulos e outliers. Sugiro que, para continuar explorando, você extraia medidas descritivas das colunas e criar gráficos para observar a distribuição dos valores.
Mesmo sem entender o significado das colunas, é possível experimentar criar modelos preditivos simples para entender como as colunas se relacionam.
Caso faça sentido, pense em aplicar técnicas de redução de dimensionalidade ou agrupamento.
Espero que você tenha sucesso nesse desafio, Atilla.
Abraços.