Atribuir Mediana para cada Tipo de imóvel

Olá, Luis! Tudo bem com você?

Para fazer isso de forma automática podemos utilizar o método fillna. O fillna vai preencher seus dados faltantes de acordo com cada o valor da coluna em que o dado faltante está inserido. Para preencher da forma que você quer uma ideia é fazer da seguinte forma:

df2 = df.fillna(df.median())
df2.head()

Dessa forma você preenche cada uma das colunas numéricas com sua respectiva coluna.

É possível utilizar esse método também com o groupby, conforme a documentação.

Qualquer dúvida estou à disposição.

Sim Bruno, essa maneira o instrutor passou durante o curso. Porém ela irá preencher com a mediana do grupo inteiro, sem levar em consideração o Tipo do Imóvel. O que gostaria de realizar é atribuir a mediana do Valor somente do grupo de Apartamentos a todos e somente aos registros NaN de Apartamentos. E realizar isso para os outros tipos de imóveis. Ou seja, calcular a mediana de Casas e atribuir esse valor aos dados faltantes dos registros de Casas. Não sei se consegui explicar direito. Obrigado pela ajuda!

Olá, Luis! Tudo bem com você?

Peço desculpas pela interpretação errada da sua dúvida.

Para fazer o que você está querendo primeiro temos que calcular a mediana para todos os tipos. Podemos fazer isso da seguinte forma:

medianas = dados.groupby('Tipo').agg({'Condominio': 'median'})
medianas

Saída:

Dessa forma você calculou as medianas para cada tipo. Percebe-se que alguns valores são nan, isso acontece porque todas as amostras desse tipo de imóvel tem condominio igual a nan, portanto não há como calcular a mediana.

Agora que temos as medianas de cada tipo, vamos preencher os dados faltantes utilizando os métodos .fillna e .apply da seguinte forma:

dados_preenchidos = dados.apply(lambda x: x.fillna(medianas.loc[x['Tipo'], 'Condominio']), axis = 1)
dados_preenchidos

O que esse de código está fazendo a preenchendo os dados faltantes, através do método fillna com os valores de mediana de cada tipo, calculada anteriormente.

Conferindo novamente a base de dados:

dados_preenchidos.isnull().sum()

Saída:

Tipo           0
Bairro         0
Quartos        0
Vagas          0
Suites         0
Area           0
Valor          0
Condominio    19
IPTU           9
dtype: int64

Percebemos que alguns valores ainda estão ausentes em Condominio, que são justamente aqueles tipos onde todos os valores eram nan no conjunto de dados original. Para comprovar isso, execute o código abaixo:

lista = dados_preenchidos[dados_preenchidos['Condominio'].isna()].Tipo.unique()
for i in lista:
    display(df_agg.get_group(i))

Qualquer dúvida estou à disposição.