Eu resolvi testar uma maneira de converter as colunas objects para inteiras e floats sem a biblioteca Numpy, baseado no curso: Pandas: selecionando e agrupando dados Pandas, onde foi visto.
dados = dados.astype({'max_hospedes':'int64'})
col_num = ['max_hospedes','quantidade_banheiros','quantidade_quartos','quantidade_camas']
conversao = {coluna: 'int64' for coluna in col_num}
dados = dados.astype(conversao)
dados = dados.astype({'avaliacao_geral':'float64'})
E .strip() é opcional
dados['preco'] = dados['preco'].apply(lambda x: x.replace('$', '').replace(',','').strip())