Identificação de colunas binárias Pyspark

Olá William, tudo bem ? Espero que sim.

Você está correto, nas colunas classificadas como binarias, temos algumas que apresentam além dos valores sim e não, os valores SemServicoInternet, então você pode incluir isso na suas analises ou podemos classificar essa opção apenas como o não, isso fica a critério do que faz sentido para sua analise.

Obrigado por destacar esse ponto muito importante.

Uma das maneiras de identificar as variações de valores que temos em uma coluna é utilizar o groupBy, igual quando analisamos a quantidade de Churn na base de dados.

dados\
    .select('Churn')\
    .groupBy('Churn')\
    .count()\
    .show()

Podemos rodar o mesmo código para o restante das colunas.

for coluna in reversed(dados.columns):
  dados\
      .select(coluna)\
      .groupBy(coluna)\
      .count()\
      .show()

E assim obter quais as variações de valores que temos para cada coluna.

Espero ter ajudado e novamente obrigado por compartilhar esse ponto, tenho certeza que isso vai ajudar seus colegas a entender melhor nossa analise.