Dúvida de Conversão String para Float

Olá Maurício, tudo bem com você?

A ação de conversão de dados para sequências numéricas é algo bem comum no dia a dia de quem trabalha com Machine Learning e fazer o processo manual é bem cansativo. Para fazer isso de forma dinâmica no contexto do pyspark você pode usar a classe StringIndexer, que irá atribuir um índice numérico a cada valor único em uma coluna de String. O índice numérico é atribuído com base na frequência dos valores na coluna.

Exemplo de código:

spark = SparkSession.builder.appName("forumMauricio").getOrCreate()

dados = [("amarelo",),
        ("vermelho",),
        ("azul",),
        ("vermelho",)]

columns = ["cores"]
df = spark.createDataFrame(dados, columns)

# Usando o StringIndexer para converter a coluna 'cores' em índices numéricos
indexer = StringIndexer(inputCol="cores", outputCol="cores_index")
model = indexer.fit(df)
df_resultado = model.transform(df)


df_resultado.show()

Resultado:

Essa abordagem evita a criação manual de um mapeamento e é mais escalável para grandes conjuntos de dados.

Espero ter ajudado. Continue mergulhando em conhecimento e não hesite em voltar ao fórum para continuar aprendendo e interagindo com a comunidade. Em caso de dúvidas estou à disposição.

Abraços e bons estudos!

Obrigado pela ajuda. Fiz alguns testes e funciona, obrigado pelo apoio !