Outro códico que não funciona. Estes cursos de Databricks sãpo cheios de falhas. Paguei para aprender e não para ficar corrigindo código. Não é possível que não há ninguém ai quee revise estas aulas e conserte os códigos!!!! Já procurei a solução, que não deveria ser eu, e não encontra nada para ajustar isso. Estou bem chateado com a ALURA, ainda mais que fechei uma Pos com a FIAP. Estou com medo do nível da POS.

from pyspark.ml.clustering import KMeans
from pyspark.ml.evaluation import SilhouetteEvaluator

Carregando dados de exemplo

from pyspark.ml.linalg import Vectors
from pyspark.sql.functions import rand

data = spark.createDataFrame([(Vectors.dense([0.0, 0.0]),), (Vectors.dense([1.0, 1.0]),),
                              (Vectors.dense([9.0, 8.0]),), (Vectors.dense([8.0, 9.0]),)], ['features']).orderBy(rand())

Criando o modelo K-means

kmeans = KMeans(k=2, seed=1)
model = kmeans.fit(data)

Avaliando a qualidade dos clusters com o SilhouetteEvaluator

evaluator = SilhouetteEvaluator()
silhouette = evaluator.evaluate(model.transform(data))
print(f"Silhouette score: {silhouette}")

ImportError: cannot import name 'SilhouetteEvaluator' from 'pyspark.ml.evaluation' (/databricks/spark/python/pyspark/ml/evaluation.py)