[Dúvida] Erro no último script freq

Olá, Roque! Como vai?

Esse erro indica que a coluna cnpj_basico está ambígua, ou seja, o Spark não sabe de qual tabela você quer que ele pegue essa coluna.

→ Para resolver isso, você precisa especificar a tabela da qual a coluna cnpj_basico deve ser selecionada.

Você pode fazer isso adicionando o nome da tabela antes do nome da coluna, separado por um ponto. Por exemplo:

freq = spark.sql("""
    SELECT YEAR(data_de_inicio_atividade) AS data_de_inicio, COUNT(empresasJoinView.cnpj_basico) AS count
        FROM empresasJoinView 
        WHERE YEAR(data_de_inicio_atividade) >= 2010
        GROUP BY data_de_inicio
        ORDER BY data_de_inicio
""")

Dessa forma, o Spark saberá que você quer contar os cnpj_basico da tabela empresasJoinView.

Espero ter ajudado!

Abraço! :)