Assim funcionou:
import pandas as pd
data = [{'Nome': 'Zeca', 'Idade': '35'}, {'Nome': 'Eva', 'Idade': '29'}]
pandas_df = pd.DataFrame(data)
pandas_df.iteritems = pandas_df.items #linha incluida
df = spark.createDataFrame(pandas_df)
df.toPandas()