O notebook está com problemas para ser executado com o cluster. Sempre quando tento rodar qualquer célula do notebook, a célula fica em loop de execução em "Wainting for compute to be ready":
Após um tempo de execução, uma exception ocorre indicando Timeout de conexão, como pode ser observado abaixo:
Como podem observar, antes de executar a célula, o cluster já está conectado ao notebook. Após a execução e o exception, o cluster é desconectado do notebook. O cluster não é terminado, ele continua rodando normalmente.
Edit: O problema era por parte do próprio Databricks e foi resolvido em alguns dias.
