Boa noite, Estou realizando o curso e na primeira aula o instrutor faz o download de um arquivo json, Porém eu gostaria de saber se é possível extrair os dados dessa url sem precisar fazer o Download, Eu sei como fazer isso usando o Pyspark e o Pandas porém fora do contexto do Databricks, Tentei pesquisar sobre porém n consegui, Segue link: https://community.databricks.com/t5/data-engineering/read-csv-directly-from-url-with-pyspark/td-p/12053
Olá, Enrico! Tudo bem?
No Databricks, isso é definitivamente possível e é bastante semelhante ao que você faria com o PySpark ou o Pandas.
Você pode usar a biblioteca requests do Python para fazer isso. Primeiro, você precisa instalar a biblioteca. No Databricks, você pode fazer isso adicionando uma nova biblioteca em seu cluster e fornecendo o nome da biblioteca (requests).
Após instalado, você pode usar o seguinte código para ler o arquivo JSON diretamente da URL:
import requests
import json
url = "https://seu-link-aqui.com/arquivo.json"
response = requests.get(url)
data = json.loads(response.text)
Nesse código, requests.get(url) faz uma solicitação GET para a URL fornecida e obtém a resposta. json.loads(response.text) então converte essa resposta em um objeto JSON que você pode manipular no Python.
Porém, vale lembrar que este método pode não ser ideal se o arquivo JSON for muito grande, pois todo o arquivo será carregado na memória. Além disso, este método pode não funcionar se a URL exigir autenticação.
Espero ter ajudado e bons estudos!