Bom dia, fiz o curso de scraping aqui, mas na hora de partir para um site um pouco menos preparado, não estou conseguindo sair do lugar. Tentei fazer uma raspagem da wikipedia, campeonato brasileiro de 1971. Não consigo nem chegar à tabela que gostaria (a classificação final), nem sequer extrair os dados da tabela que acabo pegando (participantes). (tentei fazer esse mesmo processo em outros sites, o resultado foi ainda pior, de nem conseguir isolar a tabela).
Se alguém puder dar uma ajuda, agradeço.
o que fiz:
from bs4 import BeautifulSoup
import pandas as pd
from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError
import requests
website_url = requests.get('https://pt.wikipedia.org/wiki/Campeonato_Brasileiro_de_Futebol_de_1971').text
soup = BeautifulSoup(website_url,'lxml')
print(soup.prettify())
tabela = soup.find('table',{'class':'wikitable'})
links = tabela.findAll('a')
Times = []
for link in links:
Times.append(link.get('title'))
print(Times)
df = pd.DataFrame()
df['Times'] = Times
df
