Fiquei na curiosidade de testar lendo a url ao invés do arquivo, de fato com o passar do tempo página mudou, mas a alteração foi mínima.
url_wikipedia = "https://en.wikipedia.org/wiki/AFI's_100_Years...100_Movies"
dados_html = pd.read_html(url_wikipedia)
top_filmes = dados_html[1]
top_filmes = top_filmes[(top_filmes['1998 Rank'] != '-')].drop(columns=["2007 Rank"])
Eles acrescentaram uma coluna com os filmes de 2007. Por padrão a coluna já vem ordenada com os filmes de 98, então só precisei remover a coluna dos filmes de 2007 e remover os filmes que estavam associados a essa coluna. É interessante usar a url completa com o "https://" para que o pandas entenda como URL válida e não um html literal. (recebi um warning e um erro com o parser, kkkkk)