Preciso fazer o web scraping do conteúdo de notícias de sites específicos. Percebi que buscando as URL da página principal, tenho tanto links html, direcionando para as notíciais, quanto links para outras seções do jornal(esporte, economia, etc). Neste caso, eu precisaria fazer um loop "for" para cada link encontrado na página inicial, gerando um objeto soup para cada um desses endereços que não são html? até chegar na última seção onde terei de fato as notícias? Ou existe um a forma mais inteligente de fazer isso? O BeautifulSoup seria a ferramenta ideal para fazer isso ou o Scrapy seria mais indicado? abraço
