Gostaria de acessar paginas que não fossem dinamicas para testes e treinar o Scrapping em outros sites. Como identificar os sites com paginas em servidores e possiveis de serem acessados?
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Gostaria de acessar paginas que não fossem dinamicas para testes e treinar o Scrapping em outros sites. Como identificar os sites com paginas em servidores e possiveis de serem acessados?
Oii Alexandre! Como você está?
Peço desculpas pela demora em dar um retorno.
Quando estamos acessando um site, ao pressionarmos Ctrl + U, seremos direcionados para o código fonte daquela página. Para identificarmos se essa página é estática ou dinâmica, podemos pegar algumas palavras/frases que estejam aparecendo nessa página e pesquisar se esses termos também aparecem no código fonte da página. Caso os termos apareçam, significa que essa página já carregou todo seu conteúdo e portanto é estática. Se não aparecerem, isso indica que ainda existem conteúdos naquela página que precisam ser carregados e, portanto ela é dinâmica.
Por exemplo, vamos acessar a página com o seu perfil da alura:
Vamos copiar a quantidade de pontos acumulados e, no código fonte da página, vamos pressionar Ctrl + F e colar essa quantidade de pontos para ver se encontramos esse número no código fonte:
Podemos perceber que encontramos sim uma correspondência. E se pesquisarmos qualquer outro elemento da página nesse código fonte, iremos encontrar todos, o que nos indica que essa página é estática.
Agora um exemplo de site dinâmico seria o Instagram. Vamos acessar uma página chamada #cats para fazermos o teste:
No código fonte dessa página, vamos procurar por "Principais publicações":
E não temos nenhum retorno, nos mostrando que essa página é dinâmica.
Vou deixar aqui algumas indicações de sites estáticos que você pode explorar para treinar suas habilidades de scraping:
1 - Fundamentus - Invista Consciente: site de investimento onde você pode procurar extrair dados da tabela (Papel, Cotação, etc.);
2 - Sports Reference: site com estatísticas sobre esportes. Você pode selecionar um esporte específico e extrair dados das tabelas referente a esse esporte;
3- Seu perfil na alura: como vimos anteriormente, esse é um site estático onde você pode extrair dados como a quantidade de pontos acumulados, cursos concluídos, exercícios, etc.
Espero que tenha te ajudado! Qualquer dúvida estou a disposição :)
Abraços e bons estudos!