Gostaria de acessar paginas que não fossem dinamicas para testes e treinar o Scrapping em outros sites. Como identificar os sites com paginas em servidores e possiveis de serem acessados?
Gostaria de acessar paginas que não fossem dinamicas para testes e treinar o Scrapping em outros sites. Como identificar os sites com paginas em servidores e possiveis de serem acessados?
Oii Alexandre! Como você está?
Peço desculpas pela demora em dar um retorno.
Quando estamos acessando um site, ao pressionarmos Ctrl + U, seremos direcionados para o código fonte daquela página. Para identificarmos se essa página é estática ou dinâmica, podemos pegar algumas palavras/frases que estejam aparecendo nessa página e pesquisar se esses termos também aparecem no código fonte da página. Caso os termos apareçam, significa que essa página já carregou todo seu conteúdo e portanto é estática. Se não aparecerem, isso indica que ainda existem conteúdos naquela página que precisam ser carregados e, portanto ela é dinâmica.
Por exemplo, vamos acessar a página com o seu perfil da alura:
Vamos copiar a quantidade de pontos acumulados e, no código fonte da página, vamos pressionar Ctrl + F e colar essa quantidade de pontos para ver se encontramos esse número no código fonte:
Podemos perceber que encontramos sim uma correspondência. E se pesquisarmos qualquer outro elemento da página nesse código fonte, iremos encontrar todos, o que nos indica que essa página é estática.
Agora um exemplo de site dinâmico seria o Instagram. Vamos acessar uma página chamada #cats para fazermos o teste:
No código fonte dessa página, vamos procurar por "Principais publicações":
E não temos nenhum retorno, nos mostrando que essa página é dinâmica.
Vou deixar aqui algumas indicações de sites estáticos que você pode explorar para treinar suas habilidades de scraping:
1 - Fundamentus - Invista Consciente: site de investimento onde você pode procurar extrair dados da tabela (Papel, Cotação, etc.);
2 - Sports Reference: site com estatísticas sobre esportes. Você pode selecionar um esporte específico e extrair dados das tabelas referente a esse esporte;
3- Seu perfil na alura: como vimos anteriormente, esse é um site estático onde você pode extrair dados como a quantidade de pontos acumulados, cursos concluídos, exercícios, etc.
Espero que tenha te ajudado! Qualquer dúvida estou a disposição :)
Abraços e bons estudos!