Olá, Miqueias!
Então, os dois arquivos .html lá no comecinho do projeto são o index.html e o documento.html. O index.html é tipo o chefão que aparece quando você abre o projeto no navegador. Ele é meio que a estrutura principal da página, e é lá que você joga os componentes do React, se quiser.
Já o documento.html é só um exemplo de como criar outras páginas no projeto. Não é obrigatório, mas pode ser útil se você quiser dar uma expansãozinha no seu sistema.
Se você tá afim de turbinar o projeto com os componentes do React, é só começar colando a biblioteca no seu projeto. Daí pra frente, você cria os componentes no seu projeto e dá aquele import no index.html.
Olha só, imagina que você tem um componente chamado App que quer jogar no index.html. Facinho, ó:
- Faz um arquivo
App.js na mesma pasta do seu projeto. - No
App.js, cria o seu componente usando a magia do React.
Espero que isso clareie as ideias!