Olá, Israel! Tudo bem? Boa pergunta.
A proposta do treinamento era explorar as diversas formas de lidar com os arquivos estáticos que podem conter as nossas aplicações. Por isso, optei por utilizar os ícones como assets de imagem mesmo, para mostrar como podemos importá-los de diferentes maneiras.
Mas se você quiser e se sentir a vontade pode utilizar o react-icons que é uma ótima biblioteca de ícones. Se quiser outra opção eu gosto de usar a do Heroicons, onde vc pode apenas copiar o código JSX do ícone e usar como um componente. Bem legal e simples na minha opinião!
Grande abraço e bons estudos ;)