Olá Jefferson!
No curso é usado o LocalDB, que é uma versão mais leve e simples do SQL Server e esse banco de dados já vem instalado por padrão no Visual Studio.
Para usar o MySql, você precisa instalar o driver do MySql no seu projeto, que pode ser diretamente pelo gerenciador de pacotes do NuGet: Install-Package Pomelo.EntityFrameworkCore.MySql -Version 2.2.0
ou instale alguma versão mais antiga, caso tenha algum conflito ou problema.
Depois, recomendo que siga os passos da própria documentação aqui no próprio Github do projeto.
Aqui também tem a documentação do MySql com o Entity Framework Core.
Para outros provedores de banco de dados com o Entity Framework Core, segue a documentação.
Espero que tenha ajudado!
Bons estudos!