Olá, Rodrigo
É totalmente compreensível essa confusão! O EF Core realmente foi reescrito, porém ele é mais leve, mais extensível e, principalmente, ele é multiplataforma. Isso é importante porque você não é obrigado a migrar para o .NET Core para aproveitar os benefícios do EF Core. De acordo com a Microsoft, esses benefícios, que não estão disponíveis no EF 6, são:
- chaves alternativas
- atualizações em lote
- avaliação mista de cliente/banco de dados em consultas LINQ
E essa confusão também acontece com o ASP.NET Core, pois você pode criar um projeto ASP.NET Core escolhendo o .NET Core ou o .NET Framework.
Você pode pensar nessa marca "Core" que foi adicionada a alguns produtos da Microsoft como um identificador de uma nova filosofia que permite:
- leveza
- modularidade
- multiplataforma
- extensibilidade