Boa tarde,
Depois de muita pesquisa, encontrei uma maneira de fazer referência a biblioteca .dll sem clicar em adicionar referência. Basta você ir no arquivo .csproj do projeto, e adicionar o seguinte código
<ItemGroup>
<Reference Include="MyAssembly">
<HintPath>C:\Users\Marcos\Desktop\bibliotecas_teste\Biblioteca.Modelos.dll</HintPath>
</Reference>
</ItemGroup>
Para mim funcionou perfeitamente. Não consegui fazer via CLI, e nem sei se é possível, ao mesmo tempo não sei se essa é a melhor maneira, mas consegui resolver o meu problema!! Se alguem tíver mais alguma outra sugestão, gostaria de saber.
Obrigado!