Bom fiquei dois dias tentando resolver de diversas maneiras diferentes.
Na última tentativa instalei diferentes versões do json-server, e encontrei uma que de forma mágica resolveu o problema.
Estou utilizando a versão 0.17.4.
Basicamente se a instalação for global, basta rodar os seguintes comandos para desinstalar as versões atuais do json-server e json-server-auth:
npm uninstall -g json-server
npm uninstall -g json-server-auth
Desinstalado ambos os pacotes, basta instalar novamente em uma versão específica:
npm install -g json-server@0.17.4
npm install -g json-server-auth@2.1.0
Por último, basta levantar o servidor como ensinado, dá pra utilizar o comando:
json-server-auth db.json
Por padrão, usa localhost e porta 3000 no momento de escrita deste tópico.