Vmmem consumindo muita memória RAM

Estou tendo sérios problemas ao usar o Docker Desktop junto com os containers iniciados através do terminal do Ubuntu

Utilizo o Windows 10 (21H1 - 19043.1586) e dentro desse Windows utilizo o terminal do Ubuntu 20.04.4 LTS que instalei através da Microsoft Store

Preciso utilizar dessa maneira para que eu consiga iniciar corretamente os containers de um projeto específico que eu estou atuando

Sempre que eu inicio o Docker Desktop e inicio os containers, um processo chamado Vmmem consone de 3 GB a 5 GB dependendo do dia

Já tentei fazer aquela configuração criando um arquivo na minha pasta de usuário com nome de .wslconfig com as configurações abaixo:

[wsl2]
memory=2GB
processors=2

Porém, nada adiantou...

Alguém pode me ajudar a limitar esse uso de memória excessivo?