Finalmente consegui instalar, vou dar aqui o passo a passo caso alguém mais tenha esse mesmo problema.
1 - Desinstale tudo o que você fez anteriormente, se possível verifique que a pasta dentro de usr desapareceu
2 - vá nesse link: https://ftp.postgresql.org/pub/pgadmin/pgadmin4/apt/focal/dists/pgadmin4/main/binary-amd64/
3 - Faça o download e instale o arquivo: libpq5_14.2-1.pgdg20.04+1_amd64.deb
4 - Faça o download e instale o arquivo: pgadmin4-server_6.7_amd64.deb
5 - Faça o download e instale o arquivo: pgadmin4-desktop_6.7_amd64.deb
Isso deve resolver.
Se ao instalar qualquer um desses três o Linux disser que já possui esse pacote, clique em reinstalar.