Bug com dark mode, as vezes muda as cores, as vezes não (android, kotlin)

Meu aplicativo do trabalho (por isso precisei borrar algumas coisas e mudar o texto) tem uma atividade de aparência com um botão switch para ativar ou desativar o modo escuro. Porém, quando eu mudo o tema, às vezes ele muda tudo corretamente e às vezes muda apenas algumas activities ou apenas alguns fragmentos. Para teste, criei outro projeto com 1 activity fazendo da mesma maneira e funciona perfeitamente, não sei pq nesse app não esta rolando.

Exemplo com imagem de com e sem o bug:

Aqui está o código que eu uso para ligar ou desligar o modo escuro quando o botão de switch é ligado ou desligado:

  fun activatedDarkMode() {
        if (SharedPreferencesUtil.getDarkMode(this)) {
            AppCompatDelegate.setDefaultNightMode(AppCompatDelegate.MODE_NIGHT_YES)
        } else {
            AppCompatDelegate.setDefaultNightMode(AppCompatDelegate.MODE_NIGHT_NO)
        }
    }

Estou utilizando a maneira de duplicar o styles.xml e color.xml. Por favor, quem souber me ajuda com esse bug