Não consegui mudar a cor da appbar simplesmente trocando a referencia nos arquivos. Tive que rodar o seguinte comando na activity:
getSupportActionBar().setBackgroundDrawable(new ColorDrawable(getResources().getColor(R.color.colorPrimaryDark)));
Ao que me parece, isso não deve ser responsabilidade de uma activity. Alguém com uma solução melhor?