Criar um botão dentro do item do RecyclerView

No curso teve a implementação do onClick do item do recyclerView, criei um ImageButton dentro do item do RecyclerView e defini ações diferentes ao clicar nesse botão, fiz essa implementação dentro do adapter, ficando dessa forma:

Dentro do adapter:

btnDownload.setOnClickListener(new View.OnClickListener() {
                @Override
                public void onClick(View v) {
                    color.setBackgroundColor(Color.parseColor("#49ae46"));
                }
            });

Consegui mudar a cor do fundo desse botão, porém ao efetuar um scroll, outros itens também recebem a cor de fundo, aparentemente a view está recebendo essa cor diferente então ao "atualizar" as informações ao efetuar o scroll, um item que não deveria estar com a cor diferente está recebendo essa cor. Gostaria de saber qual a melhor forma de implementar isso e poder resolver esse problema, espero que tenha me feito entender e agradeço a atenção desde já.