Solucionado
Olá boa noite. Ao arrastar a view tanto para baixo, como para cima, ao chegar na próxima view, os dados são atualizados(mudados). Não estou conseguindo colocar um item que está na posição 1, para a posição 4 diretamente, estou tendo que fazer da posição 1->2->3 e só assim ir para a posição 4.
Este é o comportamento normal?
Bom pra quem estava tendo este "problema", isso é o comportamento normal quando você utiliza o notifyDataSetChanged() para atualizar os itens quando você arrasta. Ao utilizar o notifyItemMoved o recycler view tem o comportamento esperado ao arrastar um item da lista.