O ideal é saber o que você quer remover, seja o id, classe, tipo de elemento, etc.
Se você por exemplo gostaria de remover a div com o id='divPai' que é pai do elemento atual, porém não diretamente, poderia usar o .closest().
Imagine a seguinte estrutura:
<div class="dv">
<div class="divPai">
<div>
<input type="button" id="btn1" />
</div>
</div>
<div class="divPai">
<div>
<input type="button" id="btn2" />
</div>
</div>
</div>
E o seguinte código:
$("[type=button]").click(function(){
$(this).closest(".divPai").remove();
});
Após clicar no btn1 a estrutura ficaria assim:
<div class="dv">
<div class="divPai">
<div>
<input type="button" id="btn1" />
</div>
</div>
</div>