Foi preciso fazer uma pequena alteração no código para poder funcionar, pois ao clicar no X, todo o form erá validado. Dessa forma apenas o item em questão é processado.
<h:column>
<h:commandLink value="X" action="#{livroBean.removerAutorDoLivro(autor)}">
<f:ajax execute="@this" render="@form" />
</h:commandLink>
</h:column>