Entendi certo?
Factory = Centraliza a criação de um objeto complexo que não muda enquanto estiver vivo, é sempre instanciado um objeto com os mesmos valores de atributo, que normalmente a fábrica conhece, não são recebidos como argumento.
Builder = Cria um objeto complexo, onde cada nova instancia é diferente, tem atributos com valores diferentes.