[Dúvida] criar coluna com duas condições

Tem sim, e é bastante parecido com o que você já fez:

df_final['Valor_teste1'] = (df_final['Valor'] >= df_final['Valor_3_menor']) & (df_final['Valor'] <= df_final['Valor_3_maior'])

Como cada uma dessas comparações é uma Series (uma coleção de valores em vez de um único valor), precisamos usar operadores lógicos que comparam elemento a elemento:

and -> &
or  -> |
not -> ~

Além disso, ao usar esses operadores é recomendado colocar parenteses para explicitar a operação que você deseja fazer, se não pode ficar ambíguo e não te dar o resultado desejado. Por exemplo:

a >= b & a <= c

# geralmente é interpretado pelo python como:
a >= (b & a) <= c      # executa o '&' primeiro e dá erro

# quando o que queremos na verdade é:
(a >= b) & (a <= c)    # executa as comparações primeiro e depois o '&'