Achei necessário limitar também a nota, afinal, nenhum aluno pode tirar mais do que dez. Minha solução do desafio é a seguinte:
def nota_final(nota, extras):
result=nota+extras
if result>10:
result=10
return result
alunos['pontos_extras']=0.4*alunos['Notas']
alunos['nota_final']=alunos.apply(lambda x: nota_final(x['Notas'], x['pontos_extras']), axis=1)
alunos['aprovado_final']=alunos['nota_final']>=6
alunos.query('not Aprovado & aprovado_final')