Criar uma Variável

Uma das formas de implementar essa funcionalidade, é definir qual a diferença do valor secreto com o valor do chute, independente se for para mais ou para menos. Para fazer isso podemos fazer a subtração das duas variáveis, e comparar o valor absoluto do resultado com o número secreto. Utilizamos a função abs(), pois ela irá retornar sempre o valor absoluto da diferença, ou seja sempre o resultado será maior que zero, dessa forma definimos qual limite do valor que consideraremos próximo, por exemplo se a diferença entre os dois números for menor ou igual a 2.

print("*********************************")
print("Bem vindo ao jogo de Adivinhação!")
print("*********************************")

numero_secreto = 42

chute_str = input("Digite o seu número: ")
print("Você digitou " , chute_str)
chute = int(chute_str)

acertou = chute == numero_secreto
maior = chute > numero_secreto
menor = chute < numero_secreto

if(acertou):
    print("Parabéns! Você acertou!")

elif(abs(chute - numero_secreto) <= 2):  # <- utilizando a função built-in abs()
    print("Na trave! Você está quase adivinhando")

else:
    if(maior):
        print("O seu chute foi maior do que o número secreto!")
    elif(menor):
        print("O seu chute foi menor do que o número secreto!")


print("Fim do jogo")

Espero que tenha ajudado.

Ps.: Não sou o professor srsrsrsrsr. Aqui no fórum todos temos oportunidade de ajudarmos um aos outros.