Eu usei uma ia para ajudar a analisar meu código e ela apontou um possivel erro que poderia ocorrer, ai eu atualizei meu código para isso:
from datetime import datetime, time
hora_atual_str = input('Entre com a hora atual no formato de 24h: ')
entrada = hora_atual_str.split(':')
hora = int(entrada[0])
minutos = int(entrada[1])
horario_digitado = time(hora, minutos)
limite_inicio = time(8, 0)
limite_fim = time(18, 1)
if horario_digitado < limite_inicio or horario_digitado > limite_fim:
print('Acesso negado.')
else:
print('Acesso liberado'