2
respostas

[Dúvida] problema ao usar o modelo treinado

olá, estou tentando usar o medelo que foi treinado, mas esta aparecendo esse erro OSError: Can't load tokenizer for 'wesley8521/distilbert-pt-cased-redacao-nota-wesley'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'wesley8521/distilbert-pt-cased-redacao-nota-wesley' is the correct path to a directory containing all relevant files for a DistilBertTokenizerFast tokenizer.

estou fazendo dessa forma modelo = TFAutoModelForSequenceClassification.from_pretrained('wesley8521/distilbert-pt-cased-redacao-nota-wesley') tokenizador = AutoTokenizer.from_pretrained('wesley8521/distilbert-pt-cased-redacao-nota-wesley') print(tokenizador)

como faço pra corrigir.

2 respostas

Olá, Wesley! Tudo bem?

O erro que você está recebendo sugere que o caminho fornecido para o modelo não está correto ou que há um problema com os arquivos do tokenizador no repositório.

Você pode tentar alguns passo para tentar resolver o problema:

  1. Verifique o Nome do Modelo: Certifique-se de que o nome do modelo que você está usando está correto. Acesse seu perfil na Hugging Face e copie o nome do modelo diretamente de lá para garantir que não haja erros de digitação.

  2. Confirme a Existência dos Arquivos: Verifique se todos os arquivos necessários para o tokenizador estão presentes no repositório do modelo na Hugging Face. Isso geralmente inclui arquivos como tokenizer_config.json, vocab.txt, entre outros.

  3. Verifique Diretórios Locais: O erro sugere que pode haver um diretório local com o mesmo nome. Verifique se há alguma pasta localmente que possa estar causando conflito e renomeie ou remova se necessário.

  4. Atualize os Pacotes: Certifique-se de que você está usando a versão mais recente dos pacotes transformers e tensorflow. Às vezes, atualizações corrigem problemas de compatibilidade.

  5. Teste com Outro Modelo: Tente carregar um modelo diferente da Hugging Face para verificar se o problema é específico do seu modelo ou se é algo mais geral.

Espero ter ajudado!

Siga firme nos seus estudos e conte com o fórum sempre que precisar!

Abraços :)

Caso este post tenha lhe ajudado, por favor, marcar como solucionado

verifiquei que so estão disponivies os arquivos config.json e tf_model.h5. Não tem o arquivo tokenizer_config.json. Testei outros modelos e esle funcionam. so nao esta funcionando o meus.