IMDB.splits

Obtive o seguinte erro ao tentar rodar o código mostrado na aula:

'function' object has no attribute 'splits'.

Aparentemente houveram algumas mudanças na biblioteca desde a produção desse material. O Field também mudou o caminho.

Encontrie a seguinte solução na documentação:

train_iter=datasets.IMDB(split=('train'))
test_iter=datasets.IMDB(split=('test'))


def tokenize(label, line):
    return line.split()

train = []
train_label=[]
for label, line in train_iter:
    train += tokenize(label, line)
    train_label.append(label)   

test = []
test_label=[]

for label, line in test_iter:
    test += tokenize(label, line)
    test_label.append(label) 


    TEXT.build_vocab(train,
                max_size=25_000,
                vectors='glove.6B.100d'    )

Utilizando essa solução obtive uma lista train com um tamanho de 5844680, sendo 280617 elementos únicos.

O problema é que o tamanho do vocabulários está ficando muito pequeno. 176 por 100.

print(TEXT.vocab.vectors.size())

está retornando:

TEXT.vocab.vectors.size([176,100])