Our Blog

2 Comments

  1. 7.6) Q) Do I have to fine-tune the entire BERT model? Can’t I just use BERT as a fixed feature extractor? Ans) yes. The authors tested how a BiLSTM model that used fixed embeddings extracted from BERT would perform on the CoNLL-NER dataset. The results are shown in the table aside. It turns out that using a concatenation of the hidden activations from the last four layers provides very strong performance, only 0.3 behind finetuning the entire model. For those on a strict computational budget, this feature extraction approach is a good option.

    Beantwoorden
  2. Karin Engbers

    Dag Bert,
    Een fraai stuk vakmanschap heb jij geleverd. Ik ben ontzettend blij met mijn boeken-zit-kast. Een mooie aanwinst voor mijn woonkamer.
    Vele uren werk heb je er in gestopt en het resultaat mag er dan ook zijn!
    Hartelijke groet, Karin.

    Beantwoorden

So, what do you think ?