Our Blog


  1. 7.6) Q) Do I have to fine-tune the entire BERT model? Can’t I just use BERT as a fixed feature extractor? Ans) yes. The authors tested how a BiLSTM model that used fixed embeddings extracted from BERT would perform on the CoNLL-NER dataset. The results are shown in the table aside. It turns out that using a concatenation of the hidden activations from the last four layers provides very strong performance, only 0.3 behind finetuning the entire model. For those on a strict computational budget, this feature extraction approach is a good option.

  2. Karin Engbers

    Dag Bert,
    Een fraai stuk vakmanschap heb jij geleverd. Ik ben ontzettend blij met mijn boeken-zit-kast. Een mooie aanwinst voor mijn woonkamer.
    Vele uren werk heb je er in gestopt en het resultaat mag er dan ook zijn!
    Hartelijke groet, Karin.


So, what do you think ?