A la découverte de la famille des modèles BERT

Pionnier des grands modèles de langage (LLM), BERT, développé par Google en 2018, a ouvert de nouvelles perspectives dans le domaine du NLP et est aujourd’hui considéré comme la base de nombreuses avancées en traitement automatique du langage.

Nous déconstruirons son architecture fondée sur les transformers puis, nous plongerons dans les détails de son entraînement : masquage de mots (Masked LM – MLM) et prédiction de la phrase suivante (NSP – Next Sentence Prediction).

Nous illustrerons ses capacités à travers deux cas d’usage en utilisant des modèles pré-entrainés disponible dans Keras Hub :
– la détection de catastrophes dans des tweets,
– l’inférence de relations sémantiques entre des paires de phrases (implication/contradiction/neutralité de textes multilingues avec le jeu de données « Elémentaire, mon cher Watson »)

RoBERTa, CamemBERT, FlauBERT, DistilBERT n’auront plus aucun secret pour vous !