Трансферне навчання стимулює багато останніх досягнень глибокого навчання. Такі моделі, як BERT, GPT-3, CLIP та Codex, спочатку проходять попереднє навчання на великих наборах даних без міток. Тоді ці моделі можна було б точно налаштувати на багато завдань у потоці з порівняно малою міткою даних. Цей підхід став основним у текстовому НЛП та комп’ютерному зорі.Але як щодо обробки мовлення?У цій доповіді буде розглянуто, як навчання  зменшує потребу в позначених даних у таких програмах, як автоматичне розпізнавання мовлення та синтез тексту в мовлення. Ми досліджуватимемо нові сфери, як-от прямий переклад мови в мову та безтекстова НЛП