Connect with us

Hi, what are you looking for?

Наука и технологии

Российские учёные узнали, как языковые ИИ смогли развиться так быстро

В прошлом, лучшие языковые модели были маленькими, и им было трудно составить связные предложения. Но сейчас ситуация сильно изменилась: появились огромные языковые модели, такие как GPT-4, которые превосходят многих американских студентов по тесту SAT. Как произошёл такой стремительный прогресс?

В новом исследовании учёные из Epoch, MIT FutureTech и Северо-Восточного университета попытались разобраться в этом вопросе. Они выделили два ключевых фактора, которые способствовали прогрессу в языковых моделях: увеличение объёма вычислений, используемых при обучении, и алгоритмические улучшения.

Результаты исследования показывают, что за счёт улучшений в алгоритмах объем вычислений, необходимых для обучения языковых моделей, сократился примерно в два раза каждые восемь месяцев. Это важное открытие помогает лучше понять процесс развития языковых моделей и предсказать их будущее развитие.

You May Also Like

Наука и технологии

Посетитель такого заведения не застрахован от заражения опасными инфекциями, включая сальмонеллёз. Врач объяснил, почему такое может произойти. Жемчугов отметил, что в морской рыбе, которую...

Наука и технологии

Записывать видеофрагменты можно как безостановочно в фоновом режиме, так и с таймингом — по сочетанию горячих клавиш. Можно задать место сохранения на жёстком диске...

Наука и технологии

Подписчики Peacock смогут выбирать предпочтительные олимпийские события и типы ярких моментов — от вирусных моментов до завоевания золотых медалей. Используя алгоритмы искусственного интеллекта, системы...

Наука и технологии

Общественный деятель и юрист Валерия Рытвина направила генеральному прокурору РФ Игорю Краснову заявление с просьбой провести прокурорскую проверку Сбербанка в связи с использованием им...