Hitech logo

искусственный интеллект

Ученые обнаружили, что нейросети учатся лучше, если давать им «поспать»

TODO:
Георгий Голованов21 ноября 2022 г., 17:52

В зависимости от возраста людям нужно спать от 7 до 13 часов в сутки. Пока тело расслабляется и отдыхает, мозг, напротив, трудится: запоминает все, чему мы научились за день и реорганизует воспоминания наиболее эффективным образом. Искусственные нейросети в какой-то мере повторяют архитектуру человеческого мозга. В ряде областей они достигли впечатляющих результатов и превзошли людей, но в одном ключевом аспекте ИИ пока отстают. Речь идет о феномене катастрофического забывания, ситуации, когда нейронные сети записывают новую информацию поверх предыдущей. Ученые из США нашли решение этой проблемы.

Самые интересные технологические и научные новости выходят в нашем телеграм-канале Хайтек+. Подпишитесь, чтобы быть в курсе.

«Человеческий мозг, напротив, учится последовательно и интегрирует новые данные в существующее знание, — сказал Максим Баженов, профессор медицины из Калифорнийского университета в Сан-Диего, — и обычно лучше всего учится, когда новые навыки перемежаются с периодами сна для консолидации памяти».

Баженов и его коллеги опубликовали статью, в которой описывают, как новые биологические модели могут способствовать снижению риска катастрофического забывания в нейросетях и повышению их эффективности в различных научно-исследовательских проектах, пишет EurekAlert.

Ученые взяли за основу импульсные нейронные сети, которые имитируют естественные нейронные системы. Информация в них передается в виде дискретных событий, или импульсов, вместо того чтобы поступать непрерывно. Исследователи обнаружили, что благодаря периодам бездействия, которые имитировали сон, удается предотвратить процессы катастрофического забывания. Как и у людей, сон нейросети позволяет ей проиграть старые воспоминания, не используя в явной форме старые данные.

«Когда мы изучаем новую информацию, нейроны активируются в определенном порядке, это увеличивает синапсы между ними, — сказал Баженов. — Во время сна заученные во время бодрствования паттерны импульсов спонтанно воспроизводятся. Это называется реактивацией или повтором. Синаптическая пластичность, то есть способность к изменению или формированию, действует во время сна и может еще больше увеличить паттерны синаптического веса, которые образуют память, чтобы помочь предотвратить забывание или обеспечить перенос знания с старых на новые задачи».

Применив этот подход к искусственным нейросетям, ученым удалось защитить их от процесса катастрофического забывания. Это значит, что нейросети могут обучаться непрерывно, как люди или животные, но для этого нужно давать им отдыхать.

С середины прошлого века ученым известно, что фаза быстрого сна совпадает с этапом, когда возникают сновидения. Но смысл движения в этой фазе глазных яблок оставался загадкой и предметом дискуссий. Некоторые исследователи предполагали, что движения происходят для увлажнения век, другие выдвигали гипотезу о том, что глаза следят за происходящим во сне, но не могли ее доказать. Команда ученых из США нашла подтверждение этой гипотезе.