Большинство продуктов на основе искусственного интеллекта полагаются на глубокие нейронные сети, которые зачастую чрезмерно велики и для обучения нуждаются в дорогостоящих графических процессорах и больших массивах данных. Исследователи из Массачусетского технологического института предложили альтернативный подход, который позволит уменьшить размер и стоимость тренировки нейросетей.

Авторы исследования, о котором рассказывает Engadget, обнаружили, что нейронные сети содержат множество «подсетей». Каждая из них примерно в 10 раз меньше всей сети и, соответственно, требует меньше времени и процессорной мощности на обучение.

При этом отдельные подсети могут делать такие же точные прогнозы, как и вся структура.

Специалисты из MIT сравнивают обучение нейросети с покупкой множества лотерейных билетов: если направить ресурсы на все подсети, то хотя бы одна из них начнет выдавать правильные результаты. Однако можно сэкономить время и деньги и тренировать отдельные подсети. Это сравнимо с покупкой только выигрышных билетов.

К сожалению, пока единственный способ получить доступ к таким подсетям — построить целую нейросеть и удалить ненужные элементы структуры. Научившись пропускать этот шаг, исследователи смогут сэкономить часы работы. И тогда создание эффективных нейросетей станет доступным не только крупным компаниям, но и отдельным программистам.

Специалисты из IBM представили новую архитектуру нейросети, которая ускорила процесс обучения распознаванию речи до нескольких часов. Это в 15 раз быстрее существующих методик.