Конечной причиной этого является закон Мура. Самый большой урок, который можно извлечь из 70 лет исследований ИИ, заключается в том, что общие методы, использующие вычисления, в конечном итоге оказываются наиболее эффективными — и с большим отрывом. Об этом «горьком уроке» рассказал Ричард Саттон, канадский компьютерный ученый. Или, скорее, его обобщение: продолжающееся, экспоненциальное удешевление вычислительных процессоров. Далее — от первого лица.
Почему исследования искусственного интеллекта были в тупике 70 лет?
Но через некоторое время — гораздо большее, чем нужно для типичного исследовательского проекта — неизбежно становится доступно гораздо больше вычислений. Большинство исследований искусственного интеллекта проводились так, как если бы вычисления, доступные агенту, были постоянными (и в данном случае использование человеческих знаний было бы одним из единственных способов повышения производительности). Эти два аспекта не должны идти вразрез друг с другом, но на практике идут. В поисках улучшений, которые могут помочь в краткосрочном периоде, ученые пытаются использовать максимум человеческих знаний в этой области, но единственное, что имеет значение в долгосрочной перспективе — это нарастающее использование вычислений. Есть психологические обязательства по инвестированию в тот или иной подход. Время, потраченное на один из них, не равно времени, потраченному на другой. А подход, основанный на знаниях человека, имеет тенденцию усложнять методы таким образом, что они становятся менее подходящими для использования преимуществ общих методов, использующих вычисления.
Вывод: нужно сразу отбрасывать попытку решить задачу ИИ «головой», потому что пройдет время и она решится гораздо быстрее и проще — благодаря росту мощности вычислений
Будет поучительно рассмотреть некоторые из самых выдающихся примеров. Было много примеров, когда исследователи ИИ запоздало понимали этот горький урок.
В то время к ним с тревогой относились большинство исследователей компьютерных шахмат, которые использовали методы, основанные на понимании человеком особой структуры шахмат. В компьютерных шахматах методы, победившие чемпиона мира Каспарова в 1997 году, основывались на массивном, глубоком поиске. Они сказали: «В этот раз подход грубой силы, может быть, и победил, но это он не станет общей стратегией и уж точно люди не играют в шахматы таким образом. Когда более простой, основанный на поиске подход со специальным аппаратным и программным обеспечением оказался намного более эффективным, исследователи, отталкивающиеся от человеческого понимания шахмат, не признали поражения. Эти ученые хотели, чтобы методы, основанные на человеческом вкладе, победили, и очень разочаровались, когда этого не произошло.
Вывод: простая грубая сила вычислений возьмет свое, рано или поздно
Первоначально огромные усилия направлялись на то, чтобы избегать поиска, используя человеческие знания или особенности игры, но все эти усилия оказались ненужными или даже хуже, как только поиск применили эффективно и масштабно. Аналогичная картина прогресса в исследованиях была замечена в компьютерных го, только с задержкой еще на 20 лет. Обучение игре с самим собой, обучение в целом, это как поиск, позволяющий применять огромные массивы вычислений. Также важно было использовать обучение в процессе самостоятельной игры, чтобы выучить ценностную функцию (как это было во многих других играх и даже в шахматах, только обучение не играло большой роли в программе 1997 года, которая впервые обыграла чемпиона мира). В компьютерном го, как и в компьютерных шахматах, первоначальные усилия исследователей были направлены на использование человеческого понимания (так, чтобы использовать меньше поиска), и лишь много позже был достигнут гораздо больший успех — за счет использования поиска и обучения. Поиск и обучение — два самых важных класса техник, задействующих огромные объемы вычислений в исследованиях ИИ.
Вывод: поиск и обучение, подпитанные вычислительной мощностью, намного превосходят попытки решить задачу «нестандартным подходом мышления»
Участники представляли различные методы, которые использовали преимущества человеческого знания — знания слов или фонем, человеческого голосового тракта и так далее. В области распознавания речи в 1970-х годах был проведен конкурс, спонсируемый DARPA. И опять же статистические методы победили методы, основанные на знаниях человека. По другую сторону баррикад были более новые методы, статистические по своей природе и выполняющие больше вычислений, на основе скрытых моделей Маркова (HMM). Недавний рост глубокого обучения в области распознавания речи — это самый последний шаг в этом последовательном направлении. Это привело к серьезным изменениям во всей обработке естественного языка, постепенно внедряющимся в течение десятилетий, пока в итоге статистика и вычисления не начали доминировать в этой области. Методы глубокого обучения еще меньше полагаются на человеческие знания и используют еще больше вычислений, наряду с обучением на огромных наборах образцов, и выдают потрясающие системы распознавания речи.
Ричард Саттон, канадский компьютерный ученый
Как и в играх, ученые всегда пытались создавать системы, которые будут работать так, как они представляли в своих головах — они пытались поместить это знание в свои системы — но все это выходило крайне непродуктивно, ученые просто тратили время, пока — вследствие закона Мура — становились доступными все более массивные вычисления и находили себе прекрасное применение.
Вывод: одна и та же ошибка повторялась на протяжении десятилетий
Первые методы воспринимались как поиск неких контуров, обобщенных цилиндров, либо с применением возможностей SIFT (масштабно-инвариантной трансформации признаков). Похожая картина была и в области компьютерного зрения. Современные нейронные сети с глубоким обучением используют только понятие свертки и определенных инвариантов и работают намного лучше. Но сегодня все это выбросили в топку.
Это большой урок.
Чтобы увидеть это и эффективно побороть, нужно понять, почему эти ошибки так привлекательны Мы должны усвоить горький урок, что построение того, как мы думаем, отталкиваясь от того, как мы думаем, не сработает в долгосрочной перспективе. В какую бы область мы ни заглянули, мы везде продолжаем совершать одни и те же ошибки. Успех был горьковатого вкуса и зачастую не усваивался полностью, потому что это успех вычислений, а не успех ориентированных на человека подходов. Горький урок, основанный на исторических наблюдениях, показывает, что: 1) исследователи ИИ часто пытались встроить знание в своих агентов; 2) это всегда помогало в краткосрочной перспективе и приносило ученым удовлетворение; 3) но в долгосрочной перспективе все заходило в тупик и тормозило дальнейший прогресс; 4) прорывной прогресс неизбежно приходил с применением противоположного подхода, основанного на масштабировании вычислений за счет поиска и обучения.
Два метода, которые, похоже, масштабируются произвольно таким образом — это поиск и обучение. Из этого горького урока следует усвоить одно: огромную мощь методов общего назначения, методов, которые продолжают масштабироваться с ростом вычислений, даже когда доступные вычисления становятся очень большими.
Все они являются частью произвольно сложного внешнего мира. Второе, что следует извлечь из этого горького урока, состоит в том, что фактическое содержание ума чрезвычайно и неоправданно сложное; нам стоит перестать пытаться найти простые способы осмыслить содержание ума, похожие на простые способы осмысления пространства, объектов, множественных агентов или симметрий. Эти методы могут находить хорошие приближения, но поиск их должен осуществляться нашими методами, а не нами. Нам не стоит пытаться от них отталкиваться, потому что их сложность бесконечна; нам стоит строить на мета-методах, которые могут находить и улавливать эту произвольную сложность. Построение на наших открытиях только усложняет процесс открытия и поиска. Нам нужны агенты ИИ, которые могут открывать так же, как мы, а не содержать то, что мы открыли.
Вывод: нужно довериться вычислениям, а не пытаться калькировать человеческие размышления и попытки объяснить сложные методы открытия и поиска простыми схемами; в долгосрочной перспективе сработает первое, а не последнее.
Обсудить горький урок исследователей ИИ можно в нашем канале в Телеграме.