Радикальный эмпиризм и Machine Learning

«Все знания приходят из наблюдаемых данных, некоторые из прямого сенсорного опыта, а некоторые из косвенного опыта, переданного нам культурно или генетически».

Это утверждение было воспринято аудиторией как само собой разумеющееся. Оно подготовило почву для лекции о том, как исследуя шаблоны условных вероятностей в данных природу «знания» можно проанализировать. Естественно, в нем не использовались такие понятия, как «внешний мир», «теория», «процесс генерирования данных», «причина и следствие», «действие» или «ментальные конструкции». Потому что эти понятия, якобы, должны возникать из данных при необходимости. Иными словами, какие бы концепции ни использовали люди при интерпретации данных, будь они культурного, научного или генетического происхождения, по ним можно проследить и восстановить исходный сенсорный опыт, придавший этим концепциям ценность в отборе.

Эта философия, ориентированная на данные, с точки зрения искусственного интеллекта, предлагает привлекательную, если не соблазнительную повестку дня для исследований в области машинного обучения:

Чтобы развить интеллект человеческого уровня, мы должны просто проследить, как это делали наши предки, и смоделировать на цифровой машине как генетическую, так и культурную эволюцию. При этом мы должны принимать все данные, которые удастся собрать.

Если довести до крайности, такая программа может вдохновить на довольно футуристические и весьма амбициозные сценарии: начните с простой нейронной сети, напоминающей примитивный организм (скажем, амебу), позвольте ей взаимодействовать с окружающей средой, мутировать и производить потомство; при условии, что у процесса будет достаточно времени, наша модель проявится с уровнем интеллекта Эйнштейна. Действительно, исключая священные писания и божественное откровение, где еще Эйнштейн мог бы приобрести свои знания, таланты и интеллект, если не из потока необработанных данных, которые вторгались в человечество с древних времен, включая, конечно, все сенсорные данные, полученные более примитивными организмами, предшествовавшими человеку.

Прежде чем спрашивать, насколько реалистична эта повестка дня, давайте прервем обсуждение двумя наблюдениями:

(1) Моделируемая эволюция в той или иной форме действительно является ведущей парадигмой, вдохновляющей сегодня большинство исследователей машинного обучения, особенно тех, кто занимается коннекционизмом, deep learning и технологиями нейронных сетей, которые развертывают стратегии обучения на статистике, без использования моделей. Впечатляющий успех этих стратегий в таких отраслях, как компьютерное зрение, распознавание голоса и беспилотные автомобили, вселил надежды на достаточность и неограниченные возможности этих стратегий, в то же время подорвав интерес к подходам, основанным на моделях.

(2) Интеллектуальные корни программы, ориентированной на данные, глубоко уходят корнями в эмпирическую ветвь западной философии, согласно которой чувственный опыт является конечным источником всех наших концепций и знаний, при этом «врожденным идеям» и «причине» уделяется малая или ничтожная роль. (Markie, 2017). Эмпирические идеи можно проследить до древних сочинений Аристотеля, но их выдали британские эмпирики Фрэнсис Бэкон, Джон Локк, Джордж Беркли и Дэвид Хьюм, а в последнее время такие философы, как Чарльз Сандерс Пирс и Уильям Джеймс. Фактически, современный коннекционизм рассматривается как триумф радикального эмпиризма над его рационалистическими соперниками (Buckner 2018; Lipton, 2015).

Несмотря на достоинства проверки философских теорий, у меня есть три основных оговорки относительно целесообразности проведения радикальной эмпирической программы исследований в области машинного обучения. Я представлю три аргумента, почему эмпиризм должен быть сбалансирован с принципами науки, основанной на моделях (Pearl, 2019), где обучение определяется двумя источниками информации: (а) данными и (б) искусственными моделями того, как данные генерируются.

Я обозначаю три аргумента: (1) Целесообразность, (2) Прозрачность и (3) Объяснимость. Подробный разбор представлен ниже:

1. Целесообразность
Эволюция — это слишком медленный процесс (Тьюринг, 1950), а большинство мутаций бесполезны, если не вредны. К тому же ожидание часто оказывается недоступным, где исследователям нет времени ждать пока естественный отбор отличит и отфильтрует полезное от бесполезного. Большая часть задач машинного обучения требует быстрой интерпретации и быстрой реакции на новые и разреженные данные, слишком разреженные, чтобы их можно было фильтровать по случайным мутациям. Вспышка пандемии COVID-19 является прекрасным примером ситуации, когда разреженные данные, поступающие из ненадежных и разнородных источников, требовали быстрой интерпретации и быстрых действий, основанных в первую очередь на предшествующих моделях передачи эпидемии и производимых от этого данных. В целом ожидается, что технологии машинного обучения будут использовать огромный объем уже имеющихся научных знаний, сочетать их с любыми данными и решать важные социальные проблемы в таких областях, как здравоохранение, образование, экология и экономика.

Что еще более важно, научные знания могут ускорить эволюцию, активно управляя отбором или фильтрацией данных и источников данных. Выбор того, какие данные рассматривать или какие эксперименты проводить, требует гипотетических теорий о том, какие результаты ожидаются от каждого варианта и насколько вероятно, что они улучшат будущие результаты. Такие ожидания обеспечиваются, например, причинными моделями, которые предсказывают как результаты гипотетических манипуляций, так и последствия контрфактического уничтожения прошлых событий (Pearl, 2019).

2. Прозрачность
Мировые знания, даже если они возникли спонтанно из необработанных данных, перед применением должны быть скомпилированы и представлены в какой-либо машинной форме. Цель скомпилированных знаний — амортизировать процесс открытия по многим задачам вывода, не повторяя первое. Скомпилированное представление должно затем способствовать эффективному производству ответов для набора проблем, связанных с решениями, включая вопросы о способах сбора дополнительных данных. Некоторые представления допускают такие выводы, а другие — нет. Например, знания, собранные в виде шаблонов оценок условной вероятности, не позволяют прогнозировать эффект действий или политики. (Pearl, 2019).

Компиляция знаний включает как абстракцию, так и переформатирование. Первая допускает потерю информации (как в случае вероятностных моделей), в то время как последнее сохраняет информационное содержание и просто преобразует часть информации из неявного в явное представление.

Эти соображения требуют, чтобы мы изучали математические свойства скомпилированных представлений, присущие им ограничения, типы выводов, которые они поддерживают, и насколько модели эффективны в получении ответов, которые, как ожидается, они будут давать. Говоря более конкретно, исследователи машинного обучения должны заниматься тем, что в настоящее время называется «причинным моделированием», используя инструменты и принципы каузальной науки для управления процессами исследования и интерпретации данных.

3. Объяснимость
Независимо от того, как каузальные знания накапливаются, обнаруживаются или хранятся, выводы, сделанные на основе этих знаний, предназначены для того, чтобы доставить их человеку и принести ему пользу. Сюда входят оценка политики, личные решения, выработка объяснений, кредитование и отказы, задачи на понимание мира вокруг нас. Следовательно, все выводы должны быть сформулированы на языке, который соответствует тому, как люди организуют свое мировое знание, а именно на языке причины и следствия. Поэтому совершенно необходимо, чтобы исследователи машинного обучения, независимо от методов, которые они используют для подбора данных, были сведущи в этом удобном для человека языке, его грамматике, его универсальных законах и том, как люди интерпретируют или неверно интерпретируют функции, обнаруживаемые алгоритмами машинного обучения.

Выводы
Ошибочно отождествлять содержание человеческого знания с его чувственно-информационным происхождением. Формат, в котором знания хранятся в уме (или на компьютере), и, в частности, баланс между его неявными и явными компонентами так же важны для его характеристики, как и его содержание или происхождение.

Хотя радикальный эмпиризм может быть верной моделью эволюционного процесса, это плохая стратегия для исследований в области машинного обучения. Он дает право на мышление, где секрет рациональных решений заключается только в данных. Эта идеология доминирует как в статистике, так и в культуре машинного обучения.

Гибридная стратегия, уравновешивающая «подбор данных» с «интерпретацией данных», лучше отражает этапы компиляции знаний, которые влекут за собой эволюционные процессы.

Датасет на автопилоте

Быстрый сбор и разметка датасетов для любых Machine Learning задач — это профиль LabelMe. Мы поможем максимизировать социальную и экономическую выгоду от ИИ. Ты можешь сам убедиться в этом, получив бесплатную тестовую разметку. Оставить заявку и узнать примерную цену можно на нашем сайте или напрямую связавшись с CEO LabelMe Георгием Каспарьянцем: +7 (926)345 53 82.

Литература:
Бакнер, К. (2018) «Глубокое обучение: философское введение», Philosophy Compass , https://doi.org/10.1111/phc3.12625 .

Липтон, З. (2015) «Глубокое обучение и триумф эмпиризма», ND Nuggets News , июль. Источник: https://www.kdnuggets.com/2015/07/deep-learning-triumph-empiricism-over-theoretical-mat Mathematical-guarantees.html .

Марки, П. (2017) «Рационализм против эмпиризма», Стэнфордская энциклопедия философии , https://plato.stanford.edu/entries/rationalism-empiricism/ .

Перл, Дж. (2019) «Семь инструментов причинного вывода с размышлениями о машинном обучении», Сообщения ACM , 62 (3): 54–60, март, https://cacm.acm.org/magazines/2019/ 3/234929-семь-инструменты-причинного-вывода-с-размышлениями-на-машинном обучении / полнотекстовом .

Тьюринг А.М. (1950) I. — Вычислительные машины и интеллект », Mind , LIX (236): 433–460, октябрь, https://doi.org/10.1093/mind/LIX.236.433.