Форма реальности. Скрытая геометрия стратегии, информации, общества, биологии и всего остального

ПОВСЮДУ КЛЮЧИ ОТ МАШИНЫ

Наверное, вы слышали старую байку о том, как человек, возвращающийся поздно ночью домой, увидел своего мрачного друга, стоящего на четвереньках под уличным фонарем.

– Что случилось?

– Потерял ключи от машины, – отвечает друг.

– Дело дрянь. Давай помогу.

Он тоже становится на колени, и оба дружно шарят в траве. Через некоторое время человек обращается к другу:

– Ты уверен, что они тут? Мы же долго ищем.

– Не уверен и понятия не имею, где они, – отвечает друг. – Я много где был с того момента, когда последний раз их видел.

– Но тогда почему мы уже двадцать минут ищем их под этим фонарем?

– Потому что в остальных местах темно и ничего не видно!

Этот друг очень похож на современного специалиста по машинному обучению. Почему среди огромного моря стратегий, где мы могли бы искать, мы обращаем внимание на нейронные сети? Потому что они прекрасно подходят для градиентного спуска – единственного метода поиска, который мы по-настоящему знаем. Влияние поворота одной ручки легко вычленить: он воздействует на выходной сигнал соответствующего блока понятным образом; затем можно проследить, как этот измененный выходной сигнал влияет на блоки, лежащие ниже, и так далее[316]. Почему мы выбираем для поиска хороших стратегий именно эту часть пространства? Да потому, что именно в этой части проще всего увидеть, куда мы идем. В остальных местах слишком темно!

Предполагается, что байка о ключе выставляет друга глупцом. Однако в несколько измененной вселенной друг вовсе не так глуп. Предположим, что ключи от машины на самом деле разбросаны повсюду – на улице, в лесу и (весьма вероятно) где-то в круге света под уличным фонарем. Фактически там в траве валяется, вероятно, множество ключей от многих машин. Возможно, друг на практике обнаружил, что предыдущие поиски в этом месте наградили его ключами от гораздо более крутых автомобилей, нежели он ожидал! Да, ключ от лучшего автомобиля в городе может с равным успехом находиться где угодно. Но если достаточно долго искать под фонарем, отказываясь от имеющихся ключей каждый раз, когда находишь ключи от более роскошной машины, можно жить припеваючи и горя не знать.