«Дивовижна» здатність машинного навчання передбачати хаос

Дослідники навчили штучний інтелект передбачати поведінку хаотичної системи, що моделює поширення фронту полум'я.

Півстоліття тому піонери теорії хаосу виявили, що «ефект метелика» унеможливлює довгострокове передбачення. Найменше обурення складної системи (наприклад, погоди, економіки або чогось подібного) здатне спровокувати ланцюгову реакцію, в результаті якої майбутнє виявиться зовсім не таким, яке чекали. Ми живемо в тумані невизначеності, бо не можемо описувати складні системи з точністю, що дозволяє робити надійні передбачення.

Але тепер у нас з'явилися роботи-помічники.

У серії експериментів, про результати яких повідомляли журнали Physical Review Letters (PRL) і Chaos, вчені використовували машинне навчання - той же метод обчислень, що недавно привів до успіхів у сфері створення штучного інтелекту, - для прогнозування еволюції хаотичних систем до приголомшливо далеких горизонтів. Даний підхід вітається зовнішніми експертами як новаторський і, схоже, отримає широке застосування.

«Я знаходжу справді дивовижною довгостроковість прогнозів» для еволюції хаотичних систем, заявив Герберт Єгер (Herbert Jaeger), професор обчислювальної науки Бременського університету Якобса (Jacobs University) в Німеччині.

Вищезгадані прогнози отримані в Мерілендському університеті в Коледж-Парку (University of Maryland, College Park) ветераном теоретичного вивчення хаосу Едвардом Оттом (Edward Ott) і його чотирма помічниками. Вони використовували резервуарне обчислення - один з алгоритмів машинного навчання - для «вивчення» динаміки архетипічної хаотичної системи під назвою «рівняння Курамото - Сивашинського». Еволюціонуюче вирішення цього рівняння веде себе як фронт полум'я, що мерехтить при проходженні через пальне середовище. Крім того, це рівняння описує дрейфові хвилі в плазмі та інші фізичні явища, служить «випробувальним стендом для вивчення турбулентності і просторово-часового хаосу», як висловився Джайдіп Патхак (Jaideep Pathak), аспірант Отта і головний автор останніх наукових статей на тему прогнозування поведінки хаотичних систем.

Потренувавшись на даних про минулу еволюцію рівняння Курамото - Сивашинського, дослідницький резервуарний комп'ютер зміг точно передбачити, як пламевидна система буде еволюціонувати протягом восьми «часів Ляпунова», тобто, висловлюючись нестрого, вдалося зазирнути у вісім разів далі порівняно з тим, що дозволяли інші методи прогнозування. Часом Ляпунова називають час, який потрібен для експоненційної дивергенції двох практично ідентичних станів хаотичної системи. Як таке, воно зазвичай визначає горизонт передбачуваності.

"Це дійсно дуже хороший результат, - заявив про вісім часів Ляпунова при прогнозуванні еволюції хаотичної системи Хольгер Канц (Holger Kantz), фахівець з теорії хаосу з Інституту фізики складних систем Товариства Макса Планка (нім. Max-Planck-Institut für Physik komplexer Systeme) в Денрезе, що можна в Ден.

Резервуарне обчислення користується лише даними про еволюціонуюче рішення рівняння Курамото - Сивашинського, саме рівняння йому невідоме. Це робить машинний підхід потужним засобом прогнозування, бо в багатьох випадках фахівці з динаміки, маючи справу з хаотичною системою, не знають її рівняння і в результаті, намагаючись моделювати і прогнозувати, терплять провал. Відповідно до статті, опублікованої групою Отта, мати на руках рівняння системи необов'язково: достатньо даних про її еволюцію. «Ця стаття наводить на думку, що в один прекрасний день ми зможемо передбачити погоду не за допомогою надзвичайно складних моделей атмосфери, а за допомогою алгоритмів машинного навчання», - сказав Канц.

На думку експертів, техніка машинного навчання крім передбачення погоди може виявитися корисною для виявлення ознак серцевих нападів при моніторингу серцевих аритмій і для прогнозування нейронних спайків (імпульсів) при моніторингу збудження нейронів головного мозку. Крім того, ця техніка імовірно знайде застосування при передбаченні аномальних хвиль, що несуть загрозу для судноплавства, і навіть при передбаченні землетрусів.

Особливі надії Отт покладає на те, що нові інструменти виявляться корисними для своєчасного оповіщення про сонячні бурі, подібні до тієї, яка трапилася в 1859 році. Тоді поверхня Сонця здибилася протягом 35 000 миль. Потужний магнітний сплеск викликав свічення земної атмосфери, що спостерігалося всюди, і вплинув на лінії телеграфного зв'язку: місцями вивів їх з ладу, а місцями згенерував напругу, достатню для роботи при вимкненому електроживленні. Якщо подібний сонячний шторм несподівано обрушиться на планету в наші дні, це, як вважають експерти, завдасть серйозної шкоди електронній інфраструктурі Землі. «Знаючи про наближення такого шторму, можна просто-напросто відключити харчування, а потім знову його включити», - зазначив Отт.

Отт, Патхак і їхні колеги Браян Хант (Brian Hunt), Мішель Гірван (Michelle Girvan) і Чжисінь Лу (Zhixin Lu) (нині працює в Пенсільванському університеті) досягли опублікованих результатів, здійснивши синтез існуючих інструментів. Шість-сім років тому, коли потужний алгоритм, відомий як «глибоке навчання» (Deep learning), приступив до вирішення завдань у сфері ШІ, таких як розпізнавання образів і мови, ці вчені взялися читати літературу, присвячену машинному навчанню, і стали думати, як по-розумному пристосувати його до дослідження хаосу. Вони дізналися про кілька багатообіцяючих розробок, що передували революції глибокого навчання. Найцікавішою виявилася розробка німецьких фахівців з теорії хаосу Єгера і його товариша Харальда Хааса (Harald Haas): на початку 2000-х років вони використовували мережу випадково пов'язаних штучних нейронів, що грає роль «резервуара» при резервуарному обчисленні, для вивчення динаміки трьох хаотично коеволюціонуючих змінних. Після навчання за трьома рядками цифрових даних мережа зуміла передбачити майбутні значення всіх змінних на вражаюче далекому горизонті. Однак зі зростанням взаємодіючих змінних обчислення стали неймовірно громіздкими. Отту і його колегам була потрібна більш зручна схема: резервуарне обчислення повинно було навчитися ефективно працювати з великими хаотичними системами, що мають величезну кількість взаємопов'язаних змінних. Наприклад, у кожній точці вздовж фронту полум'я треба відстежувати швидкість за трьома декартовими складовими.

Знадобилися роки, щоб придумати дієве рішення. У хаотичних системах, що займають великий простір, «ми застосували поділ взаємодій на локальності», говорить Патхак. Локальність (locality) означає, що змінні в якомусь одному місці залежать від змінних у сусідніх місцях, але не залежать від змінних, що належать до місць, що знаходяться далеко. «Виділяючи локальності, - пояснює вчений, - ми, по суті, створюємо собі можливість вирішувати проблему по частинах». Провівши таким чином паралелізацію проблеми, можна використовувати для вивчення якогось фрагмента системи один резервуар нейронів, для вивчення наступного фрагмента - інший резервуар тощо. При цьому для врахування взаємодії сусідніх областей необхідно, щоб вони злегка перекривали один одного.

Паралелізація дозволяє застосовувати резервуарне обчислення для дослідження хаотичних систем практично будь-якого розміру, якщо є пропорційні комп'ютерні ресурси.

Відтік описує резервуарне обчислення як трьохшаговий процес. Нехай вам потрібно застосувати його для передбачення того, як буде еволюціонувати поширюваний вогонь. Перший крок вимагає виміряти висоту полум'я в п'яти різних точках уздовж фронту вогню і продовжити робити це в даних точках при русі мерехтливого вогню вперед протягом певного періоду часу. Ви надаєте потоки отриманих даних у випадково вибрані штучні нейрони резервуара. Вхідні дані збуджують нейрони, змушуючи їх «вистрілювати», що, в свою чергу, змушує «вистрілювати» інші, пов'язані з першими нейрони, і в результаті по всій мережі проноситься каскад сигналів.

Другий крок: нейронну мережу потрібно змусити вивчити динаміку еволюціонуючого фронту полум'я за вхідними даними. Для цього, подаючи дані, слід контролювати силу сигналів декількох випадково обраних нейронів резервуара. Зважування і об'єднання цих сигналів п'ятьма різними способами дає п'ять чисел на виході. Мета полягає в тому, щоб налаштовувати ваги різних сигналів, які враховуються на виході, до тих пір, поки ці вихідні дані не стануть послідовно відповідати наступному набору вхідних даних - п'яти новим висотам уздовж фронту полум'я, виміреним трохи пізніше. «Вам потрібно, щоб вихідні дані через малий проміжок часу стали вхідними», - пояснює Отт.

Щоб дізнатися правильні ваги, алгоритм просто порівнює кожен набір вихідних даних, або прогнозовані висоти полум'я в кожній з п'яти точок, з наступним набором вхідних даних, або з фактичними висотами полум'я, щоразу збільшуючи або зменшуючи ваги різних сигналів так, щоб при будь-якій комбінації п'ять вихідних даних вийшли правильними. Переходячи від одного часу вимірювання висот до наступного, алгоритм шляхом налаштування терезів поступово покращує свої передбачення до тих пір, поки не знаходить здатність послідовно передбачати стан полум'я на один крок вперед.

«На третьому етапі ви дійсно робите прогноз», - говорить Отт. Резервуар, вивчивши динаміку системи, може показати, яким буде її розвиток. По суті, мережа задає собі питання про те, що станеться. Тепер вихідні дані використовуються в якості нових вхідних, чиї вихідні дані, в свою чергу, використовуються в якості вхідних і т. д. в результаті чого виходить прогноз еволюції висот в п'яти точках на фронті полум'я. Інші, що працюють паралельно, резервуари передбачають еволюцію висот в інших місцях під час руху полум'я.

У своїй статті, опублікованій в січневому номері PRL, дослідники показали, що передбачене ними полум'ядовидне рішення рівняння Курамото - Сивашинського точно відповідає справжньому вирішенню цього рівняння в рамках восьми часів Ляпунова, аж до остаточної перемоги хаосу, при якій відбувається різке розбіжність фактичних і передбачених станів системи.

При звичайному підході до прогнозування хаотичної системи максимально точно вимірюють її стан в якийсь момент часу, калібрують за допомогою отриманих даних фізичну модель, а потім приводять модель в рух. Для отримання приблизного прогнозу на вісім часів Ляпунова ви повинні виміряти вихідний стан типової системи в 100 000 000 разів точніше, ніж при резервуарному обчисленні.

Ось чому машинне навчання - «дуже корисний і потужний підхід», зазначає Ульріх Парліц (Ulrich Parlitz) з Інституту динаміки і самоорганізації Товариства Макса Планка (нім. max-Planck-Institut für Dynamik und Selbstorganisation) в Геттінгені (Німеччина), який на початку 2000-х років використовував для Мал. «Я думаю, - додає він, - що це навчання годиться не тільки для дослідженого рівняння, а в певному сенсі є універсальним і може застосовуватися до багатьох процесів і систем». У статті, підготовленій для публікації в Chaos, Парліц і його співавтор описали використання резервуарного обчислення для прогнозування динаміки «легковозбудимого посередника», такого як серцева тканина. Парліц припускає, що глибоке навчання, будучи більш складним і ємним, ніж резервуарне обчислення, буде працювати з хаотичними системами так само ефективно, як і інші алгоритми машинного навчання. Останнім часом дослідники з Массачусетського технологічного інституту і Швейцарської вищої технічної школи Цюріха (нім. eidgenössische Technische Hochschule Zürich, ETHZ) домоглися результатів, схожих з результатами команди Меріленда, використовуючи нейронну мережу з «довгою короткостроковою пам'яттю». Рекуррентні петлі цієї мережі дозволяють їй довго зберігати тимчасову інформацію.

Після експериментів, результати яких опубліковані в PRL, Отт, Патхак, Гірван, Лу та їхні помічники наблизилися до практичної реалізації розробленої ними техніки прогнозування. У нових дослідженнях, прийнятих для публікації в Chaos, вони показали, що, об'єднавши кероване даними машинне навчання і традиційне модельне прогнозування, можна поліпшити передбачення еволюції хаотичних систем, подібних рівнянню Курамото - Сивашинського. На думку Отта, саме цією дорогою, швидше за все, піде розвиток прогнозування в метеорології та інших, схожих з нею, видах науки, оскільки далеко не завжди в нашому розпорядженні є повні дані з високою роздільною здатністю або досконалі фізичні моделі. «Якщо в якійсь області у нас є добре знання, його необхідно використовувати, - говорить німецький вчений, - а якщо в якійсь області ми страждаємо від невігластва, то, щоб позбутися його, нам слід використовувати машинне навчання». Резервуарні передбачення істотно полегшують калібрування моделей, і в разі рівняння Курамото - Сивашинського довгостроковість точних прогнозів зростає до 12 часів Ляпунова.

У різних систем різний час Ляпунова: від мілісекунд до мільйонів років. (Для погоди - кілька днів). Чим коротший цей час, тим більш чутлива або більш схильна до ефекту метелика система, тим стрімкіше її схожі стани розходяться в періоди кризи. У природі всюди хаотичні системи, які швидко втрачають стійкість, але, як не дивно, досі неясно, що таке хаос. «Цей термін дуже часто використовують фахівці з динамічних систем, але, коли використовують, здається, що вони затискають носи», - говорить Емі Вілкінсон (Amie Wilkinson), професор математики в Чиказькому університеті (University of Chicago). «Називаючи щось хаотичним, - додає вона, - почуваєшся не в своїй тарілці». Справа в тому, що слово «хаос» звучить голосно, привертає широку увагу, але у поняття хаосу немає загальноприйнятого математичного визначення і немає переліку необхідних і достатніх умов виникнення хаотичного стану. «Простої концепції немає», - погоджується Канц. У деяких випадках налаштування одного-єдиного параметра системи може викликати її перехід від хаотичного стану до стабільного, або навпаки - від стабільного до хаотичного.

Вілкінсон і Канц визначають хаос через розтягнення і складання. Це нагадує багаторазове розтягування і складання тесту, коли його роблять шаром. Скалка розкочує тісто в горизонтальній площині, і воно експоненційно швидко розтягується по двох декартових осях координат. Потім тісто складають шарами і сплющують, стискаючи шари у вертикальному напрямку. Канц каже, що погода, лісові пожежі, бурі на поверхні сонця і всі інші хаотичні системи рухаються саме так. «Для експоненційної дивергенції траєкторій необхідне розтягнення, а для того, щоб не зникнути в нескінченності, необхідне складання». Останнє відбувається завдяки нелінійним відносинам між змінними даної системи.

Розтягнення і стиснення в різних вимірах співвідносяться з позитивним і негативним «показниками Ляпунова» відповідно. В іншій недавній статті, опублікованій в Chaos, команда Меріленда повідомила, що її резервуарний комп'ютер, користуючись даними про еволюцію системи, зумів встановити значення цих важливих показників. Саме тому, що резервуарне обчислення так хвацько вивчає динаміку хаотичних систем, все ще не дуже зрозуміло, як воно працює. Можна лише стверджувати, що у відповідь на дані резервуарний комп'ютер прагне так налаштовувати свої формули, щоб вони відтворювали динаміку системи, що вивчається. Ця технологія настільки ефективна, що Отт і деякі інші мерілендські дослідники задумали, використовуючи теорію хаосу, зайнятися внутрішніми махінаціями нейронних мереж, щоб краще їх зрозуміти.