Visnik Harkivsʹkogo Nacionalʹnogo Universitetu im. V.N. Karazina. Cepiâ Matematika, Prikladna Matematika i Mehanika (Jun 2024)

Методи адаптивно динамічного програмування для визначення оптимальної стратегії регенерації печінки

  • Valeriia Karieva,
  • Sergey Lvov

DOI
https://doi.org/10.26565/2221-5646-2024-99-02
Journal volume & issue
Vol. 99
pp. 22 – 35

Abstract

Read online

Кожен живий організм взаємодіє з навколишнім середовищем і використовує цю взаємодію для вдосконалення власних дій, щоб вижити та розвиватися. Процес еволюції показав, що види змінюють свої дії на основі взаємодії з навколишнім середовищем протягом тривалого часу, що призводить до природного відбору та виживання найбільш пристосованих. Це навчання, яке засноване на діях, або навчання з підкріпленням може охопити уявлення про оптимальну поведінку, що відбувається в природних системах. Ми описуємо математичні формулювання для навчання з підкріпленням і метод практичного впровадження, відомий як адаптивне динамічне програмування. Це дає нам уявлення про вигляд керування для штучних біологічних систем, які навчаються та демонструють оптимальну поведінку. У даній роботі розглядається постановка задачі верхньої оцінки оптимальності, для якої оптимальна стратегія регуляції гарантовано краща чи еквівалентна об’єктивним правилам регуляції, які ми можемо спостерігати в реальних біологічних системах. У випадку оптимальних алгоритмів навчання з підкріпленням процес навчання переміщується на вищий рівень, об’єктом інтересу якого є не деталі динаміки системи, а індекс продуктивності, який кількісно визначає, наскільки близько до оптимальності працює система керування. У такій схемі навчання з підкріпленням є засобом навчання оптимальній поведінці шляхом спостереження за реакцією оточення на неоптимальні стратегії керування. Мета цієї статті полягає в тому, щоб показати корисність методів навчання з підкріпленням, зокрема сімейства методів, відомих як адаптивне динамічне програмування (АДП), для керування біологічними системами за допомогою зворотного зв’язку. У цій роботі викладено «он-лайн» методи вирішення задачі визначення верхньої оцінки оптимальності у постановці адаптивного динамічного програмування.

Keywords