Алексей Ивахненко
Алексей Ивахненко | |
---|---|
![]() | |
Рожденный | Алексей Григоровых Ивакхенко 30 марта 1913 г. |
Умер | 16 октября 2007 г. | (94 года)
Национальность | Украинский |
Альма-матер | Ленинградский электротехнический институт ( магистр ) |
Известный | Групповой метод обработки данных , глубокое обучение , индуктивное моделирование |
Награды | Заслуженный деятель науки СССР. Две Государственные премии СССР. ![]() ![]() ![]() |
Научная карьера | |
Поля | Искусственный интеллект , машинное обучение , Информатика |
Учреждения | Глушкова Институт Кибернетики , Киевский электротехнический институт , Киевский политехнический институт ( д.т.н. ) |
Диссертация | Теория комбинированных систем автоматического управления электродвигателями (1954 г.) |
Известные студенты | V. M. Kuntsevich, V. I. Kostiuk V. I. Ivanenko, V. I. Vasylyev О.А. Павлов |
Алексей Ивахненко ( украинский : Олексий Григо́рович Іва́хненко ; 30 марта 1913 - 16 октября 2007) был советским и украинским математиком, наиболее известным благодаря разработке группового метода обработки данных (GMDH), метода индуктивного статистического обучения, за который его иногда называют. как «Отец глубокого обучения ». [1]
Молодость образование и
Алексей родился в Кобеляках в Полтавской губернии семье учителей. [2] В 1932 году окончил электротехнический техникум в Киеве и два года работал инженером на строительстве крупной электростанции в Березниках . Затем в 1938 году, после окончания Ленинградского электротехнического института работал во Всесоюзном электротехническом институте в Москве , Ивахненко в военное время . Там он исследовал проблемы автоматического управления в лаборатории, которой руководил Сергей Лебедев .
После возвращения в Киев в 1944 году он продолжил исследования в других учреждениях Украины. В этом же году он получил степень доктора философии. степень, а позже, в 1954 г., получил степень доктора наук. степень. В 1964 году он был назначен заведующим отделом комбинированных систем управления Института кибернетики. Одновременно работал сначала преподавателем, а с 1961 года — профессором кафедры автоматического управления и технической кибернетики Киевского политехнического института .
Исследования [ править ]
Ивахненко известен как основатель индуктивного моделирования — научного подхода, используемого для распознавания образов и прогнозирования сложных систем. [3] Он использовал этот подход при разработке группового метода обработки данных (ГМДХ). В 1968 году в журнале «Автоматика» была опубликована его статья «Групповой метод обработки данных – конкурент метода стохастической аппроксимации». [4] ознаменовав начало нового этапа в его научной деятельности. Он руководил разработкой этого подхода вместе с профессиональной командой математиков и инженеров Института кибернетики.
Групповой метод обработки данных [ править ]
Метод GMDH представляет собой уникальный подход к решению задач искусственного интеллекта и даже новую философию научных исследований , которые стали возможны с использованием современных компьютеров. [3] Исследователь может не придерживаться именно к традиционному дедуктивному способу построения моделей «от общей теории – к частной модели»: наблюдение за объектом, изучение его структуры, понимание принципов его работы, разработка теории и тестирование модели объекта. Вместо этого предлагается новый подход «от заданных данных – к общей модели»: после ввода данных исследователь выбирает класс моделей, тип генерации моделей-вариантов и задает критерий выбора модели. Поскольку большая часть рутинной работы переносится на компьютер, влияние человека на объективный результат сведено к минимуму. Фактически, этот подход можно рассматривать как одну из реализаций тезиса об искусственном интеллекте, который утверждает, что компьютер может выступать в качестве мощного советника для человека.
Развитие ГМДГ состоит из синтеза идей из разных областей науки: кибернетической концепции « черного ящика » и принципа последовательного генетического отбора парных признаков , теорем Гёделя о неполноте и Габора . принципа «свободы выбора решений» [5] и неправильность Адемара принцип Бера . внешних дополнений [6]
GMDH — оригинальный метод решения задач структурно-параметрической идентификации моделей по экспериментальным данным в условиях неопределенности . [7] Такая проблема возникает при построении математической модели , аппроксимирующей неизвестную закономерность исследуемого объекта или процесса. [8] Он использует информацию о себе, неявно содержащуюся в данных. GMDH отличается от других методов моделирования активным применением следующих принципов : автоматическая генерация моделей, неубедительные решения и последовательный отбор по внешним критериям для поиска моделей оптимальной сложности. В нем использовалась оригинальная многоуровневая процедура автоматического формирования структуры моделей, имитирующая эволюционный процесс биологического отбора с учетом попарно последовательных признаков. Такая процедура в настоящее время используется в сетях глубокого обучения . [9] Для сравнения и выбора оптимальных моделей используются два или более подмножества выборки данных. Это позволяет избежать предварительных предположений, поскольку разделение выборки неявно учитывает различные типы неопределенностей при автоматическом построении оптимальной модели.
В начале 1980-х годов Ивахненко установил органичную аналогию между проблемой построения моделей зашумленных данных и прохождением сигнала по каналу с шумом . [10] Это позволило заложить основы теории помехоустойчивого моделирования. [7] Основной результат этой теории состоит в том, что сложность оптимальной прогнозной модели зависит от уровня неопределенности данных: чем выше этот уровень (например, из-за шума), тем проще должна быть оптимальная модель (с меньшим количеством оцениваемых параметров). Это положило начало развитию теории GMDH как индуктивного метода автоматической адаптации оптимальной сложности модели к уровню информации в нечетких данных . Поэтому GMDH часто считают оригинальной информационной технологией извлечения знаний из экспериментальных данных .
Результаты [ править ]
Помимо ГМДХ, Ивахненко добился следующего набора результатов:
- Принцип построения самоорганизующихся сетей глубокого обучения. [3]
- Теория самоорганизации моделей по экспериментальным данным. [11]
- Метод управления с оптимизацией прогноза. [12]
- Новые принципы автоматического регулирования скорости двигателей переменного тока и асинхронных электродвигателей . [13]
- Теория инвариантных систем адаптивного управления с компенсацией измеряемых возмущений. [14] Он разработал принцип косвенного измерения возмущений, получивший название «дифференциальная вилка», который впоследствии был использован на практике.
- Принцип комбинированного управления (с отрицательной обратной связью по регулируемым переменным и положительной обратной связью по управляемым возмущениям). [15] Ряд таких систем управления скоростью электродвигателей был реализован на практике. Тем самым доказана практическая целесообразность использования инвариантных условий в комбинированных системах управления, объединяющих преимущества закрытых систем управления по отклонению (высокая точность) и открытых систем (производительность).
- Неискательные крайние регуляторы на основе распознавания ситуаций. [16]
- Принцип самообучающегося распознавания образов. Впервые это было продемонстрировано в когнитивной системе «Альфа». [8] созданный под его руководством.
- Основы построения устройств кибернетического прогнозирования. [17]
- Помехоустойчивые принципы робастного моделирования данных с шумами. [7]
- Проектирование многослойных нейронных сетей с активными нейронами, где каждый нейрон представляет собой алгоритм.
Ивахненко известен своими достижениями в области теории инвариантности и теории комбинированных систем автоматического регулирования, работающих по принципу компенсации измеряемых возмущений. Он разработал устройства и методы адаптивного управления системами с магнитными усилителями и двигателями.
Он автор первой советской монографии по инженерной кибернетике . [16] который был опубликован во всем мире на семи языках. [18] В его исследовании дальнейшее развитие принципов комбинированного управления было связано с внедрением методов эволюционной самоорганизации , распознавания образов и прогнозирования в системы управления .
В последние годы его главное нововведение — метод GMDH — был разработан как метод индуктивного моделирования, сложных процессов и системного прогнозирования . Его идеи сейчас используются в сетях глубокого обучения . [19] Эффективность метода была неоднократно подтверждена при решении реальных сложных задач в области экологии , метеорологии , экономики и техники , что способствовало повышению его популярности среди международного научного сообщества. [20] Параллельно велись разработки эволюционных самоорганизующихся алгоритмов в смежной области – задачах кластеризации распознавания образов. [21] Достижения моделирования экологических процессов отражены в монографиях. [22] [10] экономические процессы - в книгах. [12] [23] результаты исследования рекуррентных многоуровневых алгоритмов GMDH. В книгах описаны [11] [3]
Научная школа [ править ]
С 1963 по 1989 год Ивахненко был редактором специализированного научного журнала «Автоматика» (позже «Проблемы управления и информатики»), сыгравшего решающую роль в становлении и развитии украинской школы индуктивного моделирования. На протяжении всех этих лет журнал переводился и переиздавался в США под названием «Советское автоматическое управление» (позже «Журнал автоматизации и информатики»).
Наряду с постоянными инновациями в своей области, начиная с 1945 года, Ивахненко вел активную преподавательскую деятельность сначала в должности доцента кафедры теоретической механики, а затем кафедры систем управления. С 1960 года, будучи профессором кафедры технической кибернетики Киевского политехнического института , он читал лекции в университете и студентам, а также руководил работой многих аспирантов. В 1958-1964 годах был организатором Всесоюзной конференции инвариантности в Киеве, на которой после запрета была восстановлена разработка теории инвариантных систем управления. [24]
Его неиссякаемый энтузиазм помог более 220 молодым учёным подготовить и успешно защитить кандидатские диссертации. под его руководством защитил докторские диссертации в КПИ и Институте кибернетики, около 30 его студентов защитили докторские диссертации. Научная школа Ивахненко была и остается настоящей колыбелью высококвалифицированных научных специалистов. Кроме того, его ученики В.М.Кунцевич, В.И.Костюк, В.И.Иваненко, В.И.Васильев, А.А.Павлов и другие создали свои авторитетные научные школы. Ивахненко был ярким примером ученого с острым чувством новой и замечательной научной интуиции. До последних дней он продолжал активно работать и щедро генерировал оригинальные научные идеи и результаты.
Награды и почести [ править ]
Ивахненко — Почетный деятель науки СССР (1972), двукратный лауреат Государственной премии (1991, 1997) за работы по теории инвариантных автоматических систем и комплекс публикаций по информационным технологиям в области искусственного интеллекта. Автор 40 книг и более 500 научных статей. Почетный доктор Национального технического университета «КПИ» (2003 г.) и Львовской политехники (2005 г.). Он был членом-корреспондентом АН СССР (1961 г.), академиком НАН Украины (2003 г.).
Избранные работы [ править ]
- Ивахненко А. Г. Эвристическая самоорганизация в задачах технической кибернетики , Автоматика, т.6, 1970 — с. 207-219.
- Ивахненко А.Г. Полиномиальная теория сложных систем , Транзакции IEEE по системам Человек и кибернетика, 4, 1971 — с. 364-378.
- Ивахненко А.Г.; Ивахненко Г.А. (1995). «Обзор проблем, решаемых алгоритмами группового метода обработки данных (GMDH)» (PDF) . Распознавание образов и анализ изображений . 5 (4): 527–535. CiteSeerX 10.1.1.19.2971 .
- Ивахненко А.Г.; Мюллер, Ж.-А. (1997). «Последние разработки самоорганизующегося моделирования в прогнозировании и анализе фондового рынка» (PDF) . Микроэлектрон.Надежность . 37 : 1053–1072. CiteSeerX 10.1.1.19.4973 .
Ссылки [ править ]
- ^ Шмидхубер, Юрген. «Критика статьи со стороны «Заговора глубокого обучения». (Nature 521, стр. 436)» . Проверено 26 декабря 2019 г.
- ^ Бобрищев, К.В. (2002). Отчий Край (in Russian). Полтава: Дивосвит. pp. 284–293. ISBN 978-966-95846-9-4 .
- ↑ Перейти обратно: Перейти обратно: а б с д Мадала, HR; Ивахненко, А.Г. (1994). Алгоритмы индуктивного обучения для моделирования сложных систем (PDF) . Бока-Ратон: CRC Press. ISBN 978-0849344381 .
- ^ Ивахненко, А.Г. (1968). «Групповой метод обработки данных – конкурент метода стохастической аппроксимации». Советская автоматика . 13 (3): 43–55.
- ^ Габор, Д. (1971). Перспективы строгания. Организация экономического сотрудничества и развития . Лондон: Imp.Coll.
- ^ Бир, С. (1959). Кибернетика и управление . Лондон: Английский университет. Нажимать.
- ↑ Перейти обратно: Перейти обратно: а б с Ivakhnenko, A.G.; Stepashko, V.S. (1985). Pomekhoustojchivost' Modelirovanija (Noise Immunity of Modeling) (PDF) . Kyiv: Naukova Dumka.
- ↑ Перейти обратно: Перейти обратно: а б Ивахненко А.Г.; Лапа, В.Г. (1967). Кибернетика и методы прогнозирования (Современные аналитические и вычислительные методы в науке и математике, т. 8 изд.). Американский Эльзевир. ISBN 978-0444000200 .
- ^ Такао, С.; Кондо, С.; Уэно, Дж.; Кондо, Т. (2017). «Нейронная сеть типа GMDH с глубокой обратной связью и ее применение для анализа медицинских изображений МРТ-изображений мозга». Искусственная жизнь и робототехника . 23 (2): 161–172. дои : 10.1007/s10015-017-0410-1 . S2CID 44190434 .
- ↑ Перейти обратно: Перейти обратно: а б Иваненко, А.Г. (1982). Индуктивный метод самоорганизации моделей сложных систем (PDF) (на русском языке). Киев: Наукова думка.
- ↑ Перейти обратно: Перейти обратно: а б Ivakhnenko, A.G.; Yurachkovsky, Yu.P. (1986). Modelirovanie Slozhnykh Sistem po Exsperimentalnym Dannym (Modelling of Complex Systems on Experimental Data) . M: Radio i Svyaz.
- ↑ Перейти обратно: Перейти обратно: а б Ивахненко А.Г.; Мюллер, Дж. А. (1985). Самоорганизация моделей прогнозирования (PDF) (на русском языке). Киев: Техника.
- ^ Ивахненко, А.Г. (1953). Автоматическое регулирование скорости асинхронных двигателей средней мощности . Киев: Изд.АН СССР.
- ^ Ивахненко, А.Г. (1954). Теория комбинированного автоматического управления электродвигателями . Киев: Изд.КПИ.
- ^ Ивахненко, А.Г. (1954). Электроавтоматика . Киев: Гостехиздат.
- ↑ Перейти обратно: Перейти обратно: а б Ivakhnenko, A.G. (1959). Tekhnicheskaya Kibernetika . Kiev: Gostechizdat USSR.
- ^ Ивахненко, А.Г. (1969). Самообучающиеся системы распознавания и автоматического управления . Киев: Техника.
- ^ Ивачненко, А.Г. (1962). Техническая кибернетика . Берлин: Верлаг Техник.
- ^ Шмидхубер, Дж. (январь 2015 г.). «Глубокое обучение в нейронных сетях: обзор» (PDF) . Нейронные сети . 61 : 85–117. arXiv : 1404.7828 . дои : 10.1016/j.neunet.2014.09.003 . ПМИД 25462637 . S2CID 11715509 . Проверено 26 декабря 2019 г.
- ^ Фарлоу, С.Дж. , изд. (1984). Методы самоорганизации в моделировании: алгоритмы типа GMDH (Статистика: Учебники и монографии, т.54 изд.). Марселя Деккера Inc. ISBN 978-0824771614 . Проверено 26 декабря 2019 г.
- ^ Иваненко А.Г.; Зайченко Ю.П.; Димитров, В.Д. (1976). Принятие решений на основе самоорганизации . М: Сов.Радио.
- ^ Иваненко, А.Г. (1975). Долгосрочное прогнозирование и управление сложными системами (PDF) (на русском языке). Киев: Техника.
- ^ Ивачненко А.Г.; Мюллер, Дж. А. (1984). Самоорганизация моделей прогнозирования . Берлин: Веб Верлаг Техник.
- ^ «Наука и промышленность». Правда . Коммунистическая партия СССР. 16 мая 1941 года.
Внешние ссылки [ править ]
- Групповой метод обработки данных
- Библиотека книг и статей GMDH
- ГМДХ:Об авторе — Биография и презентации об Алексее Ивахненко.
- 1913 рождений
- смертей в 2007 г.
- Украинские математики
- Украинские компьютерщики
- Члены Национальной академии наук Украины
- Ученые из Киева
- Советские математики
- Лауреаты Государственной премии СССР.
- Кавалеры ордена Дружбы народов.
- Захоронения на Байковом кладбище.
- Люди из Полтавской губернии.
- Люди из Кобеляков