✖


Jump to content

Зепп Хохрайтер

«Хохрейтер» перенаправляется сюда. Чтобы узнать о людях с похожей фамилией, см. Hochreither .
Зепп Хохрайтер
Хохрайтер в 2012 году
Рожденный ( 1967-02-14 ) 14 февраля 1967 г. (57 лет)
Мюльдорф , Западная Германия
Национальность немецкий
Альма-матер Технический университет Мюнхена
Научная карьера
Поля Машинное обучение , биоинформатика
Учреждения Университет Иоганна Кеплера в Линце
Диссертация Обобщение в нейронных сетях низкой сложности   (1999)
Докторантура Вильфрид Брауэр

Йозеф «Зепп» Хохрайтер (родился 14 февраля 1967 г.) — немецкий учёный-компьютерщик . С 2018 года он возглавлял Институт машинного обучения в Университете Иоганна Кеплера в Линце после того, как с 2006 по 2018 год руководил Институтом биоинформатики. В 2017 году он стал главой лаборатории искусственного интеллекта Технологического института Линца (LIT). Хохрайтер также является директором-основателем Института перспективных исследований искусственного интеллекта (IARAI). [1] Ранее он работал в Техническом университете Берлина , в Университете Колорадо в Боулдере и в Техническом университете Мюнхена . Он является председателем конференции «Критическая оценка анализа массивных данных» (CAMDA). [2]

Хохрайтер внес вклад в области машинного обучения , глубокого обучения и биоинформатики , в первую очередь в разработку долгой краткосрочной памяти (LSTM). архитектуры нейронных сетей [3] [4] но и в метаобучении , [5] обучение с подкреплением [6] [7] и бикластеризация с применением к данным биоинформатики .

Научная карьера

[ редактировать ]

Длинная кратковременная память (LSTM)

[ редактировать ]

Хохрайтер разработал архитектуру нейронной сети долговременной кратковременной памяти (LSTM) в своей дипломной работе в 1991 году, что привело к основной публикации в 1997 году. [3] [4] LSTM преодолевает проблему числовой нестабильности при обучении рекуррентных нейронных сетей (RNN), которая не позволяет им обучаться на длинных последовательностях ( исчезающий или взрывающийся градиент ). [3] [8] [9] В 2007 году Хохрейтер и другие успешно применили LSTM с оптимизированной архитектурой для очень быстрого обнаружения гомологии белков без необходимости выравнивания последовательностей . [10] Сети LSTM также использовались в Google Voice для транскрипции. [11] и искать, [12] и в приложении чата Google Allo для генерации предложений ответа с низкой задержкой. [13]

Другие вклады в машинное обучение

[ редактировать ]

Помимо LSTM, Хохрайтер разработал «поиск плоского минимума», чтобы повысить степень обобщения нейронных сетей. [14] и представил выпрямленных коэффициентов (RFN) для разреженного кодирования. сети [15] [16] которые нашли применение в биоинформатике и генетике. [17] Хохрейтер представил современные сети Хопфилда с непрерывными состояниями. [18] и применил их к задаче классификации иммунного репертуара. [19]

Хохрайтер работал с Юргеном Шмидхубером в области обучения с подкреплением в системах актер-критик, которые обучаются путем «обратного распространения ошибки через модель». [6] [20]

Хохрайтер участвовал в разработке методов факторного анализа с применением в биоинформатике, в том числе FABIA для бикластеризации . [21] HapFABIA для обнаружения коротких сегментов идентичности по происхождению [22] и FARMS для предварительной обработки и обобщения высокой плотности олигонуклеотидов микроматриц ДНК для анализа РНК экспрессии генов . [23]

В 2006 году Хохрайтер и другие предложили расширение машины опорных векторов (SVM), «Машину потенциальных опорных векторов» (PSVM), [24] который можно применять к матрицам с неквадратным ядром и использовать с ядрами, которые не являются положительно определенными. Хохрайтер и его коллеги применили PSVM для отбора признаков , включая отбор генов для данных микрочипов. [25] [26] [27]

Награды

[ редактировать ]

Хохрайтер был награжден премией IEEE CIS Neural Networks Pioneer Prize в 2021 году за свою работу над LSTM. [28]

Ссылки

[ редактировать ]
  1. ^ «ИАРАИ – ИНСТИТУТ ПЕРЕДОВЫХ ИССЛЕДОВАНИЙ В ОБЛАСТИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА» . www.iarai.ac.at . Проверено 13 февраля 2021 г.
  2. ^ «КАМДА 2021» . 20-я Международная конференция по критической оценке анализа массивных данных . Проверено 13 февраля 2021 г.
  3. ^ Перейти обратно: а б с Хохрейтер, С. (1991). Исследования по динамическим нейронным сетям (PDF) (дипломная работа). Технический университет Мюнхена, Институт компьютерных наук.
  4. ^ Перейти обратно: а б Хохрейтер, С.; Шмидхубер, Дж. (1997). «Долгая кратковременная память». Нейронные вычисления . 9 (8): 1735–1780. дои : 10.1162/neco.1997.9.8.1735 . ПМИД   9377276 . S2CID   1915014 .
  5. ^ Хохрейтер, С.; Младший, А.С.; Конвелл, PR (2001). «Учимся учиться с помощью градиентного спуска». Искусственные нейронные сети — ICANN 2001 (PDF) . Конспекты лекций по информатике. Том. 2130. стр. 87–94. CiteSeerX   10.1.1.5.323 . дои : 10.1007/3-540-44668-0_13 . ISBN  978-3-540-42486-4 . ISSN   0302-9743 . S2CID   52872549 .
  6. ^ Перейти обратно: а б Хохрейтер, С. (1991). Внедрение и применение алгоритма нейронного обучения в реальном времени для реактивных сред (PDF) (Отчет). Технический университет Мюнхена, Институт компьютерных наук.
  7. ^ Архона-Медина, JA; Гиллхофер, М.; Видрич, М.; Унтертинер, Т.; Хохрейтер, С. (2018). «РУЛЬ: Разложение возврата для отложенных вознаграждений». arXiv : 1806.07857 [ cs.LG ].
  8. ^ Хохрайтер, С. (1998). «Проблема исчезающего градиента при обучении рекуррентных нейронных сетей и решения проблем». Международный журнал неопределенности, нечеткости и систем, основанных на знаниях . 06 (2): 107–116. дои : 10.1142/S0218488598000094 . ISSN   0218-4885 . S2CID   18452318 .
  9. ^ Хохрейтер, С.; Бенджио, Ю.; Фраскони, П.; Шмидхубер, Дж. (2000). Колен, Дж. Ф.; Кремер, Южная Каролина (ред.). Градиентный поток в рекуррентных сетях: сложность изучения долговременных зависимостей . Полевое руководство по динамическим рекуррентным сетям. Нью-Йорк: IEEE Press. стр. 237–244. CiteSeerX   10.1.1.24.7321 .
  10. ^ Хохрейтер, С.; Хойзель, М.; Обермайер, К. (2007). «Быстрое обнаружение гомологии белков на основе моделей без выравнивания» . Биоинформатика . 23 (14): 1728–1736. doi : 10.1093/биоинформатика/btm247 . ПМИД   17488755 .
  11. ^ «Нейронные сети, лежащие в основе транскрипции Google Voice» . 11 августа 2015 г.
  12. ^ «Голосовой поиск Google: быстрее и точнее» . 24 сентября 2015 г.
  13. ^ Хайтан, Пранав (18 мая 2016 г.). «Общайтесь с Allo умнее» . Блог Google AI . Проверено 20 октября 2021 г.
  14. ^ Хохрейтер, С.; Шмидхубер, Дж. (1997). «Плоские минимумы». Нейронные вычисления . 9 (1): 1–42. дои : 10.1162/neco.1997.9.1.1 . ПМИД   9117894 . S2CID   733161 .
  15. ^ Клеверт, Д.-А.; Майр, А.; Унтертинер, Т.; Хохрейтер, С. (2015). «Выпрямленные факторные сети». arXiv : 1502.06464v2 [ cs.LG ].
  16. ^ Клеверт, Д.-А.; Майр, А.; Унтертинер, Т.; Хохрейтер, С. (2015). Выпрямленные факторные сети . Достижения в области нейронных систем обработки информации 29. arXiv : 1502.06464 .
  17. ^ Клеверт, Д.-А.; Унтертинер, Т.; Повысил Г.; Хохрейтер, С. (2017). «Исправленные факторные сети для бикластеризации данных омики» . Биоинформатика . 33 (14): i59–i66. doi : 10.1093/биоинформатика/btx226 . ПМК   5870657 . ПМИД   28881961 .
  18. ^ Рамзауэр, Х.; Шефль, Б.; Ленер, Дж.; Зейдль, П.; Видрич, М.; Грубер, Л.; Хольцляйтнер, М.; Павлович, М.; Сандве, Г.К.; Грейфф, В.; Крейл, Д.; Копп, М.; Кламбауэр, Г.; Брандстеттер, Дж.; Хохрейтер, С. (2020). «Hopfield Networks — это все, что вам нужно». arXiv : 2008.02217 [ cs.NE ].
  19. ^ Видрич, М.; Шефль, Б.; Рамзауэр, Х.; Павлович, М.; Грубер, Л.; Хольцляйтнер, М.; Брандстеттер, Дж.; Сандве, Г.К.; Грейфф, В.; Хохрейтер, С.; Кламбауэр, Г. (2020). «Современные сети Хопфилда и внимание к классификации иммунного репертуара». arXiv : 2007.13505 [ cs.LG ].
  20. ^ Шмидхубер, Дж. (1990). Сделать мир дифференцируемым: об использовании полностью рекуррентных нейронных сетей с самоконтролем для динамического обучения и планирования с подкреплением в нестационарных средах (PDF) (Технический отчет). Технический университет Мюнхена, Институт компьютерных наук. ФКИ-126-90 (переработанный).
  21. ^ Хохрейтер, Зепп; Боденхофер, Ульрих; Хойзель, Мартин; Майр, Андреас; Миттекер, Андреас; Касим, Адетайо; Хамиякова Татьяна; Ван Санден, Сьюзи; Лин, Дэн; Таллоен, Виллем; Бийненс, Люк; Гельманн, Хинрих WH; Шкеди, Зив; Клеверт, Джорк-Арне (15 июня 2010 г.). «ФАБИЯ: факторный анализ для приобретения бикластеров» . Биоинформатика . 26 (12): 1520–1527. doi : 10.1093/биоинформатика/btq227 . ПМК   2881408 . ПМИД   20418340 .
  22. ^ Хохрайтер, С. (2013). «HapFABIA: Идентификация очень коротких сегментов идентичности по происхождению, характеризующихся редкими вариантами в больших данных секвенирования» . Исследования нуклеиновых кислот . 41 (22): е202. дои : 10.1093/нар/gkt1013 . ПМЦ   3905877 . ПМИД   24174545 .
  23. ^ Хохрейтер, С.; Клеверт, Д.-А.; Обермайер, К. (2006). «Новый метод суммирования данных уровня зонда affymetrix» . Биоинформатика . 22 (8): 943–949. doi : 10.1093/биоинформатика/btl033 . ПМИД   16473874 .
  24. ^ Хохрейтер, С.; Обермайер, К. (2006). «Машины опорных векторов для диадических данных». Нейронные вычисления . 18 (6): 1472–1510. CiteSeerX   10.1.1.228.5244 . дои : 10.1162/neco.2006.18.6.1472 . ПМИД   16764511 . S2CID   26201227 .
  25. ^ Хохрейтер, С.; Обермайер, К. (2006). Нелинейный выбор признаков с помощью машины потенциальных опорных векторов . Извлечение признаков, исследования нечеткости и мягких вычислений. стр. 419–438. дои : 10.1007/978-3-540-35488-8_20 . ISBN  978-3-540-35487-1 .
  26. ^ Хохрейтер, С.; Обермайер, К. (2003). «Классификация и выбор признаков матричных данных с применением к анализу экспрессии генов» . 54-я сессия Международного статистического института . Архивировано из оригинала 25 марта 2012 г.
  27. ^ Хохрейтер, С.; Обермайер, К. (2004). «Отбор генов для данных микрочипов» . Ядерные методы в вычислительной биологии . Массачусетский технологический институт Пресс: 319–355. дои : 10.7551/mitpress/4057.003.0020 . ISBN  978-0-262-25692-6 . Архивировано из оригинала 25 марта 2012 г.
  28. ^ «Зепп Хохрайтер получает награду IEEE CIS Neural Networks Pioneer Award 2021 — IARAI» . www.iarai.ac.at . 24 июля 2020 г. Проверено 3 июня 2021 г.
[ редактировать ]
Retrieved from "https://en.wikipedia.org/w/index.php?title=Sepp_Hochreiter&oldid=1237415137"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 7cd791d8509ae58defe355fa2034b155__1722264540
URL1:https://arc.ask3.ru/arc/aa/7c/55/7cd791d8509ae58defe355fa2034b155.html
Заголовок, (Title) документа по адресу, URL1:
Sepp Hochreiter - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)