Вместе со Сколковским институтом науки и технологий мы сняли курс «Машинное обучение», посвященный математическому моделированию и методам машинного обучения. Специально для этого курса мы попросили ученых собрать список литературы для более глубокого понимания темы.

Для начинающих: просто о сложном

1

Нейт Сильвер. Сигнал и Шум. Почему одни прогнозы сбываются, а другие ― нет // Азбука-Аттикус, КоЛибри, 2015

Книга посвящена построению прогнозов и вероятностей для самых различных событий: землетрясений, эпидемий, экономических кризисов, выборов президентов, спортивных матчей и так далее. Автор Нейт Сильвер разработал систему прогнозов, благодаря которой удалось два раза максимально точно предсказать результаты выборов почти во всех штатах Америки. Сильвер обобщает опыт экспертов-практиков, изучает различные модели и подходы для построения более точных прогнозов. А как мы помним, расчет вероятностей и прогнозов — одно из важных направлений в машинном обучении.

2

William M. Bolstad. Introduction to Bayesian Statistics, 2nd Edition // Wiley-Interscience; 2nd edition

В данной книге рассмотрены основные вопросы статистики, но с байесовской точки зрения. Основной акцент сделан на практических методах, которые можно использовать в расчетах, а также проведено их сравнение с классическими («частотными») методами, решающими аналогичные задачи. Байесовский подход к статистике позволяет строить вероятностные утверждения о параметрах математических моделей и сейчас актуален как никогда, особенно учитывая появление современных эффективных вычислительных методов, реализующих основные байесовские процедуры анализа данных.

3

Хей Дж. Введение в методы байесовского статистического вывода. — М.: Финансы и статистика, 1987

Это довольно старая, но заслуживающая внимания работа. В основе лежит концепция байесовского использования априорной информации в сочетании с накапливаемыми результатами наблюдений для выработки рациональных решений. Изложенные математические методы используются далее в задачах оценивания долей, средних дисперсий и регрессионных моделей. Книга подходит для тех, кто интересуется эконометрией и статистикой. Кроме того, отдельно об основных понятиях байесовского подхода можно почитать главу в книге Крилли Тони «Математика. 50 идей, о которых нужно знать» (М: Фантом Пресс, 2014).

4

Dr. Anasse Bari, Mohamed Chaouchi, Tommy Jung. Predictive Analytics For Dummies // For Dummies; 2 edition, 2016

С помощью этого понятного руководства можно познакомиться с основами предсказательной аналитики и начать использовать ее методы для сбора и анализа данных.

5

Лекция Евгения Бурнаева, посвященная использованию машинного обучения в индустриальной инженерии и её приложениях, прочитанная на Data Fest 4D в 2017 г.

6

О глубинном обучении есть несколько хороших материалов на известном ресурсе habrahabr.ru. В первую очередь стоит упомянуть статью, посвященную истории, возможностям и перспективам глубинного обучения, а также материал о теоретических основах использования методов такого типа. Есть и подробный рассказ об обучении с подкреплением. Дополнить это можно лекцией Виктора Лемпицкого, посвященной синтезу изображений при помощи глубоких нейросетей.

Для продвинутых: введение в дисциплину

1

Cameron Davidson-Pilon. Bayesian Methods for Hackers: Probabilistic Programming and Bayesian Inference // Addison-Wesley Data & Analytics, 2015

В этой книге рассказывается о реализации байесовских методов анализа данных в языке вероятностного программирования PyMC и тесно с ним связанных программных пакетов на языке Питон, таких как NumPy, SciPy, and Matplotlib. При помощи указанных инструментов возможна реализация эффективных решений без значительного погружения в излишние математические подробности байесовских алгоритмов анализа данных. Дэвидсон-Пилон рассказывает о концепциях, лежащих в основе байесовского метода, сравнивает его с другими и рассказывает, как создать байесовскую модель самому, используя всю мощь вероятностного программирования. Кроме того, о применении байесовских методов и статистическом анализе можно прочитать в книге Andrew Gelman, John B. Carlin, Hal S. Stern, Donald B. Rubin. Bayesian Data Analysis, Second Edition (Chapman & Hall/CRC Texts in Statistical Science, 2nd Edition, 2003).

2

John K. Kruschke. Doing Bayesian Data Analysis, Second Edition: A Tutorial with R, JAGS, and Stan // Academic Press / Elsevier, 2015

Рекомендуем по этой теме:
17552
Сверточные нейронные сети
Это учебное пособие предоставляет доступное введение в байесовский подход к анализу данных, материал понятно объясняется на конкретных примерах.

3

Евгений Бурнаев, Федор Губарев, Сергей Морозов, Александр Прохоров, Дмитрий Хоминич. Многодисциплинарная оптимизация, анализ данных и автоматизация инженерных расчетов с помощью программного комплекса pSeven // CAD/CAM/CAE Observer #4 (88), 2014

В статье рассказывается о применении машинного обучения в инженерных задачах. В настоящее время одним из основных средств уменьшения сроков проектирования и снижения затрат на разработку различных образцов как гражданской, так и военной техники является использование систем автоматизированного проектирования: трехмерного проектирования (CAD), моделирования и инженерного анализа (CAE), управления данными об изделии (PDM) и др. Таким образом, для эффективного решения задач по созданию новых образцов техники необходимо автоматизировать сам процесс поиска оптимального облика и внутренних свойств изделия. Для этого нужно связать CAD- и CAE-системы, создав единую среду, а также применить формализованные методики научного поиска, используя методы оптимизации и анализа данных. В статье можно узнать о методах, которые можно использовать для решения этих задач. Статья доступна онлайн. Кроме того, о когнитивных технологиях в адаптивных моделях сложных систем можно узнать в совместной статье Александра Кулешова и Александра Бернштейна: Kuleshov A.P., Bernstein A.V. Cognitive technologies in adaptive models of complex plants. (Keynote papers of 13th IFAC Symposium on Information Control Problems in Manufacturing (INCOM’09), June 3 — 5, 2009. Moscow, Russia, p. 70–81.)

4

Max Kuhn, Kjell Johnson. Applied Predictive Modeling // Springer, 2013

Книга охватывает весь процесс предсказательного моделирования: предварительную обработку данных, разделение этих данных и основы настройки модели. Также даются интуитивно понятные объяснения многочисленных методов регрессии и классификации, которые сопровождаются иллюстрациями и примерами реальных проблем и практических решений. Дополнением может служить следующая работа, посвященная инженерному проектированию и суррогатным моделям: Forrester, Alexander, Andras Sobester, and Andy Keane, Engineering design via surrogate modelling: a practical guide (John Wiley & Sons, 2008).

5

К. В. Воронцов. Обучение с подкреплением

Лекция известного специалиста по машинному обучению Константина Воронцова, прочитанная в рамках цикла «Школа анализа данных».

6

Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction // A Bradford Book; 1St Edition edition (March 1, 1998)

Обучение с подкреплением — одно из наиболее активно развивающихся направлений в области искусственного интеллекта. В этой книге Ричард Саттон и Эндрю Барто дают представление об основных идеях и алгоритмах этого направления исследований. Они рассказывают об истории возникновения обучения с подкреплением, а также о последних разработках и приложениях.

7

Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning

Глубокое обучение позволяет компьютеру учиться на своем опыте и понимать мир посредством иерархии понятий. Эта иерархия позволяет компьютеру изучать сложные понятия, конструируя их из более простых. В книге рассматривается широкий круг вопросов, связанных с глубоким обучением. Авторы рассказывают о необходимых понятиях линейной алгебры, теории вероятностей и теории информации, численных методов и машинного обучения. Значительное внимание уделяется методам глубокого обучения, применению этих технологий в промышленности, принципам работы сверточных нейронных сетей и другим аспектам данной темы. Много интересного можно почерпнуть о приложениях глубокого обучения: обработке естественного языка, распознавании речи, компьютерном зрении, рекомендательных системах. Авторы также рассказывают о прикладных и теоретических перспективах исследований и разработки глубинного обучения. Весомым преимуществом является то, что учебник доступен онлайн.

8

Бахвалов Н. С. Численные методы. 3-е изд. — М., 2003

Классический университетский учебник, посвященный численным методам. Включает в себя самый широкий список тем, в том числе решения систем нелинейных уравнений и задачи оптимизаций, линейные уравнения с плохо обусловленными матрицами, решения задач Коши для жестких систем обыкновенных дифференциальных уравнений, аппроксимацию функции, метод сопряженных градиентов и многое другое. Учебник снабжен подробным списком литературы.

9

U. Rüde, K. Willcox, L. C. McInnes et al. Research and Education in Computational Science and Engineering

Важная обзорная статья, посвященная развитию вычислительных методов и их применению в промышленности, оптимизационных системах и различных научных областях. В статье описываются важные этапы в развитии вычислительных методов, новые вызовы, которые стоят перед этой наукой, и достижения, которые уже сделаны и могут ожидаться в будущем благодаря развитию вычислительных методов. Статья доступна онлайн.

Рекомендуем по этой теме:
8101
Задачи в машинном обучении

Для профессионалов: важные статьи

1

Gilbert Strang. Computational Science and Engineering. // Wellesley-Cambridge Press, 2007

Важная и большая книга по вычислительным наукам. Автор делится собственным опытом и описывает весь спектр вычислительных методов. Книга основывается на решениях, а не на наборе формул и охватывает прикладную линейную алгебру, дифференциальные уравнения, преобразования Фурье и многие другие области.

2

Christopher Bishop. Pattern Recognition and Machine Learning // Springer, 2006

В данном учебнике отражены последние тенденции в развитии методов машинного обучения. Значительное внимание уделено именно байесовским методам машинного обучения. Книга может быть хорошим пособием для курсов по машинному обучению, статистике, информатике, обработке данных, компьютерному зрению и другим дисциплинам. Помимо того, есть еще один хороший учебник, доступный в Сети: David J. C. MacKay. Information Theory, Inference, and Learning Algorithms (Cambridge University Press, 2003).

3

Mikhail Belyaev, Evgeny Burnaev, Ermek Kapushev, Maxim Panov, Pavel Prikhodko, Dmitry Vetrov, Dmitry Yarotsky. GTApprox: Surrogate modeling for industrial design // Advances in Engineering Software 102 (2016) 29–39

Коллективная статья, посвященная последним достижениям суррогатного моделирования в индустриальном производстве. Есть также важная статья о методах построения суррогатных моделей на основе гауссовских процессов по данным разной точности: Burnaev E., Zaytsev A. Large Scale Variable Fidelity Surrogate Modeling

Кроме того, стоит обратить внимание на статью о приложениях суррогатного моделирования и оптимизации: Grihon S., Burnaev E. V., Belyaev M. G. and Prikhodko P. V. Surrogate Modeling of Stability Constraints for Optimization of Composite Structures.

4

Yann LeCun, Yoshua Bengio, Geoffrey Hinton. Deep learning // Nature 521, 436–444 (28 May 2015)

Важная статья Яна Лекуна, который изобрел сверточную нейронную сеть. Статья посвящена методам и перспективам глубокого обучения. Ее хорошо дополнит отклик, опубликованный Дж. Шмидхубером: J. Schmidhuber. Critique of Paper by «Deep Learning Conspiracy» (Nature 521 p. 436). Он же в 2015 году написал обзор методов глубокого обучения для нейронных сетей: J. Schmidhuber. Deep Learning in Neural Networks: An Overview..