Машинное обучение и нейросети

Как найти взаимосвязь между наблюдаемыми и скрытыми переменными? Что такое глубинное обучение? Каковы перспективы машинного обучения? Об этом рассказывает кандидат физико-математических наук Дмитрий Ветров.

Машинное обучение появляется в тот момент, когда переменные, которыми описывается объект, можно разделить на две части: наблюдаемые и скрытые, или латентные, переменные. Наблюдаемые переменные — это те переменные, которые мы можем измерить для произвольного объекта. Скрытые переменные мы можем померить для ограниченного числа объектов просто потому, что, как правило, их измерение сопряжено либо с финансовыми затратами, либо с человеческими, либо с временными, либо в принципе невозможно. Например, эти переменные характеризуют свойства объекта в будущем. При этом предполагается, что между наблюдаемыми и скрытыми переменными есть некоторая взаимосвязь. И, собственно, на поиск этой взаимосвязи направлены современные алгоритмы машинного обучения.

Предположим, мы банкиры, и у нас есть клиенты, которые жаждут получить от нас кредит. Вопрос в том, кому кредит можно выдавать, а кому лучше не выдавать, потому что он его не вернет. Это классическая задача машинного обучения. В качестве наблюдаемых переменных у нас есть характеристики клиентов, например то, что они заполняют в своих анкетах: пол, возраст, образование, уровень доходов, состав семьи. Все эти переменные мы можем легко измерить, заставив клиента заполнить анкету. Как скрытая компонента в простейшем случае выступает бинарная величина: вернет клиент кредит или не вернет. В более сложных случаях предполагается, что мы оцениваем риск невозврата кредита как некоторую вероятность, с которой кредит может быть не возвращен.

В 2007 году появилось несколько прорывных работ, которые предложили новый подход к машинному обучению, так называемое глубинное обучение. Оно связано с построением глубинных нейронных сетей. Несмотря на кажущееся сходство по названию, эти нейронные сети к биологическим нейронным сетям никакого отношения не имеют. Оказалось, что глубинные нейронные сети представляют собой сложные математические модели, которые позволяют находить между наблюдаемыми и скрытыми компонентами очень нетривиальные взаимосвязи. И с 2007 по 2014 год мы наблюдаем настоящую революцию в области машинного обучения, связанную с тем, что эти глубинные нейронные сети стали показывать фантастические результаты на большинстве задач машинного обучения, в которых присутствуют достаточно большие обучающие выборки. А понятно, что с момента появления интернета таких задач становится все больше и больше. Классические примеры — это распознавание речи, анализ текстов и компьютерное зрение.