Практика концепция логистической регрессии и ее применение в машинном обучении. Линейная алгебра для машинного обучения. Программирование задач линейной алгебры. Обычно алгоритмы машинного обучения разделяют на категории

Практика 2
Концепция логистической регрессии и ее применение в машинном обучении. Линейная алгебра для машинного обучения. Программирование задач линейной алгебры. Обычно алгоритмы машинного обучения разделяют на 4 категории. Обучение и программирование алгоритмов обучения без учителя в машинном обучении. Современные программные средства искусственных нейронных сетей.

Концепция логистической регрессии и ее применение в машинном обучении.
Логистическая регрессия – алгоритм с секретом. Нам понадобится небольшое предисловие о задачах машинного обучения в целом, чтобы понять, для какой цели применяется этот алгоритм. Это же регрессия, верно? Давайте разбираться.
Какие задачи решает машинное обучение:
1.Регрессия осуществляет прогноз. На входе – признаки (features)
объектов выборки, на выходе – вещественное число (стоимость товара, ожидаемая прибыль и т. д.).
2.Классификация, удивительное дело, осуществляет классификацию по категориям. На входе – набор признаков. На выходе – «да» или «нет», иногда еще «не знаю/нейтральный класс». Если вы пушистый, любите колбасу, не работаете и большую часть времени спите, возможно, вы – кот. Как видите, всё зависит от адекватности набора признаков на входе.
3.Кластеризация. Здесь на входе может быть неразмеченный набор данных, так как это обучение без учителя. На выходе – различные группы: потребительские сегменты и группы конкурентов в бизнесе, тематическое моделирование в обработке естественного языка, группы симптомов в биоинформатике и медицине, – этот список можно продолжать долго.
4.Задача уменьшения размерности. На входе — признаки набора данных, на выходе – их меньше, они более эффективны, информативны и полезны для работы модели. Также алгоритм обучения без учителя (потому что нет готовых ответов, на которых можно обучать модель).
5.Задача выявления аномалий. Напоминает задачу классификации, но отличие в том, что аномалии встречаются редко, однако имеют большое значение для системы (кибератаки, мошенничество с кредитными картами). На входе – набор признаков, которые могут быть самой разнообразной природы. На выходе, соответственно, ожидаются выявленные случаи аномалий. Если вам повезло и в вашем распоряжении имеются обучающие примеры, то это будет обучение с учителем. Но на практике чаще бывает, что подобных примеров нет.
Логистическая регрессия вычисляет вероятность того, что данное исходное значение принадлежит к определенному классу. Она используется для задач классификации: оценивает апостериорные вероятности принадлежности данного объекта к тому или иному классу.
Для оценки модели логистическая регрессия применяет метод максимального правдоподобия. Он основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия. Попытаемся «на пальцах» сформулировать его принцип действия. Цель метода – оценить параметры распределения вероятностей. Способ – максимизировать функцию правдоподобия. Эта функция как раз определяет вероятность значений параметров регрессионной модели для заданного значения независимой переменной x=X:
P(θ)=P(x=X|θ),
где θ — значение параметра модели, P(θ) — вероятность появления значения θ, X — значение независимой переменной x, для которого определяется условная вероятность θ.
Задача заключается в поиске таких значений параметров Θ = (θ₁, θ₂,...,θ_n), которые максимизируют функцию правдоподобия L(x|Θ). Для этого определяются оценки максимального правдоподобия (maximum likelihood estimates), для которых значения параметров являются наиболее «правдоподобными» по отношению к наблюдаемым данным.
Линейная регрессия и логистическая регрессия: часто спрашивают на интервью сходство и различия
Оба этих алгоритма как альфа и бета машинного обучения и науки о данных. Посмотрим на их графики функций: