MSE

MSE (Mean Squared Error) или по-русски среднеквадратичная ошибка — это один из самых простых и популярных способов измерения качества работы модели.

Имея правильный ответ y и предсказание ŷ, можно вычислить их разность. Если сложить такие разности для всех ответов, возведённые в квадрат и разделить на количество элементов выборки, получится число, характеризующее качество модели:

Для примера, поглядим на маленькую выборку, ответы и предсказания для которой выглядят вот так:

Для этого случая MSE будет равна 14.

Тут мы сталкиваемся с проблемой интерпретации этого значения. В идеальном случае, когда все ответы предсказаны точно, MSE будет равна нулю. А как понять, что показывает число 14? Модель сделала предсказание плохо или хорошо? К сожалению, однозначно ответить на эти вопросы невозможно.

Для того, чтобы понять, насколько хорошо работает модель, нужно произвести серию предсказаний с разными параметрами, сравнить MSE результатов между собой и выбрать наилучший вариант.

Когда работаешь с MSE, нужно всегда помнить о том, что эта оценка совершенно неустойчива к выбросам.