Дивергенция Кульбака-Лейблера
Дивергенция или расхождение Кульбака-Лейблера (KL) — это мера, позволяющая определить насколько информационная энтропия одного распределения отлична от энтропии другого распределения.
Для определения KL нужно вычислить информационную энтропию обоих распределений и найти их разность. Однако, просто в лоб этого сделать нельзя, поскольку KL вычисляется для одного распределения (Q) относительно другого распределения (P), поэтому в первой половине формулы вычисления энтропии (Q) вероятность используется из распределения (P), относительно которого производится вычисление:
Эту формулу можно упростить:
иногда можно встретить вариант этой формулы со знаком минус:
KL — мера несимметричная, то есть значение, вычисленное для распределения Q относительно P, не будет равно значению, вычисленному для распределения P относительно Q. Именно поэтому, например, профессор Ali Ghodsi против того, чтобы называть KL расстоянием, потому как расстояние подразумевает под собой симметрию.
