Представим что у нас два массива данных: 1-таблица факторов X. 2-таблица выходных показателей Y.

H(X,)=H(X)+H() (1). Остаточная энтропия (мера не знания) будет выглядеть так H(X,) после того как что-то извлекли из модели. Тогда информация, которую смогли извлечь из модели: (2).

H(X,)=H(X)+H(|X) (3).

H(X,) – энтропия остатка; H(X) – энтропия любого X или Y. H(|X) – условная энтропия той модели которую мы извлекли при одном из состояний X.

Информация (4) Выражениe (4)означает, что количество информации получаемое за счет знания характеристик взаимодействия систем X и Y (математических моделей) равно разности двух энтропий: энтропии системы, которая описывается случайной величиной Y (опытными данными) с определенным рядом распределения (его можно представить в виде разрядов гистограммы (Y₁,Y₂, …,Y_j,…,Y_n) где Y_j – середины разрядов гистограммы) и условной энтропии модели системы при условии что система X находиться в состоянии Z_ki т.е. каждый k-ый эффект (1<=k<=m), включенный в модель находиться в i-ом состоянии (1<=i<=l_k).

То что вошло в модель мы в МНКО назвали Z_k , а величина может быть число или в относительных единицах.

По Шеннону: — вероятность нахождения Y в разряде гистограммы j.

Необходимая нам: (5)

(6). q_k – нормировочный множитель(у факторов разные веса)

(7)

l_k – кол-во состояний k-го эффекта, n_k – кол-во разрядов гистограммы (при условии что k-ый фактор в i-ом состоянии). n и n_k не могут отличаться больше чем на один разряд, можно их искусственно приравнять.

(8)

(9) (9=4+5+6+8)¬ Для формулы

Zk1
Zk2
Zki
Zkl

Таблица 3.3 Модель в виде парной гистограммы.

Можно вероятность заменить частностью, если объем выборки достаточно большой.

— попадания в клетку относительно строки.

(10) (нормир.коэфф.= весовой коэфф. / сумму коэфф.) годиться только в относительных координатах для МНКО необходимо что-то другое. Можно воспользоваться критеринм Стьюдента (нормированная величина), но это не совсем честно: (11)

(12) Для МНКО.

Чем полнее гистограмма или таблица 3.3, тем точнее получаем информацию. МНКО, ПФЭ – 30-35%; МНК – 35-40% (при соблюдении всего); МНКО – 45% информации. После извлечения информации из таблицы исходных данных там еще много чего осталось.