Построение таблицы исходных данных и ее первичная обработка


В практике научных работ нередки случаи, когда объект исследования характеризуется множеством показателей, которые можно измерить и зафиксировать, но нельзя произвольно изменять. Такие задачи встречаются при исследовании технологических процессов производства изделий, показателей состояния организма людей, химических и физико-механических показателей сельскохозяйственной продукции и т.п. Для фиксации цифровых значений таких показателей и упорядочения первичной собранной информации удобно использовать форму таблицы, которую будем называть таблицей исходных данных.

Таблица исходных данных представляет собой матрицу размером N*M, где М факторов (столбцы) соединены в многомерную выборку объемом N (строки). Такая матрица может содержать значительный объем информации, извлечь которую является сложной статистической задачей.

Практика работы с таблицами исходных данных такого пассивного эксперимента показала, что если число столбцов М ограничивается только списком факторов (который может достигать нескольких сотен наименований), то объем многомерной выборки N (длина таблицы, количество строк матрицы) не может быть произвольным. Интуитивно ясно, что чем больше факторов, тем длинее должна быть таблица. Экспериментально установлено, что таблица результатов пассивного эксперимента является достаточно длинной, если на каждый исследуемый независимый фактор в ней приходится 10-15 строк. Однако теми же исследованиями установлено, что не все факторы воздействуют на целевую функцию (выходной показатель качества изделия, вообще, показатель – цель исследования), то есть, в большинстве случаев исследователь имеет дело со сверхнасыщеным планом, влияние части факторов которого переходит в шум эксперимента. Это означает, что размерность матрицы по количеству факторов может быть существенно уменьшена. Кроме того, новейшие теоретические исследования показали, что для измерений массовой однотипной продукции, изготовленной в едином (или подобном) технологическом процессе, не соблюдается одно из фундаментальных свойств теории вероятности – требование состоятельности оценок выборочных распределений, суть которого заключается в том, что оценка сходится по вероятности к истинному значению (а ошибка оценки к нулю) при неограниченном возрастании числа измерений. На практике определяющим становится влияние всегда присутствующих малых корреляций между ошибками измерений, особенно для групповых или иных связных технологических операций, которое и приводит к нарушению теоретического свойства состоятельности. Другими словами, обработка нескольких тысяч однотипных измерений не уменьшает, а увеличивает ошибку оценки. Следовательно, существует конечное, не слишком большое число измерений, сверх которого уточнение оценки при тех же исходных условиях становится бессмысленным. Эмпирически установлено, что такое число лежит в пределах 250-300 измерений.

Таким образом, размерность таблицы исходных данных может меняться от двух до нескольких десятков, сотен и даже тысяч столбцов при длине таблицы до 300 строк. Такая длинная таблица с множеством чисел может содержать и ошибочные данные, поэтому перед дальнейшей работой все столбцы должны быть проверены на грубые промахи любым из известных способов, а выявленные промахи удалены, иначе статистический анализ может дать неверные выводы.

clip_image002

Так как каждый столбец таблицы исходных данных есть выборка соответствующего фактора объемом N, то проверку на отсутствие в числовых данных грубых промахов можно совместить с проверкой соответствия распределения факторов с нормальным законом (рис. 3.1). Проверка соответствия каждого фактора

Рис. 3.1 . Пример определения закона распределения параметра.

нормальному закону распределения чрезвычайно важна, так как большинство методов математической статистики основаны на использовании этого закона. Особенно важно такое соответствие для целевых функций, так как практически все методы теории планирования эксперимента основаны на предпосылке, что целевая функция распределена именно по нормальному закону. Несоответствие целевой функции нормальному закону заставляет исследователя искать ее преобразование, согласующееся с нормальным законом. Это требование основано на том, что конечной целью обработки таблицы многомерных данных является математическая модель, которая представляет собой наиболее компактное представление содержащейся в таблице в неявном виде конкретной информации.

Загрузка...