Цель и метод планирования экспериментов

План экспериментального имитационного моделирования представляет собой метод получения с помощью эксперимента необходимой информации, стоимость которого зависит от способа сбора и обработки данных. Эффективность использования ресурсов зависит от плана эксперимента. План определяет порядок статистического анализа его результатов и ценность разрешения с помощью эксперимента поставленных вопросов (без чрезмерных затрат времени и ресурсов).

Из каждого эксперимента необходимо извлекать максимально возможное количество информации, так как экспертное моделирование требует затрат труда и времени экспериментатора и затрат машинного времени. С этой целью необходимо планировать не только саму модель, но и порядок ее использования.

После того как установлены цели эксперимента, определена моделируемая система и принято решение воспользоваться машинным имитационным моделированием, полезно на этом этапе разработки машинной модели произвести планирование предстоящего эксперимента. Это позволит выбрать подходящую модель с тем, чтобы целенаправленно и эффективно получать требуемые данные.

Главная же функция планирования - это стратегическое и тактическое планирование. В зависимости от конкретных целей эксперимента для анализа его результатов могут потребоваться различные методы. Наиболее широко распространены следующие типы экспериментов.

1.   Сравнение средних и дисперсий различных альтернатив. Такие эксперименты являются однофакторными экспериментами. Они просты и решают вопросы о размере выборки,  начальных условий и наличии или отсутствии автокорреляции (о них скажем позднее);
2. Определение важности учета или значимости влияние переменных и ограничений,   наложенных   на   эти   переменные. Основными  методами истолкования результатов этих экспериментов являются регрессивный и дисперсионный анализы результатов.
3. Отыскание оптимальных значений на некотором множестве возможных значений переменных. Такие эксперименты используют последовательный или поисковый методы построения.

При планировании и построении модельных экспериментов имеем дело с двумя видами переменных, которые будем называть факторами и откликами (входные и выходные переменные; независимые и зависимые переменные). Для выбора плана эксперимента необходимо: определить критерий планирования эксперимента; синтезировать модель; сравнить полученную модель с существующими моделями, со стандартными планами и выбрать оптимальный план.

В соответствие с целями экспериментов, методами анализа результатов и построения модели вид модели определяется подобранными критериями планирования, в которые входят:

-число варьируемых факторов;
-число уровней (значений) каждого фактора (являются ли уровни факторов качественными или количественными, фиксированными или случайными);
-необходимое число измерений отклика (выявлять ли влияние факторов друг на друга, каков вид ограничений, требуемая точность).

При экспериментировании имеют дело с двумя видами переменных, обработка которых ведется разными способами. Количественная переменная — переменная, величина которой может быть измерена с помощью интервальной шкалы. Качественная — переменная, величина которой не может быть измерена количественно.

При имитационном моделировании на этапе содержательного описания системы строится структурная модель эксперимента. Определяется число факторов и уровней, что является критерием планирования. На этом этапе не должно быть ограниченности числа возможных измерений, возникающих вследствие ограниченности ресурсов. На этапе построения формализованной схемы строится функциональная модель эксперимента с учетом ограничений. Поэтому структурная модель исходит того, что должно быть сделано, а функциональная — что может быть сделано. Структурная мод� �ль эксперимента имеет вид  Ns=(q1)(q2)…(qk), где N - число элементов эксперимента, к — число факторов эксперимента, qi — число уровней эксперимента.

При выборе факторов необходимо решить, какие отклики нас интересуют, то есть какие из них необходимо измерить, а затем какие факторы влияют на эти отклики. Факторы могут быть постоянны и играть роль граничных условий; переменны, но неуправляемы и вносить ошибку в эксперимент; измеряемы и управляемы.

Поэтому необходимо знать заранее, какие переменные в процессе проектирования и проведения эксперимента необходимо измерять и контролировать. Число уровней фактора следует брать минимально возможным, но достаточным для достижения цели эксперимента. Можно получить значительные упрощения, если принять число уровней всех факторов одинаковыми, равным двум или трём, и Ns=qk . Например, если нас интересуют линейные эффекты, достаточно выбрать два уровня на концах интервала области её изменения, если квадратичные — то три, для кубического 4 и т.д. Число � �ровней равно минимальному числу необходимых для восстановления функции.

Функциональная модель (ФМ) определяет, сколько необходимо иметь различных информационных точек, которые должны служить действительными измерителями отклика. ФМ совершенна, если в измерении отклика участвуют все элементы. ФМ несовершенна, если Nf<Ns .

Идеален случай первый, но ФМ выбирает компромисс между желанием и существующими ограничениями (на время, средства и т.д.). Например, полное число машинных прогонов:
N=pqk,
где k — число факторов, q — число уровней факторов, p — число повторений.
Наиболее прост в планировании однофакторный эксперимент (в котором изменяется лишь единственный фактор). Число наблюдений определяется допустимыми затратами, желаемой мощностью проверки или статистической значимостью результатов:
Xij=M+Tj+
где Хij — i-е наблюдение (i = 1 ... n) на j-м уровне (j = 1 - k); М — общее влияние всего эксперимента; Тj — влияние j-го режима;  — случайная ошибка i-го наблюдения на j-м режиме (предполагается нормально распределенной случайной величиной с a=0 и T2). Если фактор имеет два уровня, то можно применять процедуры прямой проверки гипотез с использованием стандартных критериев (2, К-С и др.).

Факторный анализ является одним из мощных средств планирования эксперимента. Рассмотрим случай наличия двух и более факторов, влияние которых на отклик должен исследовать экспериментатор.

Традиционный метод — фиксация всех факторов, кроме одного, на некоторых уровнях и вариации уровня этого фактора. Факторы изменяются и исследуются поочерёдно.
Большинство описанных в литературе планов основано на использовании дисперсионного анализа для качественных факторов (ДАН) или регрессивного анализа для количественных факторов.

Если фактор имеет больше двух уровней, то используют дисперсионный анализ с нулевой гипотезой Тj = 0 для всех j. Если нулевая гипотеза верна, то наблюдение Хij не зависит от уровня фактора и имеет среднее  и случайную ошибку  Если нулевая гипотеза отвергнута, то применяют ряд других испытаний, делящихся на два вида в зависимости от того, когда (до или после получения данных) производится выбор необходимых уравнений средних величин. Известно, что эксперимент с одним фактором редко обладает достаточной информативностью, если он насчитывает в себе менее 8 выборочных точек на каждом уровне.

Проведем два факторных эксперимента с двумя уровнями каждого фактора.

В первом факторном эксперименте зафиксируем все уровни, кроме одного, и проведём его измерения для 8 точек. Затем поступаем так же со всеми остальными уровнями. Получим симметричный полный факторный эксперимент, где все уровни данного фактора комбинируются со всеми уровнями всех других факторов. Симметричность заключается в том, что все факторы имеют одинаковое число уровней.

Здесь А и В — факторы, х - выборочная точка уровня. Получаем выборку объёмом в 32 выборочные точки.

Во втором факторном эксперименте фиксируем все уровни, кроме двух, и производим их измерения для 4 точек.

За счёт взаимодействия уровней получаем число степеней свободы такое же, как и в первом эксперименте. Поэтому точность вычислений останется прежней, а число выборочных точек уменьшится до 16. Хотя размер выборки сокращён до 16, мы имеем 8 значений уровня А и 8 значений фактора В.

Основная трудность при быстром и точном выявлении существенных переменных системы заключается в том, что число комбинаций переменных катастрофически увеличивается с возрастанием числа переменных. Имея 7 факторов с 2 уровнями, получим 27=128 выборочных точек без повторений.

Возрастает и число взаимодействий более высокого порядка, так как полный факторный анализ может потребовать слишком много машинного времени. Необходимо располагать методами отбора существенных переменных, то есть отыскивать наиболее существенные переменные, влияющие на отклик.

В методе, производящем лишь часть всех возможных повторений (неполный факторный план), возможно построить серию коротких экспериментов для выявления среди громадного числа переменных наиболее существенных.

После стратегического планирования необходимо провести тактическое планирование. Так как флуктуации присущи всем стохастическим имитационным моделям, то для достижения заданной точности результатов эксперимента необходимо его повторять, каждый раз меняя значения входящих в модель случайных факторов. Поскольку количество прогонов ограничено, необходимо стремиться к получению максимальной информации с помощью небольшого числа прогонов. Необходимо не только получить результаты, но и оценить их точность, то есть степень доверия к тем выводам , которые будут сделаны. Степень точности определяется величиной дисперсии (флуктуации) случайного сигнала. Степень точности можно задать в виде доли стандартного отклонения, либо в процентах от величины среднего значения, либо в абсолютных величинах. Требуемое число повторений можно оценить из соотношения между ожидаемыми среднеквадратичными ошибками и величинами флуктуации (различий между режимами).

Выбор начальных условий

В большинстве стохастических моделей имеются начальные смещения, или кратковременные смещения, или кратковременные начальные условия, которые не характерны для установившегося состояния (которое устанавливается не сразу). Существуют три метода уменьшения влияния начальных условий:

1. Использовать достаточно длинные вычислительные прогоны, чтобы число данных переходного периода было незначительным.
2. Исключить из рассмотрения начальный период прогона.
3. Выбрать для установившегося состояния такое начальное условие, которое ближе к типичному.

Определение размера выборки

При моделировании стохастических систем представляем одну или более переменную вероятностями распределения, в соответствии с которыми распределены их выборочные значения. Объём выборки зависит от величины вероятности и дисперсии этих переменных. Нельзя получить достоверные результаты без определения объема выборки. Для определения объема выборки, необходимой для оценивания параметров с заданной точностью, можно использовать метод доверительных интервалов.
Пусть целью моделирования будет вычисление вероятности p появления случайного события А, определяемого состоянием исследуемой системы. В каждой из N реализаций оно может наступить или не наступить. Количество реализаций N, необходимых для получения оценки m/N с точностью  равно:

На практике p часто неизвестно, поэтому выбирают N0, по результатам N0 реализаций определяют m/N0, а затем окончательно назначают N, принимая p m/N0.
В случае оценки по результатам моделирования среднего значения некоторой случайной величины:

Иногда целесообразно использовать правило автоматической остановки.