Компоненты дисперсии и смешанная модель ANOVA/ANCOVA

• Основные идеи
  • Свойства случайных эффектов
  • Свойства компонент дисперсии
• Оценивание компонент дисперсии (технический обзор)
  • Оценивание дисперсии случайных факторов
  • Оценивание компонент дисперсии
  • Проверка значимости компонент дисперсии
  • Оценка внутриклассовой корреляции

Основные идеи

В некоторых исследованиях иногда ошибочно предполагается, что достаточно только проделать некоторые действия с уровнями независимых переменных и оценить соответствующие отклики зависимых переменных. Независимые переменные, уровни которых определяются исследователем, называются фиксированными эффектами. Другой тип эффектов, часто вызывающий интерес исследователей, представляют случайные эффекты. Предполагается, что уровни фактора этого типа случайным образом выбраны из генеральной совокупности всех возможных уровней. В исследовательской работе иногда не представляется возможным осуществлять какие-либо действия с независимыми переменными, участвующими в анализе. Выходом является рассмотрение данных переменных как случайных. Например, генетический набор особей различных видов в настоящий момент не может быть полностью изменен в результате генетических экспериментов, поэтому генетик не имеет возможности полностью воссоздать картину воздействия различных комбинаций генов на здоровье, поведенческие характеристики и т.п. для обследуемой особи. В качестве еще одного примера, рассмотрим задачу производителя, который желает исследовать компоненты дисперсии характеристик какого-либо продукта, производящегося с помощью некоторого набора случайно выбранных станков, которыми управляли некоторые случайно выбранные операторы. Статистический анализ случайных эффектов основан на модели случайных эффектов, если все независимые переменные являются случайными эффектами, или на смешанной модели, если некоторые эффекты предполагаются случайными, а некоторые являются фиксированными.

Свойства случайных эффектов. Предположим, что вы располагаете данными об ущербе, который нанесен насекомыми-вредителями различным сортам зерновых. В данном эксперименте вы, по техническим причинам, не можете исследовать все существующие сорта зерновых, поэтому вы случайно выбираете из всей совокупности сортов зерновых только четыре сорта. Обследуется ущерб не более чем для четырех участков, на которых произрастает один из рассматриваемых сортов. Ущерб оценивается в баллах от 0 (нет ущерба) до 10 (огромный ущерб). Следующие данные представлены в работе Milliken и Johnson (1992, стр. 237).

Для определения компонент дисперсии по сопротивлению воздействию насекомым для переменных Сорт и Участок применим вначале модель дисперсионного анализа (ANOVA). Несколько неожиданным является то, что результаты для переменной Сорт в модели дисперсионного анализа совпадают для случая, когда данная переменная полагается фиксированным фактором, и для случая, когда данная переменная полагается случайным фактором (учитывая то, что используется сумма квадратов типа I, и зная, что переменная Сорт вычисляется первой). Таблица, следующая далее, показывает результаты анализа, смешанной модели ANOVA, в которой рассматривая переменную Сорт как фиксированный эффект, игнорируя переменную Участок (т.е., рассматривая вариацию участок на участок как меру случайной ошибки).

В той же модели можно рассматривать переменную Сорт как фиксированный эффект, а переменную Участок как случайный эффект. Таблица, представленная ниже, показывает результаты анализа данной смешанной модели.

В следующей таблице представлены результаты анализа модели со случайными эффектами, в которой обе переменные Участок и Сорт рассматриваются как случайные эффекты.

Как следует из таблиц дисперсионного анализа, критерии значимости для переменной Сорт имеет один и тот же уровень для всех трех моделей. Однако если вычислить компоненты дисперсии, то различие между смешанной моделью (рассматривающей Участок как фиксированный эффект) и случайной моделью (рассматривающей Участок как случайный эффект) становится очевидна. Таблица, представленная ниже, показывает оценки компонент дисперсии для смешанной модели, рассматривающей переменную Участок как фиксированный эффект.

Следующая таблица показывает оценки компонент дисперсии когда переменные Сорт и Участок рассматриваются как случайные эффекты.
Компоненты дисперсии (wheat.sta)

Очевидно, различие между данными наборами оценок состоит в том, что компонента дисперсии для переменной Сорт вычисляется только, если анализ проводится с помощью модели случайных эффектов. Это отражает основное отличие между фиксированным и случайными эффектами. Предполагается, что вариация уровней случайного фактора является представительной для вариации популяции всевозможных уровней в целом. Таким образом, по наблюдаемым уровням фактора можно оценить его дисперсию. Еще более важным является то, что ковариация между уровнями случайного фактора и откликами зависимой переменной может быть использована для оценки компоненты дисперсии зависимой переменной, которая обусловлена рассматриваемым случайным фактором. Напротив вариация уровней фиксированных факторов произвольно выбирается исследователем (т.е. исследователь может выбрать столько уровней фиксированного фактора, сколько ему нужно). Следовательно, вариация фиксированного фактора не может быть использована ни для разумной оценки дисперсии, ни для разумной оценки ковариации. Имея в виду описанную разницу между фиксированными и случайными эффектами, рассмотрим более подробно особенности компонент дисперсии.

Свойства компонент дисперсии. Следующий пример иллюстрирует применение языка STATISTICA BASIC, если у вас не имеется доступа к системе STATISTICA, вы можете воспользоваться любой другой язык программирования, (например, Visual BASIC).

Чтобы лучше разобраться с понятием компонент дисперсии: сгенерируем файл данных с заранее известными компонентами дисперсии, затем с помощью модуля Компоненты дисперсии и смешанная модель ANOVA/ANCOVA оценим компоненты дисперсии рассматриваемых данных Создадим новый файл данных с 2 переменными и 500 наблюдениями. Затем составим следующую программу на языке STATISTICA BASIC .

Данная программа размещает числа от 1 до 50 в первую переменную рассматриваемого файла данных. Данные числа образуют 50 подвыборок по 10 элементов в каждой. Обратите внимание на то, что в начале программы случайные эффекты определяются как случайные числа, распределенные нормально с параметром стандартного отклонения равным 2 (дисперсия равна 2*2=4). Ошибка задается случайными числами, которые распределены по нормальному закону с параметром стандартного отклонения равным 1 (дисперсия равна 1). Затем, каждое значение зависимой переменной вычисляется как сумма двух случайных чисел, независимых и распределенных по нормальному закону, одно из данных чисел является значение ошибки, а другое обуславливает значение случайного эффекта (т.е. случайное число для соответствующего уровня случайного эффекта).

Когда вы будете анализировать созданные таким образом данные, рассматривая переменную 1 как случайный фактор и, вычисляя компоненты дисперсии (выберите любой метод оценки), то вы будете получать оценки обычно близкие к 4 для случайного фактора и к 1 для ошибки.

Если вы сочтете возможным немного поэкспериментировать с данной программой, например, рассмотреть меньшее количество подвыборок (например, три), то вы обнаружите существенное отклонение вычисляемых оценок от тех, которые были "зашиты" в программу (т.е. 4 и 1). Это иллюстрирует тот факт, что для небольшого количества выборок оценки компонент дисперсии недостаточно надежны, что является результатом увеличения ошибки. Вы можете использовать данную программу для исследования зависимости между числом уровней случайного фактора и надежностью оценок.

Оценивание компонент дисперсии (технический обзор)

Основной целью оценивания компонент дисперсии является вычисление ковариации между случайными факторами и зависимой переменной. В зависимости от метода, выбранного для оценки компонент дисперсии, вычисляются дисперсии случайных факторов, а также критерии значимости, чтобы проверить являются ковариации между случайными факторами и зависимой переменной отличными от нуля.

Оценивание дисперсии случайных факторов. Метод дисперсионного анализа (ANOVA) предоставляет интегрированный подход к оцениванию компонент дисперсии, так как позволяет оценить дисперсии случайных факторов, компоненты дисперсии зависимой переменной, обусловленные случайными факторами, а также проверить, значимо или нет компоненты дисперсии отличаются от нуля. Метод ANOVA начинает вычислять дисперсию случайных факторов с построения матрицы Суммы квадратов и смешанных произведений (SSCP) для независимых переменных. Из матрицы Суммы квадратов и смешанных произведений для независимых случайных факторов затем удаляется влияние фиксированных эффектов, оставляя, как это требуется для смешанной модели, случайные эффекты независимыми от фиксированных эффектов (см., например, Searle, Casella и McCulloch, 1992). Полученная таким образом матрица Сумм квадратов и смешанных произведений для каждого случайного фактора затем делится на соответствующее число степеней свободы с целью получить элементы матрицы Ожидаемый MS. Ненулевые внедиагональные элементы рассматриваемой матрицы для случайных эффектов отражают степень смешивания, которая должна быть учтена при вычислении дисперсии для каждого фактора. В файле wheat.sta, рассматривая переменные Сорт и Участок как случайные эффекты, обратите внимание на то, что соответствующий элемент матрицы Ожидаемый MS для этих двух факторов указывает на наличие некоторой степени смешивания. Ниже приведена таблица Ожидаемых средних квадратов.

Элементы матрицы ожидаемых средних квадратов используются для оценки дисперсии случайных эффектов, приравниванием соответствующих значений дисперсий соответствующим значениям ожидаемых средних квадратов. Например, оценка дисперсии для переменной Сорт, используя сумму квадратов типа I вычислялась бы как 3.179487 умножить на средний квадрат для переменной Сорт плюс 1, умноженная на средний квадрат для переменной Участок, плюс 1, умноженная на средний квадрат для Ошибки.

Однако подход дисперсионного анализа для вычисления компонент дисперсии, однако такой подход не лишен некоторых вычислительных проблем (т.е. оценки, полученные при использовании метода дисперсионного анализа, в общем случае являются смещенными, а также могут быть отрицательными, что противоречит определению дисперсии, которая всегда положительна). В качестве альтернативы модели дисперсионного анализа для получения оценок используется метод максимального правдоподобия. Метод максимального правдоподобия базируется на использовании квадратичных форм для оценки компонент дисперсии и обычно, хотя и не всегда, в нем применяется некоторая итеративная процедура для поиска решения. Возможно, самой простой разновидностью метода максимального правдоподобия является метод MIVQUE(0). MIVQUE(0) расшифровывается как метод, в результате применения которого получаются квадратичные несмещенные оценки с минимальной дисперсией (Minimum Variance Quadratic Unbiased Estimators). Так как в MIVQUE(0) отсутствует взвешивание случайных эффектов (поэтому 0 является аргументом MIVQUE), то итеративный поиск решения для оценки компонент дисперсии применять не надо. MIVQUE(0) в первую очередь вычисляет элементы матрицы Квадратичных сумм квадратов (SSQ). Элементы матрицы SSQ для случайных эффектов определяются как суммы квадратов сумм квадратов и смешанных произведений для каждого случайного эффектов в рассматриваемой модели (после исключения влияния фиксированных эффектов). Элементы данной матрицы сродни элементам матрицы ожидаемых средних квадратов, которая используется для оценки ковариаций между случайными факторами и зависимой переменной. Матрица SSQ для файла данных wheat.sta показана ниже. Обратите внимание на то, что ненулевые внедиагональные элементы для переменных Сорт и Участок вновь демонстрируют некоторую степень смешивания.

Методы максимума правдоподобия и ограниченного максимума правдоподобия с точки зрения вычисления компонент дисперсии тесно связаны с MIVQUE(0). В данной программе методы МП и ограниченный МП используют оценки, полученные в результате работы метода MIVQUE(0), в качестве начальных входных параметров для соответствующей итеративной процедуры вычисления компонент дисперсии. Следовательно, элементы матрицы SSQ используются как стартовые оценки ковариаций между случайными факторами и зависимой переменной в методах МП и ограниченного МП.

Оценивание компонент дисперсии. Методы модели дисперсионного анализа для оценивания компонент дисперсии связаны с нахождением решения для системы уравнений, задающей соотношения между оцененными дисперсиями и ковариациями случайных факторов и оцененными ковариациями между случайными факторами и зависимой переменной. Решение такой системы определяет компоненты дисперсии. В таблице снизу показаны оценки сумм квадратов типа I для компонент дисперсии файла данных wheat.sta.

Компоненты дисперсии, полученные методом MIVQUE(0), вычисляются обращением соответствующей подматрицы матрицы SSQ, которая не включает зависимую переменную, с последующим умножением полученной матрицы на вектор-столбец зависимой переменной. Это равносильно решению системы уравнений, которая связывает зависимую переменную со случайными независимыми переменными, принимая во внимание ковариации между независимыми переменными. Результаты оценивания по методу MIVQUE(0) для файла данных wheat.sta представлены в следующей таблице.

Оценки компонент дисперсии для МП и ограниченного МП вычисляются в результате работы итеративной процедуры, которая последовательно оптимизирует оценки параметров для эффектов в модели. Ограниченный МП отличается от МП тем, что в данном методе максимум функции правдоподобия находится только для случайных эффектов, т.е. решение при ограничениях. В методах МП и ограниченного МП итеративное решение находится в результате подбора весов случайных эффектов, максимизирующих функцию правдоподобия на рассматриваемых данных. Результаты оценки по методу MIVQUE(0) используются как входные стартовые параметры для итерационных алгоритмов МП и ограниченного МП, поэтому данные три метода очень близки. Статистическая теория, лежащая в основе вычисления компонент дисперсии методом максимального правдоподобия, является достаточно продвинутой (работа Searle, Casella и McCulloch, 1992, рекомендуется в качестве авторитетного источника). Реализация алгоритмов максимального правдоподобия на практике связана с многочисленными вычислительными трудностями (см., например, Hemmerle & Hartley, 1973, а также Jenrich & Sampson, 1976, где описана реализация данных алгоритмов). Отметим, что трудности вычислительной реализации данных алгоритмов могут привести к получению оценок компонент дисперсии, которые могут лежать вне заданного пространства параметров, а также к сходимости к неоптимальным решениям или получению несостоятельных результатов. Milliken и Johnson (1992) отмечают все эти проблемы с коммерческим программным обеспечением, которое они использовали для вычисления компонент дисперсии.

Основная идея, лежащая в основе методов МП и ограниченного МП, состоит в том, что необходимо подобрать веса для случайных эффектов так, чтобы минимизировался взятый со знаком минус натуральный логарифм функции правдоподобия (поскольку, функция правдоподобия изменяется от 0 до 1, то, найдя минимум для ее натурального логарифма, взятого со знаком минус, мы найдем максимум функции правдоподобия). Значения логарифма функции правдоподобия в методе ограниченного МП и соответствующие оценки компонент дисперсии на каждом шаге итерации для файла данных wheat.sta вы найдете в таблице Отчет об итерациях, которая приведена ниже.

Значения логарифма функции правдоподобия в методе МП и соответствующие оценки компонент дисперсии на каждом шаге итерации для файла данных wheat.sta вы найдете в таблице Отчет об итерациях, которая приведена ниже.

Как можно видеть, оценки для компонент дисперсии, полученные с помощью различных методов, очень похожи. В общем, компоненты дисперсии, полученные различными методами, согласуются достаточно хорошо (см., например, Swallow & Monahan, 1984).

Проверка значимости компонент дисперсии. Когда для оценивания параметров используются методы максимального правдоподобия, стандартные методы проверки значимости не применимы. В дисперсионном анализе для проверки значимости оценок применяется разложение сумм квадратов с последующим исследованием отношений средних квадратов, такая методика неприменима для квадратичных методов оценивания. Отметим также, что для модели дисперсионного анализа применяется стандартный метод проверки значимости оценок с учетом смешивания случайных эффектов.

Для проверки значимости в смешанной и случайной модели оценка дисперсии ошибки должна быть построена так, чтобы все источники случайной дисперсии были бы учтены, за исключением дисперсии интересующего исследователя случайного эффекта. Такое построение производится методом синтеза знаменателя (Satterthwaite, 1946); данный метод осуществляет поиск линейных комбинаций возможных источников случайной дисперсии, которые выступают в качестве оценки ошибки, используемой для проверки значимости соответствующей оценки для рассматриваемого эффекта. В таблице, приведенной ниже, вы найдете коэффициенты, которые получаются в результате поиска выше упомянутых линейных комбинаций, используемые для проверки случайных эффектов Сорт и Участок.

Значения этих коэффициентов указывают на то, что средний квадрат для Сорта должен быть протестирован против среднего квадрата для Участка, а средний квадрат для Участка должен быть протестирован против среднего квадрата ошибки. Возвращаясь вновь к таблице ожидаемых средних квадратов, становится очевидным, что метод синтеза знаменателя правильно идентифицировал ошибку для проверки эффектов Сорт и Участок. Хотя мы рассмотрели достаточно простой пример, в более сложных случаях при наличии множественного смешивания между случайными эффектами метод синтез знаменателя может определить не столь очевидные с первого взгляда компоненты ошибки для тестирования оценок случайных эффектов.

При вычислении критериев значимости случайных эффектов отношения соответствующих Средних квадратов используются для вычисления F статистик и p-величин. Заметим, что в более сложных случаях степени свободы для случайных эффектов могут быть дробными, а не целыми, это обусловлено тем, что только часть источников дисперсии была использована для синтеза соответствующих компонент ошибки, при проверке значимости оценок случайных эффектов. Ниже представлена таблица результатов дисперсионного анализа (ANOVA) для случайных эффектов Сорт и Участок. Отметим, что для рассматриваемого простого примера результаты, полученные ранее дисперсионным анализом, который рассматривал Участок как случайный эффект, вложенный в Сорт, совпадают с результатами, приведенными ниже.

Как показано в таблице, эффект Сорт значим с p < 0.05, но, как и предполагалось, эффект Участок не может быть проверен на значимость, так как является основным источником подобного анализа. Если бы имелись данные о разновидностях растений, высаженных на каждом участке, то проверка значимости эффекта Участок была бы возможна.

Критерии значимости компонент дисперсии для метода MIVQUE(0) в общем случае не могут быть построены, за исключением некоторых специальных случаев (см. Searle, Casella и McCulloch, 1992). Асимптотические (на больших выборках) критерии значимости компонент дисперсии для методов МП и ограниченного МП могут быть построены для оценок параметров на последнем шаге итерационного алгоритма. В таблице, представленной ниже, отображены результаты вычисления асимптотических (для больших выборок) тестов на значимость для оценок, полученных методом ограниченного МП на данных файла wheat.sta.

В таблице, представленной ниже, отображены результаты вычисления асимптотических (для больших выборок) тестов на значимость для оценок, полученных методом МП на данных файла wheat.sta.

Необходимо отметить, что асимптотические критерии значимости оценок компонент дисперсии, полученные методами МП и ограниченного МП, состоятельны только на больших выборках, что, очевидно, не так для данных файла wheat.sta. Для рассматриваемых данных оба теста указывают на то, что компонента дисперсии переменной Сорт не отличается значимо от нуля.

Основные сведения об использовании дисперсионного в линейных моделях см. в разделе Элементарные понятия статистики.

Оценка внутриклассовой корреляции. Заметим, что если разделить компоненты дисперсии для случайных эффектов в модели на сумму всех компонент (включая компоненту ошибки), то полученные числа (в виде процентов) являются коэффициентами внутриклассовой корреляции для соответствующих эффектов.

(c) Copyright StatSoft, Inc., 1984-2001
STATISTICA является торговой маркой  StatSoft, Inc.