6.4. метод головних компонентів

Цей метод призначений для оцінювання моделей великого розміру, а також для оцінки параметрів моделі, якщо до неї входять мультиколіне­арні змінні.

Існують різні модифікації методу головних компонентів, які різняться між собою залежно від того, що береться за основу при визначенні ортогональних змінних — коваріаційна чи кореляційна матриця незалежних змінних.

Нехай маємо матрицю Х, яка описує незалежні змінні моделі. Оскільки спостереження, що утворюють матрицю Х, як правило, корельовані між собою, то можна поставити питання про кількість реально незалежних змінних, які входять до цієї матриці.

Точніше, ідея методу полягає в тому, щоб перетворити множину змінних Х на нову множину попарно некорельованих змінних, серед яких перша відповідає максимально можливій дисперсії, а друга — максимально можливій дисперсії в підпросторі, який є ортогональним до першого, і т.д.

Нехай нова змінна запишеться:

У матричній формі

                                (6.10)

де  — вектор значень нової змінної;  — m-вимірний власний вектор матриці .

Суму квадратів елементів вектора подамо у вигляді:

                                (6.11)

Звідси необхідно вибрати такий вектор , який максимізуватиме , але на вектор  треба накласти обмеження, щоб він не став дуже великим. Тому ми його нормуємо, наклавши обмеження:

                                (6.12)

Оскільки Z1 = Xa1, то максимізація a1 буде максимізувати Z1, а Z1 характеризує вклад змінної Z1 в загальну дисперсію.

Задача тепер полягає в тому, щоб максимізувати  за умов (6.12). Побудуємо функцію Лагранжа:

де  — множник Лагранжа.

Узявши , дістанемо

                .               (6.13)

Звідси бачимо, що  — власний вектор матриці , який відпові­дає характеристичному числу .

Підставивши значення (6.13) у (6.11), дістанемо:

                                (6.14)

Отже, потрібно для значення  вибрати найбільший характеристичний корінь матриці . За відсутності мультиколінеарності матриця  буде додатно визначеною і, відповідно, її характеристичні корені будуть додатними. Першим головним компонентом матриці X буде вектор Z1.

Визначимо тепер . При цьому вектор  має максимізувати вираз  за таких умов:

1) ;

2)

Друга умова забезпечить відсутність кореляції між  і , бо коваріація між  і  подається у вигляді , причому вона дорівнює нулю лише тоді, коли .

Для розв’язування цієї задачі функцію Лагранжa запишемо у вигляді

де  і — множники Лагранжa.

Узявши  і , дістанемо  де для значення  треба вибрати другий за величиною характеристичний корінь матриці .

Цей процес триває доти, доки всі m характеристичних значень матриці  не будуть знайдені; знайдені m власних векторів матриці  об’єднаємо в ортогональну матрицю:

.

Отже, головні компoненти матриці X задаються матрицею

                                (6.15)

розміром  n ´ m.

                .               (6.16)

Вираз (6.16) означає, що головні компоненти дійсно попарно некорельовані, а їх дисперсії визначаються так:

                                (6.17)

Співвідношення  характеризують пропорційний внесок кожного з векторів у загальну варіацію змінних X, причому оскільки ці компоненти ортогональні, сума всіх внесків дорівнює одиниці.

Зауважимо, що вектори вихідних даних (матриця X) повинні мати однакові одиниці вимірювання, бо в противному разі дуже важко дати змістовне тлумачення поняттю загальної варіації змінних X і розкладанню цієї варіації на складові, виконаному відповідно до внеску кожного з векторів, якими подаються головні компоненти.

Іноді буває важко надати конкретного змісту знайденим головним компонентам. Для цього можна обчислити коефіцієнти кореляції кожного компонента з різними змінними X. Так, наприклад, візьмемо перший головний компонент Z1 і знайдемо коефіцієнти його кореляції її з усіма змінними X. Для цього потрібно обчислити перехресні добутки між головним компонентом Z1 і кожною з пояснювальних змінних X. Оскільки

маємо коефіцієнти кореляції для першого компонента:

                                (6.18)

У загальному випадку коефіцієнт кореляції між  і

                                (6.19)

Частка різних головних компонентів в варіації  визначається показником , а оскільки компоненти не корелюють один з одним, то сума їх часток дорівнює одиниці.

Визначивши всі головні компоненти і відкинувши ті з них, які відповідають невеликим значенням характеристичних коренів, знаходимо зв’язок залежної змінної Y з основними головними компонентами, а далі з допомогою оберненого перетворення повертаємося від параметрів моделі з головними компонентами до знаходження оцінок параметрів змінних X.

Приклад 6.2. Нехай для п’яти змінних матриці X знайдено п’ять головних компонентів. Порівнявши їх значення, вибираємо лише два:

                                (6.20)

Тоді модель, що характеризує зв’язок між Y, Z1 i Z2, має вигляд:

                                (6.21)

Підставимо в (6.21) значення головних компонентів із (6.20):

                                (6.22)

У разі, коли було б збережено всі головні компоненти, коефіцієнти рівняння (6.22) були б такі самі, як коефіцієнти, знайдені на основі прямої регресії Y на всі змінні X.

Розглянемо, як обчислити параметри моделі з головними компонентами:

Звідси                    (6.23)

Оскільки , то, підставивши цей вираз у (6.23), дістанемо:

тобто

  . . . . . . . . . .

, тому  нормально і незалежно розподілені навколо b.

Алгoритм головних компонентів

Крок 1. Нормалізація всіх пояснювальних змінних:

Крок 2. Обчислення кореляційної матриці

Крок 3. Знаходження характеристичних чисел матриці r з рівняння

де  E — одинична матриця розміром m ´ m.

Крок 4. Власні значення  упорядковуються за абсолютним рівнем вкладу кожного головного компонента до загальної дисперсії.

Крок 5. Обчислення власних векторів  розв’язуванням системи рівнянь

за таких умов:

Крок 6. Знаходження головних компонентів — векторів

Головні компоненти мають задовольняти умови:

;

;

Крок 7. Визначення параметрів моделі  :

Крок 8. Знаходження параметрів моделі :