Економетрія - Навчальний посібник (Наконечний С.І., Терещенко Т.О., Романюк Т.П.)

3.7. системи лінійних рівнянь

Запишемо систему рівнянь у матричному вигляді

                АХ = В,  (3.32)

де

  

Матриця А є квадратною порядку n; вектор-стовпець Х має розмір n × 1; вектор-стовпець В — порядок n × 1.

Якщо матриця А невироджена, тобто rgA = n і , то система лінійних рівнянь (3.32) має єдиний розв’язок виду

                                 (3.33)

Приклад 3.5. Знайти розв’язок системи

У матричному виді:

AX = B;

  

отже,

.

 = –2 – 15 = –17 — матриця невироджена.

Запам’ятайте: для матриці  обернена матриця має вигляд .

.

Отже,

Розв’язок системи: = 1; = 3.

Розглянемо однорідну систему лінійних рівнянь:

                АХ = 0   (3.34)

Нехай А — квадратна матриця n-го порядку; Х — вектор-стовпець розміру n × 1.

Тривіальний розв’язок має вигляд: . Нетривіальний розв’язок може існувати лише за умови, що визначник матриці А дорівнює нулю:

Коли це так, то система матиме безліч розв’язків. Їх можна нормувати, вимагаючи, наприклад, щоб виконувалася рівність

                                 (3.35)

Приклад 3.6. Знайти нетривіальні розв’язки однорідної системи рівнянь.

                                 (3.36)

  

, це означає, що задана система має нетривіальні розв’язки.

Матрицю А можна записати як систему трьох векторів:

  

Систему (3.36) подамо як лінійну комбінацію вектора :

                                (3.37)

Неважко побачити, що ; розв’язками системи (3.36) будуть і ці самі значення, помножені на будь-які числа, які задовольняють рівняння (3.37). Отже, система векторів  є лінійно залежною, причому розв’язки системи лінійних рівнянь (3.36) є коефіцієнтами лінійної комбінації вектора :

                                (3.38)

3. 8. Характеристичні (власні) корені і власні вектори матриць

Розглянемо систему рівнянь

                                 (3.39)

де  — скаляр; А — квадратна матриця порядку n, X — розміром n × 1.

Систему (3.39) запишемо у вигляді

або

                                (3.40)

Остання система n рівнянь з n невідомими має нетривіальний розв’язок, коли

                 або        (3.41)

Означення 3.21. Рівняння  відносно  називають характеристичним рівнянням матриці А.

Корені цього рівняння l є характеристичними коренями (характе­ристичними числами, власними значеннями) матриці А.

Візьмемо будь-який корінь  характеристичного рівняння (3.41) і підставимо в систему рівнянь (3.40). Дістанемо рівняння

                                 (3.42)

яке має нетривіальний розв’язок, оскільки .

Нехай цим розв’язком є вектор . Такий вектор  є характеристичним, або власним, вектором матриці А, який відповідає характеристичному кореню .

Якщо матриця А має n різних характеристичних коренів, то припускатимемо, що вона має і n різних власних векторів (задачі, які мають кратні характеристичні корені, в економіці зустрічаються рідко).

Власні вектори визначаються з точністю до множення на скаляр. Це не завжди зручно. Тому часто розглядають нормовані власні вектори, тобто такі що:

.

Зауважимо, що коли матриця А в рівнянні (3.40) — симетрична (тобто ), а Х — матриця, кожний стовпець якої є власним вектором цієї матриці, то добуток

                                (3.43)

Отже, якщо власні вектори матриці А розміщені у вигляді стовпців матриці Х, то добуток  перетворює матрицю А на діагональну матрицю, яка має характеристичні корені l на головній діагоналі.

Приклад 3.7. Знайти характеристичні корені матриці А.

Запишемо рівняння  або

    

                                 (3.44)

Запишемо характеристичне рівняння  для системи (3.44):

 

                                (3.45)

Отже,

                .               (3.46)

Нехай матриця А — симетрична, тоді  і характеристичні корені цієї матриці

                .               (3.47)

Підставивши поступово  в систему (3.44), знайдемо власні вектори X1, X2 матриці А.

Приклад 3.8. Знайти характеристичні корені  і власні вектори X1, X2 матриці А:

.

Матриця А симетрична. Для визначення  застосуємо (3.47):

Щоб знайти власні вектори  i , розв’яжемо для кожного  систему рівнянь (3.44).

Нехай,  тоді

                                (3.48)

Нормалізуємо вектор , зводячи його довжину до 1, тобто:

                                (3.49)

Підставимо (3.48) в (3.49):

 

Звідси,  

Власний вектор

                                (3.50)

Для знаходження власного вектора  покладемо .

Система (3.44) запишеться у вигляді

                                (3.51)

Нормалізуємо вектор , звівши його довжину до 1, тобто:

                                (3.52)

Підставивши (3.52) у (3.51), дістанемо:

Власний вектор

                                (3.53)

Зауважимо, що оскільки , то власні вектори X1 і X2 ортогональні, тобто лінійно незалежні:

Перевіримо, чи виконується (3.43):

Отже, співвідношення  справді переводить матрицю А в діагональ­ну матрицю . Це підтверджує правильність наведених обчислень.

3.9. Квадратичні форми

3.9.1. Означення квадратичної форми

Означення 3.22. Квадратичною формою  від n невідомих  називається сума, кожний доданок якої є квадратом одного з цих невідомих або добутком двох різних невідомих:

                                (3.54)

Коефіцієнти членів  розміщені на головній діагоналі матриці А, а інші елементи матриці симетричні і дорівнюють відповідно половинам коефіцієнтів при :

Симетричну матрицю  називають матрицею квадратичної форми. У векторно-матричній формі квадратична форма має вигляд , де ,  A — симетрична матриця.

Розглянемо, наприклад, два випадки.

1. Матриця А має розмір 2 × 2, а саме . Тоді квадратична форма

2. Матриця А діагональна, тобто

У такому разі

— вагова сума квадратів.

Означення 3.23. Квадратичну форму і відповідну їй матрицю А називають додатно визначеною тоді і тільки тоді, коли  для всіх дійсних .

 

Означення 3.24. Квадратичну форму і відповідну їй матрицю називають додатно напіввизначеною, коли  для всіх Х.

Запам’ятайте важливу властивість додатно визначених матриць.

Матриця А додатно визначена тоді і тільки тоді, коли її характеристичні корені (власні значення)  додатні, а саме:

                                (3.55)

Рівняння (3.55) можемо пристосувати для знаходження іншого результату, який корисний при вивченні узагальненого методу найменших квадратів.

Оскільки всі  додатні, можемо задати діагональну матрицю D такого виду:

                                (3.56)

Неважко побачити, що добуток (3.55) на матрицю D ліворуч і праворуч дає одиничну матрицю:

                                (3.57)

Нехай Z = XD, тоді

                                (3.58)

Оскільки матриці Х і D — невироджені, то Z — також невироджена. Виконавши відповідні перетворення, дістанемо:

                                (3.59)

Отже, коли матриця  А  додатно визначена, то можна знайти таку неви­роджену матрицю , що .

3.9.2. Випадкові квадратичні форми

Нехай d — випадковий вектор, А — детермінована симетрична матриця.

Добуток  називають випадковою квадратичною формою, коли коваріаційна матриця d дорівнює  і математичне сподівання M (d) = 0.

Застосувавши оператор математичного сподівання до випадкової квадратичної форми , дістанемо:

                                 (3.60)

де  tr (A) — слід матриці А.

Наведемо властивості випадкової квадратичної форми.

Означення 3.25. 1. Квадратична форма  має розподіл  із k ступенями свободи тоді і тільки тоді, коли А — ідемпотентна матриця (тобто ) і rgA = trA = k .

2. Нехай В — детермінована матриця, така що BA = 0 і . Тоді  і  — незалежні.

3. Якщо  — симетрична матриця, то слід матриці А є сумою її власних значень

4. Усі власні значення ідемпотентної матриці А дорівнюють нулю або одиниці, а саме:

якщо  то ; проте , тобто , оскільки , то . Звідси  або .

5. Матриця  є ідемпотентною, rgA = 1 і матриця Z має таку властивість, що () — квадратна симетрична невироджена матриця.

Приклад 3.9. Нехай ; тоді ;

,

отже, матриця  — невироджена.

.

Визначимо нову матрицю А так:

.

Матриця А — симетрична та ідемпотентна, оскільки . Зауважимо, що ранг матриці А дорівнює 1.

Знайшовши характеристичні корені цієї матриці, тобто розв’язавши рівняння , дістанемо  = 1 і  = 0 кратності 2, що ілюструє виконання властивості 4.

3.10. Диференціювання функції багатьох змінних (градієнт функціі f (x) )

Розглянемо операцію диференціювання функції багатьох змінних f (x1,x2 ... xn), коли змінні задано у формі матриці-рядка, або, що те саме, вектора, тобто X = (x1, x2 ... xn. Тоді можна коротко записати f (x) = (x1, x2 ... xn.

Означення 3.25. Градієнтом функції f(x) (позначається: ) називається вектор, який складається з частинних похідних функції f (x)  за  x1, x2 ... xn:

                                 (3.61)

Нехай потрібно визначити градієнт функції , коли  і .

Тоді

.

Отже, градієнт функції

                .               (3.62)

Узявши до уваги, що , градієнт можна визначити як

.               (3.63)

Далі розглянемо функцію , де A = (aij) — симетрична матриця порядку n і  — n-вимірна матриця-стовпець. Функцію такого типу визначають як квадратичну форму (див.підрозділ. 3.9).

Визначимо градієнт квадратичної форми. Для цього подамо  як скалярний добуток:

 

                           (3.64)

.

Знайдемо компоненти вектора-градієнта.

Перший компонент

.

другий компонент:

 n-й компонент:

Отже, градієнт від квадратичної форми  має вигляд

     (3.65)

Отже, скорочено

                                       (3.66)

3.11. Короткі висновки

1. Матрицею називається таблиця чисел, яка складається з m рядків і n стовпців:

2. Кількість рядків і стовпців матриці визначає її розміпр m × n.

3. Якщо , то матриця — прямокутна; якщо m = n — матриця квадратна порядку n (або m ).

4. Якщо матриця має один стовпець або рядок, то її називають відповідно: матрицею-стовпцем або матрицею-рядком. Загалом такі матриці називають векторами, а саме:

  

5. Якщо матриця А має всі нульові елементи, то вона є нульовою:

6. Квадратна матриця, усі елементи якої, крім елементів головної діагоналі, дорівнюють нулю, називається діагональною:

7. Якщо в діагональній матриці по головній діагоналі стоять одиниці, а саме

то така матриця називається одиничною n-го порядку.

8. Якщо в матриці  поміняти місцями елементи рядків на відповідні елементи стовпців (або навпаки), то дістанемо транспоновану матрицю

9. Квадратна матриця А називається симетричною, якщо .

10. Додавання і віднімання виконується тільки для матриць одного й того самого порядку. Якщо  і  мають однаковий порядок, то матриця суми (різниці) .

11. Матриця будь-якого порядку А може бути помножена на скаляр l:

При множенні матриці А на скаляр виконуються такі закони:

а)

б)

в)

г)

д)

12. Дві матриці А і В можна помножити одна на одну, якщо кількість стовпців першої матриці дорівнює кількості рядків другої матриці. Кожний елемент  матриці-добутку С = АВ є сумою добутків відповідних елементів  і-го рядка на відповідні елементи j-го стовпця:

13. При множенні матриць справджуються такі закони:

а) ;

б) (АВ)С = А(ВС);

в) (А + В)С = АС + ВС;

г) С(А + В) = СА + СВ;

д)

е) АE = EA = A;

є)

14. Добуток матриці  на  дає скаляр

Якщо вектор , то

і

 

15. Квадратна матриця, що задовольняє умову , називається ідемпотентною.

16. Кожна матриця має скалярну характеристику — ранг матриці. Рангом називається максимальна кількість лінійно незалежних векторів-стовпців (рядків) матриці А. Існує й інше означення: найвищий порядок мінора матриці А, який відрізняється від нуля:

m, n – кількість відповідно рядків і стовпців матриці А.

17. Якщо rgA = min(m,n), то матриця А має повний ранг. Для рангу виконуються такі співвідношення:

а) rgA = rg ;

б) rg A = rgA;

в) rgAB  min(rgA, rgB).

г) rg  = n .

18. Для квадратної матриці існують також скалярні характеристики: слід матриці і її визначник (детермінант).

Слідом матриці розмірности (n × n) є сума елементів, що містяться на її головній діагоналі, тобто

Для сліду виконуються такі співвідношення:

а)

б)  (А і В — матриці однакового порядку);

в) tr(AB) = tr(BA);

г)  (коли А — симетрична);

д)

19. Детермінантом (визначником) квадратної матриці А n-го порядку називається алгебраїчна сума членів, кожний з яких містить n спів­множників, узятих по одному і лише по одному з кожного рядка (стовпця) визначника. Позначається:

det A    або .

20. Визначник (n – 1)-го порядку, в якому викреслені і-й рядок і j-й стовпець, називається мінором елемента  і позначається .

21. Мінор , який береться зі знаком , де і — номер рядка, j — номер стовпця елементa , називається алгебраїчним доповненням цього елемента, а саме:

22. Визначник дорівнює сумі попарних добутків елементів будь-якого стовпця (рядка) на їх відповідні алгебраїчні доповнення:

23. Квадратна матриця, для якої , називається невиродженою. Кожна невироджена матриця має єдину обернену матрицю, для якої виконується:

 

Обернена матриця знаходиться з виразу

де  J — приєднaна матриця.

24. Основні властивості оберненої матриці:

1) ;

2) ;

3) ;

4) ;

5) ;

6) .

25. Матриця, для якої , називається ортогональною.

26. Матриці, в яких елементами є окремі підматриці, називаються блоковими:

 

Розбиваючи матрицю на підматриці, слід додержувати таких правил:

— підматриці, що стоять поруч  –  і  –  — повинні мати однакову кількість рядків;

— підматриці, які стоять одна під одною  –  і  –  — повинні мати однакову кількість стовпців.

27. При додаванні (відніманні) блокових матриць, має насамперед виконуватись умова, що порядок відповідних матриць-доданків однаковий.

При множенні двох блокових матриць кількість стовпців першої матриці має дорівнювати кількості рядків другої матриці. З блоковими матрицями операцію множення виконують за тими самими правилами, що й зі звичайними матрицями.

28. Кронеккеровий добуток двох матриць

де            ; .

Якщо матриця  блокова, то .

29. Обернену блокову матрицю знаходимо за формулою Фробеніуса:

,                (3.27)

де ;

30. Детермінант блокової матриці А

31. Система лінійних рівнянь в матричному вигляді записується АХ = В, дe

   

Якщо А — невироджена матриця, то розв’язок системи АХ = В знаходиться як

.

32. Система лінійних рівнянь АХ = 0, називається однорідною. Вона має нетривіальні розв’язки, якщо . Система рівнянь   має нетривіальний розв’язок, якщо  Останнє рівняння називають характеристичним рівнянням матриці А.

33. Корені рівняння  є характеристичними коренями (характеристичними числами, власними значеннями) матриці А.

34. Вектори Xk, які є розв’язком системи  для відповідного характеристичного кореня , називаються власними векторами матриці А. Добуток

де Х — матриця власних векторів А;

 — характеристичні корені матриці А.

35. Квадратична форма  від n невідомих  записується у вигляді:

У векторно-матричному запису квадратичну форму можна подати так:

де , А — симетрична матриця.

36. Якщо d — випадковий вектор, для якого виконується: , то  — називається випадковою квадратичною формою. Для випадкової квадратичної форми

37. Якщо  — симетрична матриця, то слід матриці А є сумою її власних значень:

Усі власні значення ідемпотентної матриці А дорівнююють або нулю, або одиниці. Матриця  є ідемпотентна, причому ранг її дорівнює 1.

38. Градієнтом функції f (x), коли x = (x1, x2 ... xn) є вектор

.

39. Якщо функція , то градієнт її

.

40. Градієнт квадратичної форми  дорівнює .

3.12. Запитання та завдання для самостійної роботи

1. Задані матриці:

   

    

Знайдіть матриці суми (різниці): . Поясніть, чому не існує суми (різниці) матриць: .

2. Для матриць із завдання 1 знайдіть добутки: BA; CF; CK; AE; DE. Поясніть, чому не існує добутків AB; CD; FC; FB; KA; KE.

3. Для матриць із завдання 1 знайдіть транспоновані до них матриці.

4. Із множини матриць завдання 1 знайдіть симетричні. Яка ознака симетричної матриці?

5. Покажіть, що для матриць із завдання 1 справджується тотожність .

6. Яка матриця називається ідемпотентною? Покажіть, що матриця  є ідемпотентною.

7. Назвіть скалярні характеристики матриць.

8. Покажіть, що для матриць А і С із завдання 1 ; .

9. Дано матрицю . Чому дорівнює слід (tr A) матриці А?

10. Для матриці А із завдання 9 покажіть, що .

11. Дано симетричну матрицю . Покажіть, що .

12. Знайдіть визначник матриці А із завдання 11.

13. Для матриці А із завдання 11 покажіть, що .

14. Яка матриця має обернену матрицю? Які з поданих далі матриць мають обернені:

      

15. Наведіть основні властивості оберненої матриці.

16. Задано матрицю , обернену до матриці А:

  .

Покажіть, що      .

17. Покажіть, що матриця

.

є ортогональною.

18. Задана систему лінійних рівнянь

 

Матриця, обернена до матриці системи,

 .

Знайдіть розв’язок даної системи рівнянь.

19. Яка матриця називається блоковою?

20. Задано по чотири блоки блокових матриць А і В:

;   

   

Знайдіть суму (різницю) блокових матриць .

21. Яка умова множення блокових матриць? З відповідних блоків  матриць А і В з попереднього завдання складіть дві матриці, які можна було б помножити одна на одну.

22. Задано матриці

  

Знайдіть матрицю Кронеккeр-добутку (прямого множення) .

23. Задана блочна невироджена матриця

 

Знайдіть обернену матрицю .

24. Яке рівняння називають характеристичним рівняння матриці А?

25. Яку назву мають корені характеристичного рівняння?

26. Чому дорівнює добуток , де Х — власні вектори матриці А?

27. Знайдіть характеристичні корені і власні вектори матриці:

 

28. Дайте означення квадратичної форми. Запишіть її у розгорнутому вигляді і в матричній формі.

29. Коли квадратична форма є додатно визначеною і напіввизначеною?

30. Яку квадратичну форму називають випадковою квадратичною формою?

31. Чому дорівнює математичне сподівання випадкової квадратичної форми?

32. Сформулюйте властивості випадкової квадратичної форми.

3.13. Основні терміни і поняття

Матриця

Прямокутна матриця

Квадратна матриця

Транспонована матриця

Діагональна матриця

Симетрична матриця

Одинична матриця

Матриця-стовпець

Матриця-рядок

Ідемпотентна матриця

Ранг матриці

Слід матриці

Детермінант (визначник)

Скаляр

Мінор

Алгебраїчне доповнення

Кронеккерове (пряме) множення матриць

Приєднана матриця

Обернена матриця

Блокова матриця

Характеристичне рівняння

Характеристичні корені

Власні вектори матриці

Квадратична форма

Випадкова форма