Выборочный коэффициент регрессии как найти - Avtoru.top

Регрессионный анализ

Смоленск
2009

Регрессией
Y
на X
или условным
математическим ожиданием
случайной
величины Y
относительно
случайной величины
X
называется функция вида

Регрессией X на Y
называется функция вида

=
φ(y).

Оценками
этих функций являются выборочные
уравнения
регрессии,
или условные
средние,

=
φ^*(y).

На
практике часто используются выборочные
уравнения линейной регрессии в виде

Для
определения параметров ρ и β в уравнении
используется получаемая на основании
метода наименьших квадратов система
двух уравнений

Аналогично
находятся параметры
ρ₁
и β₁
для функции

Для
оценки связи между случайными величинами
обычно используется выборочный
коэффициент корреляции:

Выборочный
коэффициент корреляции
представляет собой отношение

В
том случае, когда варианты парной выборки
встречаются по нескольку раз, причём с
одним значением варианты
x_i
может встретиться несколько вариант
y_i,
их обычно представляют в виде корреляционной
таблицы. На пересечении строк и столбцов
этой таблицы отмечается частота
выбора соответствующей парыа
частоты вариантнаходятся
как суммы значенийпо соответствующей строке или столбцу.
Например, в корреляционной таблице

x_i y_j	10	20	30
5	3	–	2	5
10	5	4	2	11
	8	4	4	n = 16

пара
(10; 5)
встречается 3
раза, т.е.
а частота появления величинынаходится как сумма

Очевидно,
что

Для
коэффициента
корреляции
случайных величин X
и Y
в случае сгруппированных
данных используется выражение

где

После
подсчёта
получают выборочное уравнение линейной
регрессииY
на X
в виде

или
выборочное уравнение линейной регрессии
X
на Y
в виде

Для
упрощения расчетов часто используются
условные
варианты,
которые подсчитываются по формулам

где
С₁,
С₂
– ложные
нули (выбираемые значения);

h₁,
h₂
– разности между соседними значениями
X
и Y.

Соответственно,
для обратного перехода применяются
выражения

где
–
средние значения условных вариант;

средние
квадратичные отклонения условных
вариант.

Для
подсчёта выборочного коэффициента
корреляции в этом случае используются
формула

где

Подсчитав
выборочный коэффициент корреляции
через условные варианты и осуществив
переход к условным переменным, получают
соответствующие уравнения регрессии.

Цель
занятия:
1.Уяснить различие между функциональной
и статистической зависимостью двух
переменных.

2.Объяснить
общую идею подбора эмпирических уравнений
регрессии методом наименьших квадратов

К
занятию по данной теме должны быть
подготовлены следующие вопросы:

1.Что
называется модельным уравнением
регрессии Y
на X?

2.Что
называется эмпирическим уравнением
регрессии Y
на X?
Пояснить его смысл.

3.Какие
основные задачи корреляционного анализа
и регрессионного анализа?

4.Какие
критерии применяются для проверки
гипотез относительно коэффициента
корреляции генеральной совокупности?

Задача
1. С целью
анализа взаимного влияния зарплаты и
текучести рабочей силы на пяти однотипных
фирмах с одинаковым числом работников
проведены измерения уровня месячной
зарплаты X и числа уволившихся за год
рабочих Y:

X	100	150	200	250	300
Y	60	35	20	20	15

Найти
линейную регрессию X
на Y
и выборочный коэффициент корреляции.

Решение.
Составим расчётную таблицу:

i	x_i	y_i
1	100	60	10000	6000	3600
2	150	35	22500	5250	1225
3	200	20	40000	4000	400
4	250	20	62500	5000	400
5	300	15	90000	4500	225
	1000	150	225000	24750	5850

Определяем
ρ и β:

Выборочное
уравнение регрессии примет вид

Из
расчетной таблице следует, что

По
формуле находим

Найдём
по формулам

Откуда

Таким
образом,

Задача
2. В магазине
постельных принадлежностей в течение
пяти дней подсчитывали число покупок
простыней X
и подушек Y:

x_i	10	20	25	28	30
y_i	4	8	7	12	14

(В
данной таблице значения X
расставлены в возрастающем порядке.)
Найти выборочное уравнение линейной
регрессии и выборочный коэффициент
корреляции.

Решение.
Составим таблицу подсчётов.

Номер

опыта
i

100

400

625

784

900

160

175

336

420

144

196

113

2809

1131

469

Находим
ρ и β:

Уравнение
регрессии запишется в виде

Подсчитаем
корреляционный момент:

Находим

Определим
выборочную дисперсию величин X
и Y:

Откуда

Задача
3. Найти
выборочное уравнение линейной регрессии
X на Y на основании корреляционной таблицы

x_i y_j	15	20	25	30	35	40
100	2	1	–	7	–	–
120	4	–	2	–	–	3
140	–	5	–	10	5	2
160	–	–	3	1	2	3

Решение.
Для упрощения расчётов введём условные
варианты

и
составим преобразованную корреляционную
таблицу с условными вариантами, в которую
внесём значения
и:

u_i v_j	-3	-2	-1	0	1	2
-1	2	1	–	7	–	–	10
0	4	–	2	–	–	3	9
1	–	5	–	10	5	2	22
2	–	–	3	1	2	3	9
	6	6	5	18	7	8	n=50

Затем
составим новую таблицу, в которую внесём
посчитанные значения
в правый верхний угол заполненной клетки
ив левый нижний угол, после чего суммируем
верхние значения по строкам для получения
значенийи нижние значения по столбцам дляи подсчитаем величиныи(табл.).

u_i v_j	-3	-2	-1	0	1	2
-1	-6 2 -2	-2 1 -1	–	0 7 -7	–	–	-8	8
0	-12 4 0	–	-2 2 0	–	–	6 3 0	-8	0
1	–	-10 5 5	–	0 10 10	5 5 5	4 2 2	-1	-1
2	–	–	-3 3 6	0 1 2	2 2 4	6 3 6	5	10
	-2	4	6	5	9	8	–
	6	-8	-6	0	9	16		–

Подсчитываем
суммы
иПараллельный подсчёт этих сумм
осуществляется для контроля правильности
расчетов. В данном случае

Находим
и:

Находим
:

Определяем
:

Вычисляем
выборочный коэффициент корреляции
:

Осуществляем
переход к исходным вариантам:

Находим
уравнение регрессии X
на Y:

или

Задача
4. Найти
выборочное уравнение линейной регрессии
Y
на X на
основании корреляционной таблицы.

y_j	x_i	n_y
10	20	30	40	50	60
15 25 35 45 55	5 – – – –	7 20 – – –	– 23 30 10 –	– – 47 11 9	– – 2 20 7	– – – 6 3	12 43 79 47 19
n_x	5	27	63	67	29	9	n=200

Решение.
Введём
условные варианты:

Для
подсчёта
можно использовать преобразованные
корреляционные таблицы. Вначале
составляют таблицу, в которой записывают
условные варианты(C₁
= 40, C₂
= 35).

v_j	u_i	n_v
-3	-2	-1	0	1	2
-2 -1 0 1 2	5 – – – –	7 20 – – –	– 23 30 10 –	– – 47 11 9	– – 2 20 7	– – – 6 3	12 43 79 47 19
n_u	5	27	63	67	29	9	n=200

После
этого составляют таблицу, в которой
подсчитывают произведения
и.

v_j	u_i
-3	-2	-1	0	1	2
-2	-15 5 -10	-14 7 -14	–	–	–	–	-29	58
-1	–	-40 20 -20	-23 23 -23	–	–	–	-63	63
0	–	-30 30 0	–	0 47 0	2 2 0	–	-28	0
1	–	–	-10 10 10	0 11 11	20 20 20	12 6 6	22	22
2	–	–	–	0 9 18	7 7 14	5 3 6	13	26
	-10	-34	-13	29	34	12	–
	30	68	13	0	34	24		–

Таким
образом,

Находим
также
и:

Таким
образом,

По
формулам

определяем
средние квадратичные отклонения:

Подставляем
рассчитанные данные в формулу для
:

Затем
рассчитываем
по формулам

получаем

Подставляем
полученные значения в уравнение
регрессии:

окончательно
получаем

Задача
5. Из двухмерной
нормальной генеральной совокупности
извлечена выборка объемом n
= 122. Найден
выборочный коэффициент корреляции r_в
= 0,4. Проверить
нулевую гипотезу Н₀
о равенстве нулю генерального коэффициента
корреляции при уровне значимости
=0,05
и конкурирующей гипотезе Н₁.

Решение.
Находим

По
условию конкурирующая гипотеза Н₁:
r₁0,
поэтому критическая область –
двусторонняя. По уровню значимости
=0,05
и числу степеней свободы l
= 122 – 2 = 120
находим из таблицы значений распределения
Стьюдента для двусторонней критической
области t_кр=
(0,05 ,120) = 1,98.

Так
как Т_набл
> t_кр,
т.е. 4,79 >
1,98, нулевую
гипотезу отвергаем, т.е. выборочный
коэффициент значимо отличается от нуля,
следовательно. X
и Y
коррелируемы.

Дополнительные
задачи.

Задача
1.В результате
измерений отклонений от номиналов высот
моделей (х_i)
и отливок к ним (у_j)
получены следующие результаты:

0,9	1,22	1,32	0,77	1,3	1,2	1,32	0,95	0,45	1,3	1,2
-0,3	0,1	0,7	-0,3	0,25	0,02	0,37	-0,7	0,55	0,35	0,32

Cоставить
корреляционную таблицу и вычислить
коэффициент корреляции.

Решение.
Разобьем весь интервал, в котором
заключены значения признаков, на пять
частей. Возьмем для х_i
наименьшее значение 0,40
и наибольшее –
1,40, тогда
ширина одного интервала будет равна
0,20.
Наименьшее y_j=-0,7,
а наибольшее –
0,7. Ширина
интервала 0,28.
Откладываем интервалы изменений х_i
по горизонтали, а у_j
– по вертикали; данные заносим в табл.

0,5
0,7 0,9 1,1 1,3
Таблица

x_i

y_j

0,4-0,6

0,6-0,8

0,8-1

1-1,2

1,2-1,4

n_y

-0,7-
-0,42

-0,42-
-0,14

-0,14-0,14

0,14-0,42

0,42-0,7

—

n_x

n=11

— 0,56

— 0,28

0,28

0,56

Определим
коэффициент корреляции. Для этого найдем
средние значения
и,
предполагая, чтох_i
и у_j
— середины
соответствующих интервалов:

Коэффициент
корреляции близок к единице, следовательно,
между случайными величинами Х
и Y
достаточно тесная корреляционная связь.

Задача
2. Распределение
40
заводов области по количествуY
ремонтных
слесарей и числу X
станко-смен представлено следующей
корреляционной таблицей (табл.7)

Таблица
7

10
– 15

15
– 20

20
– 25

25
– 30

30
– 35

35
– 40

n_x

0
– 0,2

0,2
– 0,4

0,4
– 0,6

0,6
– 0,8

0,8
– 1,0

1,0
– 1,2

—

n_y

n=
40

Составить
уравнение прямой регрессии, установить
тесноту связи между признаками. Для
каждого интервала значений Y
вычислить фактические значения частных
средних y_x
и теоретические значения, найденные из
уравнений регрессии.

Решение.
За значения признаков примем середины
интервалов и составим корреляционную
таблицу в условных вариантах, приняв в
качестве условных нулей C₁= 0,7
и C₂
= 27,5.
(Эти варианты имеют частоту, равную 4,
и находятся в середине корреляционной
таблицы.)

Таблица



-3

-2

-1

n_u

-3

-2

-1

—

n_

n=
40

Находим:

Найдем
искомый коэффициент корреляции:

Вычислим
:

Подставим
полученные значения в уравнение
регрессии:

или

Вычислим
для каждого интервала изменения х
фактические значения частных средних:

Вычислим
для каждого интервала изменения х
теоретические значения из полученного
уравнения:

Cравнивая
полученные значения, видим, что они
близки к фактическим.

Задача
3. Найти
уравнение параболической регрессии Y
и Х для
экспериментальных данных, помещенных
в табл.

Таблица

х_i у_j	1	2	3	4	5	6	n_y
1 2 3 4 5 6	2 1 — — — —	1 2 3 1 — —	— — 1 3 2 —	— — — 1 2 1	— — — — 2 1	— — — — 1 1	3 3 4 5 7 3
n_x	3	7	6	4	3	2	n=25
	1,33	2,57	4,17	5,0	5,33	5,50

Решение.
Ищем уравнение регрессии в виде

Для
определения неизвестных коэффициентов
а,
b
по МНК
записываем систему нормальных уравнений:

(1)

и
составляем вспомогательную таблицу
(10).

Таблица
10

n_x

n_xx

n_xx²

n_xx³

162

256

375

432

n_x=25

296

1284

Таблица
10

n_xx⁴

y_x

n_xy_x

n_xxy_x

n_xx²y_x

112

486

1024

1875

2592

1,33

2,57

4,17

5,0

5,33

5,50

3,99

17,99

25,02

20,00

15,99

11,00

3,99

35,98

75,06

80,00

79,95

66,00

3,99

71,96

225,18

320,00

399,75

396,00

6092

23,9

93,99

340,98

1416,88

Теперь
уравнения (1) примут вид:

Для
упрощения расчетов разделим каждое
уравнение на коэффициент при с:

Решив
полученную систему, найдем: a=
— 0,19, b=
2,21, c
= 0,89.

Уравнение
регрессии имеет вид

y_x
= -0,19х²
+ 2,21х – 0,89.

Подставив
в это уравнение в место х
его значения,
получим теоретические значения средних

х	1	2	3	4	5	6
	1,14	2,78	4,07	4,91	5,41	5,52

Сравнивая
теоретические значения частных средних

с
экспериментальными, видим, что они
достаточно близки.

Задача
4. Зависимость
между суточной выработкой продукции Y
(т) и величиной
основных производственных фондов X
(млн руб.) для совокупности 50
однотипных предприятий представлена
в таблице.

Вели-

чина

ОПФ,

млн.

руб.(X)

Середи-

ны

интер
—

валов

Суточная
выработка продукции,
т (Y)

Всего

n_i

Группо-

вая

сре
—

няя,
т

7-11
11-15 15-19 19-23 23-27

y_j

x_i

9
13 17 21 25

20-25

25-30

30-35

35-40

40-45

22,5

27,5

32,5

37,5

42,5

2
1 –
– –

3
6 4
– –

–
3
11 7
–

–
1
2 6 2

–
– – 1
1

10,3

13,3

17,8

20,3

23,0

Всего
n_i

5
11 17 14 3

–

Групповая
средняя

млн
руб. 25,5
29,3 31,9 35,4 39,2
– –

Проверить
значимость коэффициента корреляции
между переменными X
и Y.

Решение.
Статистика критерия:

Для
уровня значимости
и числа степеней свободынаходим критическое значение статистики(см. табл. приложений). Посколькукоэффициент корреляции между суточной
выработкой продукцииY
и величиной основных производственных
фондов Xзначимо отличается
от нуля.

Домашнее задание.

Задача
1. Распредление
60 предприятий химической промышленности
по энерговооружённости труда Y
(кВт ∙ ч) и фондовооружённости X
(млн руб.) дано в таблице

0
– 4,5

4,5
– 9

9
– 13,5

13,5
– 18

18
– 22,5

Итого

0
– 1,4

1,4
– 2,8

2,8
– 4,2

4,2
– 5,6

5,6
– 7,0

7,0
– 8,4

–

Итого

Необходимо:
а) Построить эмпирические линии регрессии;
б) оценить тесноту и направление связи
между переменными с помощью коэффициента
корреляции; проверить значимость
коэффициента корреляции на уровне
и построить для него 95%-ный доверительный
интервал; в) вычислить эмпирические
корреляционные отношения и оценить их
значимость на 5%-ном уровне; г) на уровне
значимости 0,05 проверить гипотезу о
линейной корреляционной зависимости
между переменнымиY
и X;
д) найти уравнения прямых регрессии,
построить их графики и найти 95%-ные
доверительные интервалы для коэффициентов
регрессии.

Задача
2. Имеются
следующие данные об уровне механизации
работ X (%) и производительности труда Y
(т/ч) для 14 однотипных предприятий:

x_i	32	30	36	40	41	47	56	54	60	55	61	67	69	76
y_j	20	24	28	30	31	33	34	37	38	40	41	43	45	48

Необходимо:
а) оценить тесноту и направление связи
между переменными с помощью коэффициента
корреляции; проверить значимость
коэффициента корреляции на уровне
;
б) найти уравнения прямых регрессии.

Задача
3. При
исследовании корреляционной зависимости
между объёмом продукции X
(единиц) и её себестоимости Y
(тыс. руб.) получено следующее уравнение
регрессии Y
по X:
Составить уравнение регрессииX
по Y,
если коэффициент корреляции между этими
признаками оказалась равным -0,8,
а средний объём продукции
единиц.

Задача
4. При
исследовании корреляционной зависимости
между ценой на нефть X
и индексом нефтяных компаний Y
получены следующие данные:
(ден.ед.),(усл.
ед.),
Необходимо:
а) составить уравнения регрессии Y
по X
и X
по Y;
б) используя соответствующее уравнение
регрессии, найти среднюю величину
индекса при цене на нефть 16,5 ден. ед.

Ответы:

1).
б) r
= 0,872;
связь тесная и прямая, r
значим, так как t=
=13,57 >
(с помощьюz
— преобразования
Фишера); в)
(значим, так какF
= =50,4 >
(значим, так какF
= =47,6 >
г) гипотеза о линейной корреляционной
зависимости не отвергается, ибоблизко ктак,
чтоF=2,10
<
(илиблизко ктак,
чтоF
= =2,47
>
);
д)

2).
а) r
= 0,969; связь
очень тесная и прямая; r
значим (так как t
=
б)

3).

4).
а)б)(усл. ед.).

184

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

Источник

Содержание:

Регрессионный анализ:

Регрессионным анализом называется раздел математической статистики, объединяющий практические методы исследования корреляционной зависимости между случайными величинами по результатам наблюдений над ними. Сюда включаются методы выбора модели изучаемой зависимости и оценки ее параметров, методы проверки статистических гипотез о зависимости.

Пусть между случайными величинами X и Y существует линейная корреляционная зависимость. Это означает, что математическое ожидание Y линейно зависит от значений случайной величины X. График этой зависимости (линия регрессии Y на X) имеет уравнение

Линейная модель пригодна в качестве первого приближения и в случае нелинейной корреляции, если рассматривать небольшие интервалы возможных значений случайных величин.

Пусть параметры линии регрессии неизвестны, неизвестна и величина коэффициента корреляции Над случайными величинами X и Y проделано n независимых наблюдений, в результате которых получены n пар значений: Эти результаты могут служить источником информации о неизвестных значениях надо только уметь эту информацию извлечь оттуда.

Неизвестная нам линия регрессии как и всякая линия регрессии, имеет то отличительное свойство, что средний квадрат отклонений значений Y от нее минимален. Поэтому в качестве оценок для можно принять те их значения, при которых имеет минимум функция

Такие значения , согласно необходимым условиям экстремума, находятся из системы уравнений:

Решения этой системы уравнений дают оценки называемые оценками по методу наименьших квадратов.

Известно, что оценки по методу наименьших квадратов являются несмещенными и, более того, среди всех несмещенных оценок обладают наименьшей дисперсией. Для оценки коэффициента корреляции можно воспользоваться тем, что где средние квадратические отклонения случайных величин X и Y соответственно. Обозначим через оценки этих средних квадратических отклонений на основе опытных данных. Оценки можно найти, например, по формуле (3.1.3). Тогда для коэффициента корреляции имеем оценку

По методу наименьших квадратов можно находить оценки параметров линии регрессии и при нелинейной корреляции. Например, для линии регрессии вида оценки параметров находятся из условия минимума функции

Пример:

По данным наблюдений двух случайных величин найти коэффициент корреляции и уравнение линии регрессии Y на X

Решение. Вычислим величины, необходимые для использования формул (3.7.1)–(3.7.3):

По формулам (3.7.1) и (3.7.2) получим

Итак, оценка линии регрессии имеет вид Так как то по формуле (3.1.3)

Аналогично, Поэтому в качестве оценки коэффициента корреляции имеем по формуле (3.7.3) величину

Ответ.

Пример:

Получена выборка значений величин X и Y

Для представления зависимости между величинами предполагается использовать модель Найти оценки параметров

Решение. Рассмотрим сначала задачу оценки параметров этой модели в общем виде. Линия играет роль линии регрессии и поэтому параметры ее можно найти из условия минимума функции (сумма квадратов отклонений значений Y от линии должна быть минимальной по свойству линии регрессии)

Необходимые условия экстремума приводят к системе из двух уравнений:

Откуда

Решения системы уравнений (3.7.4) и (3.7.5) и будут оценками по методу наименьших квадратов для параметров

На основе опытных данных вычисляем:

В итоге получаем систему уравнений (?????) и (?????) в виде

Эта система имеет решения

Ответ.

Если наблюдений много, то результаты их обычно группируют и представляют в виде корреляционной таблицы.

В этой таблице равно числу наблюдений, для которых X находится в интервале а Y – в интервале Через обозначено число наблюдений, при которых а Y произвольно. Число наблюдений, при которых а X произвольно, обозначено через

Если величины дискретны, то вместо интервалов указывают отдельные значения этих величин. Для непрерывных случайных величин представителем каждого интервала считают его середину и полагают, что и наблюдались раз.

При больших значениях X и Y можно для упрощения вычислений перенести начало координат и изменить масштаб по каждой из осей, а после завершения вычислений вернуться к старому масштабу.

Пример:

Проделано 80 наблюдений случайных величин X и Y. Результаты наблюдений представлены в виде таблицы. Найти линию регрессии Y на X. Оценить коэффициент корреляции.

Решение. Представителем каждого интервала будем считать его середину. Перенесем начало координат и изменим масштаб по каждой оси так, чтобы значения X и Y были удобны для вычислений. Для этого перейдем к новым переменным Значения этих новых переменных указаны соответственно в самой верхней строке и самом левом столбце таблицы.

Чтобы иметь представление о виде линии регрессии, вычислим средние значения при фиксированных значениях :

Нанесем эти значения на координатную плоскость, соединив для наглядности их отрезками прямой (рис. 3.7.1).

По виду полученной ломанной линии можно предположить, что линия регрессии Y на X является прямой. Оценим ее параметры. Для этого сначала вычислим с учетом группировки данных в таблице все величины, необходимые для использования формул (3.31–3.33):

Тогда

В новом масштабе оценка линии регрессии имеет вид График этой прямой линии изображен на рис. 3.7.1.

Для оценки по корреляционной таблице можно воспользоваться формулой (3.1.3):

Подобным же образом можно оценить величиной Тогда оценкой коэффициента корреляции может служить величина

Вернемся к старому масштабу:

Коэффициент корреляции пересчитывать не нужно, так как это величина безразмерная и от масштаба не зависит.

Ответ.

Пусть некоторые физические величины X и Y связаны неизвестной нам функциональной зависимостью Для изучения этой зависимости производят измерения Y при разных значениях X. Измерениям сопутствуют ошибки и поэтому результат каждого измерения случаен. Если систематической ошибки при измерениях нет, то играет роль линии регрессии и все свойства линии регрессии приложимы к . В частности, обычно находят по методу наименьших квадратов.

Регрессионный анализ

Основные положения регрессионного анализа:

Основная задача регрессионного анализа — изучение зависимости между результативным признаком Y и наблюдавшимся признаком X, оценка функции регрессий.

Предпосылки регрессионного анализа:

Y — независимые случайные величины, имеющие постоянную дисперсию;
X— величины наблюдаемого признака (величины не случайные);
условное математическое ожидание можно представить в виде

Выражение (2.1), как уже упоминалось в п. 1.2, называется функцией регрессии (или модельным уравнением регрессии) Y на X. Оценке в этом выражении подлежат параметры называемые коэффициентами регрессии, а также — остаточная дисперсия.

Остаточной дисперсией называется та часть рассеивания результативного признака, которую нельзя объяснить действием наблюдаемого признака; Остаточная дисперсия может служить для оценки точности подбора вида функции регрессии (модельного уравнения регрессии), полноты набора признаков, включенных в анализ. Оценки параметров функции регрессии находят, используя метод наименьших квадратов.

В данном вопросе рассмотрен линейный регрессионный анализ. Линейным он называется потому, что изучаем лишь те виды зависимостей которые линейны по оцениваемым параметрам, хотя могут быть нелинейны по переменным X. Например, зависимости

линейны относительно параметров хотя вторая и третья зависимости нелинейны относительно переменных х. Вид зависимости выбирают, исходя из визуальной оценки характера расположения точек на поле корреляции; опыта предыдущих исследований; соображений профессионального характера, основанных и знании физической сущности процесса.

Важное место в линейном регрессионном анализе занимает так называемая «нормальная регрессия». Она имеет место, если сделать предположения относительно закона распределения случайной величины Y. Предпосылки «нормальной регрессии»:

Y — независимые случайные величины, имеющие постоянную дисперсию и распределенные по нормальному закону;
X— величины наблюдаемого признака (величины не случайные);
условное математическое ожидание можно представить в виде (2.1).

В этом случае оценки коэффициентов регрессии — несмещённые с минимальной дисперсией и нормальным законом распределения. Из этого положения следует что при «нормальной регрессии» имеется возможность оценить значимость оценок коэффициентов регрессии, а также построить доверительный интервал для коэффициентов регрессии и условного математического ожидания M(YX=x).

Линейная регрессия

Рассмотрим простейший случай регрессионного анализа — модель вида (2.1), когда зависимость линейна и по оцениваемым параметрам, и

по переменным. Оценки параметров модели (2.1) обозначил Оценку остаточной дисперсии обозначим Подставив в формулу (2.1) вместо параметров их оценки, получим уравнение регрессии коэффициенты которого находят из условия минимума суммы квадратов отклонений измеренных значений результативного признака от вычисленных по уравнению регрессии

Составим систему нормальных уравнений: первое уравнение

откуда

второе уравнение

откуда

Итак,

Оценки, полученные по способу наименьших квадратов, обладают минимальной дисперсией в классе линейных оценок. Решая систему (2.2) относительно найдём оценки параметров

Остаётся получить оценку параметра . Имеем

где т — количество наблюдений.

Еслит велико, то для упрощения расчётов наблюдавшиеся данные принята группировать, т.е. строить корреляционную таблицу. Пример построения такой таблицы приведен в п. 1.5. Формулы для нахождения коэффициентов регрессии по сгруппированным данным те же, что и для расчёта по несгруппированным данным, но суммызаменяют на

где — частоты повторений соответствующих значений переменных. В дальнейшем часто используется этот наглядный приём вычислений.

Нелинейная регрессия

Рассмотрим случай, когда зависимость нелинейна по переменным х, например модель вида

На рис. 2.1 изображено поле корреляции. Очевидно, что зависимость между Y и X нелинейная и её графическим изображением является не прямая, а кривая. Оценкой выражения (2.6) является уравнение регрессии

где —оценки коэффициентов регрессии

Принцип нахождения коэффициентов тот же — метод наименьших квадратов, т.е.

или

Дифференцируя последнее равенство по и приравнивая правые части нулю, получаем так называемую систему нормальных уравнений:

В общем случае нелинейной зависимости между переменными Y и X связь может выражаться многочленом k-й степени от x:

Коэффициенты регрессии определяют по принципу наименьших квадратов. Система нормальных уравнений имеет вид

Вычислив коэффициенты системы, её можно решить любым известным способом.

Оценка значимости коэффициентов регрессии. Интервальная оценка коэффициентов регрессии

Проверить значимость оценок коэффициентов регрессии — значит установить, достаточна ли величина оценки для статистически обоснованного вывода о том, что коэффициент регрессии отличен от нуля. Для этого проверяют гипотезу о равенстве нулю коэффициента регрессии, соблюдая предпосылки «нормальной регрессии». В этом случае вычисляемая для проверки нулевой гипотезы статистика

имеет распределение Стьюдента с к= n-2 степенями свободы (b — оценка коэффициента регрессии, — оценка среднеквадратического отклонения

коэффициента регрессии, иначе стандартная ошибка оценки). По уровню значимости а и числу степеней свободы к находят по таблицам распределения Стьюдента (см. табл. 1 приложений) критическое значение удовлетворяющее условию то нулевую гипотезу о равенстве нулю коэффициента регрессии отвергают, коэффициент считают значимым. Принет оснований отвергать нулевую гипотезу.

Оценки среднеквадратического отклонения коэффициентов регрессии вычисляют по следующим формулам:

где — оценка остаточной дисперсии, вычисляемая по
формуле (2.5).

Доверительный интервал для значимых параметров строят по обычной схеме. Из условия

где а — уровень значимости, находим

Интервальная оценка для условного математического ожидания

Линия регрессии характеризует изменение условного математического ожидания результативного признака от вариации остальных признаков.

Точечной оценкой условного математического ожидания является условное среднее Кроме точечной оценки для можно
построить доверительный интервал в точке

Известно, что имеет распределение
Стьюдента с k=n—2 степенями свободы. Найдя оценку среднеквадратического отклонения для условного среднего, можно построить доверительный интервал для условного математического ожидания

Оценку дисперсии условного среднего вычисляют по формуле

или для интервального ряда

Доверительный интервал находят из условия

где а — уровень значимости. Отсюда

Доверительный интервал для условного математического ожидания можно изобразить графически (рис, 2.2).

Из рис. 2.2 видно, что в точке границы интервала наиболее близки друг другу. Расположение границ доверительного интервала показывает, что прогнозы по уравнению регрессии, хороши только в случае, если значение х не выходит за пределы выборки, по которой вычислено уравнение регрессии; иными словами, экстраполяция по уравнению регрессии может привести к значительным погрешностям.

Проверка значимости уравнения регрессии

Оценить значимость уравнения регрессии — значит установить, соответствует ли математическая, модель, выражающая зависимость между Y и X, экспериментальным данным. Для оценки значимости в предпосылках «нормальной регрессии» проверяют гипотезу Если она отвергается, то считают, что между Y и X нет связи (или связь нелинейная). Для проверки нулевой гипотезы используют основное положение дисперсионного анализа о разбиении суммы квадратов на слагаемые. Воспользуемся разложением — Общая сумма квадратов отклонений результативного признака

разлагается на (сумму, характеризующую влияние признака

X) и (остаточную сумму квадратов, характеризующую влияние неучтённых факторов). Очевидно, чем меньше влияние неучтённых факторов, тем лучше математическая модель соответствует экспериментальным данным, так как вариация У в основном объясняется влиянием признака X.

Для проверки нулевой гипотезы вычисляют статистику которая имеет распределение Фишера-Снедекора с А степенями свободы (в п — число наблюдений). По уровню значимости а и числу степеней свободы находят по таблицам F-распределение для уровня значимости а=0,05 (см. табл. 3 приложений) критическое значение удовлетворяющее условию . Если нулевую гипотезу отвергают, уравнение считают значимым. Если то нет оснований отвергать нулевую гипотезу.

Многомерный регрессионный анализ

В случае, если изменения результативного признака определяются действием совокупности других признаков, имеет место многомерный регрессионный анализ. Пусть результативный признак У, а независимые признаки Для многомерного случая предпосылки регрессионного анализа можно сформулировать следующим образом: У -независимые случайные величины со средним и постоянной дисперсией — линейно независимые векторы . Все положения, изложенные в п.2.1, справедливы для многомерного случая. Рассмотрим модель вида

Оценке подлежат параметры и остаточная дисперсия.

Заменив параметры их оценками, запишем уравнение регрессии

Коэффициенты в этом выражении находят методом наименьших квадратов.

Исходными данными для вычисления коэффициентов является выборка из многомерной совокупности, представляемая обычно в виде матрицы X и вектора Y:

Как и в двумерном случае, составляют систему нормальных уравнений

которую можно решить любым способом, известным из линейной алгебры. Рассмотрим один из них — способ обратной матрицы. Предварительно преобразуем систему уравнений. Выразим из первого уравнения значение через остальные параметры:

Подставим в остальные уравнения системы вместо полученное выражение:

Пусть С — матрица коэффициентов при неизвестных параметрах — матрица, обратная матрице С; — элемент, стоящий на пересечении i-Й строки и i-го столбца матрицы — выражение
. Тогда, используя формулы линейной алгебры,

запишем окончательные выражения для параметров:

Оценкой остаточной дисперсии является

где — измеренное значение результативного признака; значение результативного признака, вычисленное по уравнению регрессий.

Если выборка получена из нормально распределенной генеральной совокупности, то, аналогично изложенному в п. 2.4, можно проверить значимость оценок коэффициентов регрессии, только в данном случае статистику вычисляют для каждого j-го коэффициента регрессии

где —элемент обратной матрицы, стоящий на пересечении i-й строки и j-
го столбца; —диагональный элемент обратной матрицы.

При заданном уровне значимости а и числе степеней свободы к=n— m—1 по табл. 1 приложений находят критическое значение Если то нулевую гипотезу о равенстве нулю коэффициента регрессии отвергают. Оценку коэффициента считают значимой. Такую проверку производят последовательно для каждого коэффициента регрессии. Если то нет оснований отвергать нулевую гипотезу, оценку коэффициента регрессии считают незначимой.

Для значимых коэффициентов регрессии целесообразно построить доверительные интервалы по формуле (2.10). Для оценки значимости уравнения регрессии следует проверить нулевую гипотезу о том, что все коэффициенты регрессии (кроме свободного члена) равны нулю: — вектор коэффициентов регрессии). Нулевую гипотезу проверяют, так же как и в п. 2.6, с помощью статистики , где — сумма квадратов, характеризующая влияние признаков X; — остаточная сумма квадратов, характеризующая влияние неучтённых факторов; Для уровня значимости а и числа степеней свободы по табл. 3 приложений находят критическое значение Если то нулевую гипотезу об одновременном равенстве нулю коэффициентов регрессии отвергают. Уравнение регрессии считают значимым. При нет оснований отвергать нулевую гипотезу, уравнение регрессии считают незначимым.

Факторный анализ

Основные положения. В последнее время всё более широкое распространение находит один из новых разделов многомерного статистического анализа — факторный анализ. Первоначально этот метод

разрабатывался для объяснения многообразия корреляций между исходными параметрами. Действительно, результатом корреляционного анализа является матрица коэффициентов корреляций. При малом числе параметров можно произвести визуальный анализ этой матрицы. С ростом числа параметра (10 и более) визуальный анализ не даёт положительных результатов. Оказалось, что всё многообразие корреляционных связей можно объяснить действием нескольких обобщённых факторов, являющихся функциями исследуемых параметров, причём сами обобщённые факторы при этом могут быть и неизвестны, однако их можно выразить через исследуемые параметры.

Один из основоположников факторного анализа Л. Терстоун приводит такой пример: несколько сотен мальчиков выполняют 20 разнообразных гимнастических упражнений. Каждое упражнение оценивают баллами. Можно рассчитать матрицу корреляций между 20 упражнениями. Это большая матрица размером 20><20. Изучая такую матрицу, трудно уловить закономерность связей между упражнениями. Нельзя ли объяснить скрытую в таблице закономерность действием каких-либо обобщённых факторов, которые в результате эксперимента непосредственно, не оценивались? Оказалось, что обо всех коэффициентах корреляции можно судить по трём обобщённым факторам, которые и определяют успех выполнения всех 20 гимнастических упражнений: чувство равновесия, усилие правого плеча, быстрота движения тела.

Дальнейшие разработки факторного анализа доказали, что этот метод может быть с успехом применён в задачах группировки и классификации объектов. Факторный анализ позволяет группировать объекты со сходными сочетаниями признаков и группировать признаки с общим характером изменения от объекта к объекту. Действительно, выделенные обобщённые факторы можно использовать как критерии при классификации мальчиков по способностям к отдельным группам гимнастических упражнений.

Методы факторного анализа находят применение в психологии и экономике, социологии и экономической географии. Факторы, выраженные через исходные параметры, как правило, легко интерпретировать как некоторые существенные внутренние характеристики объектов.

Факторный анализ может быть использован и как самостоятельный метод исследования, и вместе с другими методами многомерного анализа, например в сочетании с регрессионным анализом. В этом случае для набора зависимых переменных наводят обобщённые факторы, которые потом входят в регрессионный анализ в качестве переменных. Такой подход позволяет сократить число переменных в регрессионном анализе, устранить коррелированность переменных, уменьшить влияние ошибок и в случае ортогональности выделенных факторов значительно упростить оценку значимости переменных.

Представление, информации в факторном анализе

Для проведения факторного анализа информация должна быть представлена в виде двумерной таблицы чисел размерностью аналогичной приведенной в п. 2.7 (матрица исходных данных). Строки этой матрицы должны соответствовать объектам наблюдений столбцы — признакамтаким образом, каждый признак является как бы статистическим рядом, в котором наблюдения варьируют от объекта к объекту. Признаки, характеризующие объект наблюдения, как правило, имеют различную размерность. Чтобы устранить влияние размерности и обеспечить сопоставимость признаков, матрицу исходных данных обычно нормируют, вводя единый масштаб. Самым распространенным видом нормировки является стандартизация. От переменных переходят к переменным В дальнейшем, говоря о матрице исходных переменных, всегда будем иметь в виду стандартизованную матрицу.

Основная модель факторного анализа. Основная модель факторного анализа имеет вид

где -j-й признак (величина случайная); — общие факторы (величины случайные, имеющие нормальный закон распределения); — характерный фактор; — факторные нагрузки, характеризующие существенность влияния каждого фактора (параметры модели, подлежащие определению); — нагрузка характерного фактора.

Модель предполагает, что каждый из j признаков, входящих в исследуемый набор и заданных в стандартной форме, может быть представлен в виде линейной комбинации небольшого числа общих факторов и характерного фактора

Термин «общий фактор» подчёркивает, что каждый такой фактор имеет существенное значение для анализа всех признаков, т.е.

Термин «характерный фактор» показывает, что он относится только к данному j-му признаку. Это специфика признака, которая не может быть, выражена через факторы

Факторные нагрузки . характеризуют величину влияния того или иного общего фактора в вариации данного признака. Основная задача факторного анализа — определение факторных нагрузок. Факторная модель относится к классу аппроксимационных. Параметры модели должны быть выбраны так, чтобы наилучшим образом аппроксимировать корреляции между наблюдаемыми признаками.

Для j-го признака и i-го объекта модель (2.19) можно записать в. виде

где значение k-го фактора для i-го объекта.

Дисперсию признака можно разложить на составляющие: часть, обусловленную действием общих факторов, — общность и часть, обусловленную действием j-го характера фактора, характерность Все переменные представлены в стандартизированном виде, поэтому дисперсий у-го признака Дисперсия признака может быть выражена через факторы и в конечном счёте через факторные нагрузки.

Если общие и характерные факторы не коррелируют между собой, то дисперсию j-го признака можно представить в виде

где —доля дисперсии признака приходящаяся на k-й фактор.

Полный вклад k-го фактора в суммарную дисперсию признаков

Вклад общих факторов в суммарную дисперсию

Факторное отображение

Используя модель (2.19), запишем выражения для каждого из параметров:

Коэффициенты системы (2,21) — факторные нагрузки — можно представить в виде матрицы, каждая строка которой соответствует параметру, а столбец — фактору.

Факторный анализ позволяет получить не только матрицу отображений, но и коэффициенты корреляции между параметрами и

факторами, что является важной характеристикой качества факторной модели. Таблица таких коэффициентов корреляции называется факторной структурой или просто структурой.

Коэффициенты отображения можно выразить через выборочные парные коэффициенты корреляции. На этом основаны методы вычисления факторного отображения.

Рассмотрим связь между элементами структуры и коэффициентами отображения. Для этого, учитывая выражение (2.19) и определение выборочного коэффициента корреляции, умножим уравнения системы (2.21) на соответствующие факторы, произведём суммирование по всем n наблюдениям и, разделив на n, получим следующую систему уравнений:

где — выборочный коэффициент корреляции между j-м параметром и к-
м фактором; — коэффициент корреляции между к-м и р-м факторами.

Если предположить, что общие факторы между собой, не коррелированы, то уравнения (2.22) можно записать в виде

, т.е. коэффициенты отображения равны
элементам структуры.

Введём понятие, остаточного коэффициента корреляции и остаточной корреляционной матрицы. Исходной информацией для построения факторной модели (2.19) служит матрица выборочных парных коэффициентов корреляции. Используя построенную факторную модель, можно снова вычислить коэффициенты корреляции между признаками и сравнись их с исходными Коэффициентами корреляции. Разница между ними и есть остаточный коэффициент корреляции.

В случае независимости факторов имеют место совсем простые выражения для вычисляемых коэффициентов корреляции между параметрами: для их вычисления достаточно взять сумму произведений коэффициентов отображения, соответствующих наблюдавшимся признакам:
где —вычисленный по отображению коэффициент корреляции между j-м
и к-м признаком. Остаточный коэффициент корреляции

Матрица остаточных коэффициентов корреляции называется остаточной матрицей или матрицей остатков

где — матрица остатков; R — матрица выборочных парных коэффициентов корреляции, или полная матрица; R’— матрица вычисленных по отображению коэффициентов корреляции.

Результаты факторного анализа удобно представить в виде табл. 2.10.

Здесь суммы квадратов нагрузок по строкам — общности параметров, а суммы квадратов нагрузок по столбцам — вклады факторов в суммарную дисперсию параметров. Имеет место соотношение

Определение факторных нагрузок

Матрицу факторных нагрузок можно получить различными способами. В настоящее время наибольшее распространение получил метод главных факторов. Этот метод основан на принципе последовательных приближений и позволяет достичь любой точности. Метод главных факторов предполагает использование ЭВМ. Существуют хорошие алгоритмы и программы, реализующие все вычислительные процедуры.

Введём понятие редуцированной корреляционной матрицы или просто редуцированной матрицы. Редуцированной называется матрица выборочных коэффициентов корреляции у которой на главной диагонали стоят значения общностей :

Редуцированная и полная матрицы связаны соотношением

где D — матрица характерностей.

Общности, как правило, неизвестны, и нахождение их в факторном анализе представляет серьезную проблему. Вначале определяют (хотя бы приближённо) число общих факторов, совокупность, которых может с достаточной точностью аппроксимировать все взаимосвязи выборочной корреляционной матрицы. Доказано, что число общих факторов (общностей) равно рангу редуцированной матрицы, а при известном ранге можно по выборочной корреляционной матрице найти оценки общностей. Числа общих факторов можно определить априори, исходя из физической природы эксперимента. Затем рассчитывают матрицу факторных нагрузок. Такая матрица, рассчитанная методом главных факторов, обладает одним интересным свойством: сумма произведений каждой пары её столбцов равна нулю, т.е. факторы попарно ортогональны.

Сама процедура нахождения факторных нагрузок, т.е. матрицы А, состоит из нескольких шагов и заключается в следующем: на первом шаге ищут коэффициенты факторных нагрузок при первом факторе так, чтобы сумма вкладов данного фактора в суммарную общность была максимальной:

Максимум должен быть найден при условии

где —общностьпараметра

Затем рассчитывают матрицу коэффициентов корреляции с учётом только первого фактора Имея эту матрицу, получают первую матрицу остатков:

На втором шаге определяют коэффициенты нагрузок при втором факторе так, чтобы сумма вкладов второго фактора в остаточную общность (т.е. полную общность без учёта той части, которая приходится на долю первого фактора) была максимальной. Сумма квадратов нагрузок при втором факторе

Максимум находят из условия

где — коэффициент корреляции из первой матрицы остатков; — факторные нагрузки с учётом второго фактора. Затем рассчитыва коэффициентов корреляций с учётом второго фактора и вычисляют вторую матрицу остатков:

Факторный анализ учитывает суммарную общность. Исходная суммарная общность Итерационный процесс выделения факторов заканчивают, когда учтённая выделенными факторами суммарная общность отличается от исходной суммарной общности меньше чем на — наперёд заданное малое число).

Адекватность факторной модели оценивается по матрице остатков (если величины её коэффициентов малы, то модель считают адекватной).

Такова последовательность шагов для нахождения факторных нагрузок. Для нахождения максимума функции (2.24) при условии (2.25) используют метод множителей Лагранжа, который приводит к системе т уравнений относительно m неизвестных

Метод главных компонент

Разновидностью метода главных факторов является метод главных компонент или компонентный анализ, который реализует модель вида

где m — количество параметров (признаков).

Каждый из наблюдаемых, параметров линейно зависит от m не коррелированных между собой новых компонент (факторов) По сравнению с моделью факторного анализа (2.19) в модели (2.28) отсутствует характерный фактор, т.е. считается, что вся вариация параметра может быть объяснена только действием общих или главных факторов. В случае компонентного анализа исходной является матрица коэффициентов корреляции, где на главной диагонали стоят единицы. Результатом компонентного анализа, так же как и факторного, является матрица факторных нагрузок. Поиск факторного решения — это ортогональное преобразование матрицы исходных переменных, в результате которого каждый параметр может быть представлен линейной комбинацией найденных m факторов, которые называют главными компонентами. Главные компоненты легко выражаются через наблюдённые параметры.

Если для дальнейшего анализа оставить все найденные т компонент, то тем самым будет использована вся информация, заложенная в корреляционной матрице. Однако это неудобно и нецелесообразно. На практике обычно оставляют небольшое число компонент, причём количество их определяется долей суммарной дисперсии, учитываемой этими компонентами. Существуют различные критерии для оценки числа оставляемых компонент; чаще всего используют следующий простой критерий: оставляют столько компонент, чтобы суммарная дисперсия, учитываемая ими, составляла заранее установленное число процентов. Первая из компонент должна учитывать максимум суммарной дисперсии параметров; вторая — не коррелировать с первой и учитывать максимум оставшейся дисперсии и так до тех пор, пока вся дисперсия не будет учтена. Сумма учтённых всеми компонентами дисперсий равна сумме дисперсий исходных параметров. Математический аппарат компонентного анализа полностью совпадает с аппаратом метода главных факторов. Отличие только в исходной матрице корреляций.

Компонента (или фактор) через исходные переменные выражается следующим образом:

где — элементы факторного решения:— исходные переменные; .— k-е собственное значение; р — количество оставленных главных
компонент.

Для иллюстрации возможностей факторного анализа покажем, как, используя метод главных компонент, можно сократить размерность пространства независимых переменных, перейдя от взаимно коррелированных параметров к независимым факторам, число которых р

Следует особо остановиться на интерпретации результатов, т.е. на смысловой стороне факторного анализа. Собственно факторный анализ состоит из двух важных этапов; аппроксимации корреляционной матрицы и интерпретации результатов. Аппроксимировать корреляционную матрицу, т.е. объяснить корреляцию между параметрами действием каких-либо общих для них факторов, и выделить сильно коррелирующие группы параметров достаточно просто: из корреляционной матрицы одним из методов

факторного анализа непосредственно получают матрицу нагрузок — факторное решение, которое называют прямым факторным решением. Однако часто это решение не удовлетворяет исследователей. Они хотят интерпретировать фактор как скрытый, но существенный параметр, поведение которого определяет поведение некоторой своей группы наблюдаемых параметров, в то время как, поведение других параметров определяется поведением других факторов. Для этого у каждого параметра должна быть наибольшая по модулю факторная нагрузка с одним общим фактором. Прямое решение следует преобразовать, что равносильно повороту осей общих факторов. Такие преобразования называют вращениями, в итоге получают косвенное факторное решение, которое и является результатом факторного анализа.

Приложения

Значение t — распределения Стьюдента

Понятие о регрессионном анализе. Линейная выборочная регрессия. Метод наименьших квадратов (МНК)

Основные задачи регрессионного анализа:

Вычисление выборочных коэффициентов регрессии
Проверка значимости коэффициентов регрессии
Проверка адекватности модели
Выбор лучшей регрессии
Вычисление стандартных ошибок, анализ остатков

Построение простой регрессии по экспериментальным данным.

Предположим, что случайные величины связаны линейной корреляционной зависимостью для отыскания которой проведено независимых измерений

Диаграмма рассеяния (разброса, рассеивания)

— координаты экспериментальных точек.

Выборочное уравнение прямой линии регрессии имеет вид

Задача: подобрать таким образом, чтобы экспериментальные точки как можно ближе лежали к прямой

Для того, что бы провести прямую воспользуемся МНК. Потребуем,

чтобы

Постулаты регрессионного анализа, которые должны выполняться при использовании МНК.

подчинены нормальному закону распределения.
Дисперсия постоянна и не зависит от номера измерения.
Результаты наблюдений в разных точках независимы.
Входные переменные независимы, неслучайны и измеряются без ошибок.

Введем функцию ошибок и найдём её минимальное значение

Решив систему, получим искомые значения

является несмещенными оценками истинных значений коэффициентов

где

несмещенная оценка корреляционного момента (ковариации),
несмещенная оценка дисперсии

выборочная ковариация,

выборочная дисперсия

— выборочный коэффициент корреляции

Коэффициент детерминации

— наблюдаемое экспериментальное значение при

— предсказанное значение удовлетворяющее уравнению регрессии

— средневыборочное значение

— коэффициент детерминации, доля изменчивости объясняемая рассматриваемой регрессионной моделью. Для парной линейной регрессии

Коэффициент детерминации принимает значения от 0 до 1. Чем ближе значение коэффициента к 1, тем сильнее зависимость. При оценке регрессионных моделей это используется для доказательства адекватности модели (качества регрессии). Для приемлемых моделей предполагается, что коэффициент детерминации должен быть хотя бы не меньше 0,5 (в этом случае коэффициент множественной корреляции превышает по модулю 0,7). Модели с коэффициентом детерминации выше 0,8 можно признать достаточно хорошими (коэффициент корреляции превышает 0,9). Подтверждение адекватности модели проводится на основе дисперсионного анализа путем проверки гипотезы о значимости коэффициента детерминации.

регрессия незначима

регрессия значима

— уровень значимости

— статистический критерий

Критическая область — правосторонняя;

Если то нулевая гипотеза отвергается на заданном уровне значимости, следовательно, коэффициент детерминации значим, следовательно, регрессия адекватна.

Мощность статистического критерия. Функция мощности

Определение. Мощностью критерия называют вероятность попадания критерия в критическую область при условии, что справедлива конкурирующая гипотеза.

Задача: построить критическую область таким образом, чтобы мощность критерия была максимальной.

Определение. Наилучшей критической областью (НКО) называют критическую область, которая обеспечивает минимальную ошибку второго рода

Пример:

По паспортным данным автомобиля расход топлива на 100 километров составляет 10 литров. В результате измерения конструкции двигателя ожидается, что расход топлива уменьшится. Для проверки были проведены испытания 25 автомобилей с модернизированным двигателем; выборочная средняя расхода топлива по результатам испытаний составила 9,3 литра. Предполагая, что выборка получена из нормально распределенной генеральной совокупности с математическим ожиданием и дисперсией проверить гипотезу, утверждающую, что изменение конструкции двигателя не повлияло на расход топлива.

3) Уровень значимости

4) Статистический критерий

5) Критическая область — левосторонняя

следовательно отвергается на уровне значимости

Пример:

В условиях примера 1 предположим, что наряду с рассматривается конкурирующая гипотеза а критическая область задана неравенством Найти вероятность ошибок I рода и II рода.

автомобилей имеют меньший расход топлива)

автомобилей, имеющих расход топлива 9л на 100 км, классифицируются как автомобили, имеющие расход 10 литров).

Определение. Пусть проверяется — критическая область критерия с заданным уровнем значимости Функцией мощности критерия называется вероятность отклонения как функция параметра т.е.

— ошибка 1-ого рода

— мощность критерия

Пример:

Построить график функции мощности из примера 2 для

попадает в критическую область.

Пример:

Какой минимальный объем выборки следует взять в условии примера 2 для того, чтобы обеспечить

Лемма Неймана-Пирсона.

При проверке простой гипотезы против простой альтернативной гипотезы наилучшая критическая область (НКО) критерия заданного уровня значимости состоит из точек выборочного пространства (выборок объема для которых справедливо неравенство:

— константа, зависящая от

— элементы выборки;

— функция правдоподобия при условии, что соответствующая гипотеза верна.

Пример:

Случайная величина имеет нормальное распределение с параметрами известно. Найти НКО для проверки против причем

Решение:

Ошибка первого рода:

НКО:

Пример:

Для зависимости заданной корреляционной табл. 13, найти оценки параметров уравнения линейной регрессии остаточную дисперсию; выяснить значимость уравнения регрессии при

Решение. Воспользуемся предыдущими результатами

Согласно формуле (24), уравнение регрессии будет иметь вид тогда

Для выяснения значимости уравнения регрессии вычислим суммы Составим расчетную таблицу:

Из (27) и (28) по данным таблицы получим

по табл. П7 находим

Вычислим статистику

Так как то уравнение регрессии значимо. Остаточная дисперсия равна

Корреляционный анализ
Статистические решающие функции
Случайные процессы
Выборочный метод
Проверка гипотезы о равенстве вероятностей
Доверительный интервал для математического ожидания
Доверительный интервал для дисперсии
Проверка статистических гипотез

Источник

2.3. Предположения и проверка адекватности уравнения регрессии

Метод наименьших квадратов предполагает ряд ограничений на поведение случайного слагаемого — условия Гаусса — Маркова:

нулевое математическое ожидание, $М(varepsilon _{i}) = 0, i = 1, 2, dots , n$ ;
равные дисперсии ошибок для всех наблюдений, $D(varepsilon _{i}) = sigma ^{2}, i = 1, 2, dots , n$ ;
ошибки модели $varepsilon _{i}$ при разных наблюдениях независимы. В частности, корреляционный момент, или ковариация, между $varepsilon _{i}$ и $varepsilon _{j}$ при равен $0: cov(varepsilon _{i}, varepsilon _{j}) = 0$ для ;
для всех случайные ошибки $varepsilon _{i}$ распределены по нормальному закону, а $x = (x_{1} , x_{2}, dots x_{n})$ — фиксированный вектор.

Одним из показателей качества построенного уравнения регрессии является коэффициент детерминации $R^{2}$ . По определению

(2.6)

В свою очередь,

. Действительно,

Однако . Что и требовалось. Отсюда

(2.7)

Таким образом, коэффициент детерминации можно интерпретировать как часть общей дисперсии , которая объяснена с помощью уравнения регрессии, точнее, с помощью расчетной переменной уравнения регрессии. Максимальное значение коэффициента детерминации $R^{2}$ равно . Это произойдет тогда, когда все остатки $varepsilon _{i} = 0$ , а уравнение прямой регрессии ляжет точно на экспериментальные точки $Y_{i}$ . Таким образом, при построении регрессии коэффициент детерминации $R^{2}$ желательно максимизировать. Именно это и делается при применении МНК, так как из формулы (2.7) вытекает, что максимум $R^{2}$ достигается при минимуме .

Проведем дисперсионный анализ уравнения регрессии, построенного выше:. По данным табл. 2.3, используя возможности пакета STATISTICA, получаем следующее (табл. 2.4).

Таблица 2.4

Итак, .

Отсюда

Значение $tilde{R}^{2}$ близко к единице. Это указывает на хорошее (адекватное) описание объясняемой переменной полученным уравнением регрессии.

Следует признать, что определить истинные значения коэффициентов alpha и beta модели никогда не удастся. Найденные по МНК коэффициенты являются лишь выборочными оценками истинных коэффициентов. Исходя из этого, в отличие от параметров alpha и beta , мы их обозначили alpha и beta . Выборочные оценки alpha и beta являются случайными величинами, так как зависят от выборки $x_{i}$ и $Y_{i}$ , а также от метода расчета. Поэтому, как это принято в математической статистике, необходимо решить вопрос о несмещенности, эффективности и состоятельности оценок alpha и beta , полученных по МНК. Следует также рассмотреть вопрос о построении доверительных интервалов для alpha и beta .

Из формул системы уравнений (2.5) теперь следует, что

(2.8)

Поскольку ,

Следовательно,

(2.9)

Итак, выборочный коэффициент регрессии представлен в виде суммы истинного значения beta и случайной составляющей, зависящей от . Аналогично коэффициент можно разложить на сумму истинного коэффициента и случайной составляющей

(2.10)

где

Из формул (2.9) и (2.10) следует: если случайную ошибку увеличить в раз, т.е. заменить ошибкой , то при определении параметров alpha и beta она тоже увеличится в раз. Это вытекает из соотношения .

Если нет возможности проверить качество полученного уравнения регрессии на независимой выборке, то проводят оценку значимости уравнения регрессии по -критерию Фишера. Выдвигается нулевая гипотеза, что коэффициент регрессии , т.е. и независимы. Конкурирующая гипотеза: . Обратимся к равенству

D(Y) = D(alpha + beta x) + D(varepsilon ).

(2.11)

В условиях нулевой гипотезы $D(Y) = D(alpha ) + beta ^{2}D(varepsilon ) + D(varepsilon ) = D(varepsilon )$ . Следовательно, нулевая гипотеза эквивалентна гипотезе $R^{2} = 0$ .

Рассмотрим линейное уравнение регрессии МНК $tilde{Y} = a+bx_{i}$ , используя формулы (2.8),

$tilde{Y} 1_{i} = a + bx_{i}$ , или $tilde{Y1}_i - Y = b(x_{i} - x)$

Последнее равенство возведем в квадрат и просуммируем по всем наблюдениям . Получаем

(2.12)

Из формулы (2.12) вытекает, что расчетное значение $tilde{Y1}_i$ является функцией единственного параметра — коэффициента регрессии. Это означает, что сумма квадратов $sum (tilde{Y} 1_{i} - Y)^{2}$ стоящая в числителе имеет одну степень свободы.

Известно, что число степеней свободы для суммы квадратов, стоящей в числителе дисперсии независимых наблюдений, равно n - 1 . Согласно теории дисперсионного анализа разложение суммы квадратов на слагаемые влечет соответствующее разложение для степеней свободы слагаемых. Поэтому число степеней свободы суммы квадратов, стоящей в числителе , равно . Далее используем обычную процедуру сравнения дисперсий с различными степенями свободы по -критерию Фишера, строим исправленные суммы квадратов:

(2.13)

(2.14)

По таблице критических значений Фишера (Приложение 5) находим критическое значение критерия $F_{крит} = F(gamma , 1, n - 2)$ , где gamma — выбранный заранее уровень значимости критерия (т.е. вероятность признания регрессии значимой, в то время как она незначима). Если регрессия значима, то $F_{набл} > F_{крит}$ ; в противном случае $F_{набл} < F_{крит}$ . Уровень значимости gamma обычно выбирают равным 0,1; 0,05; 0,01; 0,001. При использовании компьютерных расчетов удобнее не выбирать фиксированное значение gamma , а произвести расчет вероятности ошибочного признания регрессии значимой при данном значении $F_{набл}$ . Так, в табл. 2.4 посчитаны значения $S^{2}_{фактор}= 35,7; S^{2}_{ост} = 0,316; F_{набл} = 113, 097$ и вероятность того, что регрессия незначима . Поэтому вывод о значимости уравнения регрессии можно считать вполне обоснованным.

Как известно из курса математической статистики, несмещенность выборочной оценки $theta _{выб}$ параметра генеральной совокупности $theta _{ген}$ означает, что математическое ожидание $theta _{выб}$ равно $theta _{ген}$ . Докажем несмещенность МНК-оценок коэффициентов и . Необходимо показать, что. Исходя из формул (2.9), (2.10), свойств математического ожидания и первого условия Гаусса — Маркова, получаем

Что, собственно, и требовалось.

В курсе математической статистики определяется теоретический коэффициент корреляции, являющийся мерой линейной связи между случайными величинами и ,

(2.15)

Аналогично определяется выборочный коэффициент корреляции:

(2.16)

Из формул (2.8) следует, что

(2.17)

а уравнение линейной регрессии можно записать в таком виде:

(2.18)

Покажем, что теоретический коэффициент детерминации равен квадрату теоретического коэффициента корреляции между фактическими и теоретическими прогнозными значениями :

В целях построения доверительных интервалов для коэффициентов alpha и beta воспользуемся формулами расчета дисперсий коэффициентов модели и . Имеем

Но Следовательно,

Окончательно,

(2.19)

Аналогично получаем, что

Но

Наконец, ранее было доказано, что
поэтому

Окончательно получаем

(2.20)

Из формул (2.19) и (2.20) можно заключить, что теоретическая дисперсия коэффициентов регрессии зависит от отношения дисперсий случайных ошибок и фактора . С ростом числа наблюдений бесконечности дисперсии коэффициентов стремятся к нулю, что вместе с доказанной выше несмещенностью оценок и свидетельствует о состоятельности МНК-коэффициентов регрессии.

В теории регрессионного анализа также доказывается, что и в условиях Гаусса — Маркова являются эффективными оценками, т.е. имеют минимальную дисперсию.

На практике теоретическую оценку дисперсии коэффициентов и получить невозможно, так как неизвестно точное значение дисперсии случайной ошибки $sigma ^{2}(varepsilon )$ . Однако, оценив дисперсию остатков, можно получить выборочную дисперсию случайных ошибок.

Как было отмечено, число степеней свободы суммы квадратов, стоящей в числителе , равно n - 2 . Следовательно, исправленная выборочная дисперсия случайных ошибок равна

Из формул (2.19), (2.20) получаем исправленные выборочные оценки стандартных отклонений (ошибок) МНК-коэффициентов регрессии:

(2.21)

Если бы были известны стандартные отклонения и , то величины $Z_{a} = (a - alpha )/sigma (a)$ и были бы распределены по нормальному закону с нулевым математическим ожиданием и единичной дисперсией: $Z_{a} ~ N(0, 1); Z_{b} ~ N(0, 1)$ . Но поскольку нам известны только выборочные значения стандартных отклонений (стандартные ошибки) S(b) и S(a) , соответствующие соотношения $t_{a} = (a - alpha )/S(a)$ и $t_{b} = (b - beta )/S(b)$ распределены по закону Стьюдента с числом степеней свободы .

Заметим, что при nu > 30 распределение Стьюдента практически не отличается от нормального распределения (Приложение 4). С учетом сказанного можно построить доверительные интервалы для коэффициентов alpha и beta , и если окажется, что в доверительный интервал попадает 0, то соответствующий коэффициент регрессии объявляется незначимым.

Незначимые коэффициенты обычно исключают из уравнения регрессии. При расчете уравнения регрессии на компьютере для проверки значимости коэффициентов регрессии вычисляют наблюдаемые значения критерия Стьюдента $t_{a}$ и $t_{b}$ при и вероятности $p_{a}, p_{b}$ того, что случайная величина, распределенная по критерию Стьюдента, превысит наблюдаемые значения $t_{a}$ и $t_{b}$ по абсолютной величине. Если эти вероятности малы (меньше выбранного уровня значимости, например 0,05), то коэффициенты считаются значимыми. В противном случае — незначимыми. Так, построив регрессию $tilde{Y} 1 = 0,924 + 0,658x_{i}$ по данным табл. 2.1, получаем табл. 2.5.

Таблица 2.5

Итак, $S(b) = 0,061856; t_{b} = 10,63472, p_{b} = 0,000005; S(a) = 0,383809; t_{a} = 2,40696; p_{a} = 0,04271$ .

Из полученных результатов следует значимость коэффициентов и при уровне значимости 0,05. Как правило, в уравнении регрессии значения стандартных ошибок S(a) и S(b) записывают в скобках под соответствующими коэффициентами, иногда под ними указывают значения -критерия. В результате уравнение принимает следующий вид: