Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Вопрос-Ответ Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064, порядок суммирования не изменен, а уничтожен: никакого порядка суммирования (по второму индексу, что требовалось) в написанном вами выражении нет.
28 мар 21, 06:28    [22300984]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS
x1ca4064, порядок суммирования не изменен, а уничтожен: никакого порядка суммирования (по второму индексу, что требовалось) в написанном вами выражении нет.


Sum((Sum(z[i,j],j=1..3)^2,i=1..3)=Sum(Sum(Sum(z[i,j]*z[i,m],m=1..3),i=1..3),j=1..3)

Вы понимаете для чего делаются все эти манипуляции?
28 мар 21, 06:53    [22300986]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
мне кажется, что вы просто уже сами забыли свою собственную исходную, якобы содержательную, формулировку
x1ca4064
если изменить порядок суммирования так, чтобы внешняя сумма была по переменным, тогда можно получить ошибку, даваемую каждой переменной

-- то есть она, наверное, была бы содержательной -- допускающей обсуждение по существу -- если бы она не была формально ложной, в смысле -- математически не реализуемой.

Это типа как сказать: у нас в этой формуле 2*2=4, поэтому нужно её перегруппировать так, чтобы стало 2*2=5, и тогда формула существенно упростится.
28 мар 21, 10:19    [22301005]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064,

но, кстати, спасибо, это было полезное упражнение: четко осознавать, что разделить дисперсию на -- независимо вычисляемые -- вклады в неё отдельных переменных невозможно, это важно.
28 мар 21, 10:34    [22301008]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
... собственно, это ведь "вопрос на тройку" по курсу статистики: разделятся ли общая дисперсия на сумму дисперсий по отдельным переменным, и/или при каком условии она разделяется (ответ: если переменные попарно ортогональны).

Сообщение было отредактировано: 28 мар 21, 13:39
28 мар 21, 13:45    [22301054]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
Я вспомнил, что вопрос исключительно про линейную регрессию. Интересная вещь может иметь отношение к СПэССу.
В выражении лин.регрессии коэфф-ты при Х определены однозначно только если ранг ковариационной м-цы == n (det>0). Матрицу нетрудно диагонализировать и выявить зависимые переменные, к-рые можно исключить из формулы регрессии.
Возможно, СПэСС так и делает, если не использует ранжирование по к-там корреляции или по модулю собственных чисел.

О записи формул.
Для dim=2, k=const, t=1:p, (xk(t), y) формула вообще прозрачна. Лин. регр. Y на X есть линейная ф-ция g(Xk) (вида gk= b*xk+a):
     Z0 = Bk(y)*Zk
, где обе Z= нормализованные Xk и gk как линейная оценка Y, а
Bk= corr(y,xk)
, Zk= норм-ный Xk, Z0=псевдонорм-ный gk= ( g(Xk) - m0)/s0, m- среднее/матож либо их оценка. s - СКО либо его оценка.
тогда диспрсия остатка= M(Y - g(Xk))^2 минимизируется и равна (1- Bk)*s0^2.

Для dim>2, k=1:N (x1,x2,...,y) писать сложнее. (Лично я умозрительно не понимаю, почему тогда минус: B= -....., возможно в обратной м-це будет на диагонали <0 )
Но дело в том, что в этом случае имеем матрицу cov(y,xk) (и её det()= обобщённая дисперсия). На гл. диагонали индивидуальные дисперсии, остальное - перекрёстные ковариации центрированных пар векторов.

Если вектора окажутся независимыми, то формально тогда cov(xk,xp)=0, и остаётся лишь гл.диагональ. А на ней дисперсии, cov(xk,xk).
Вполне себе имеем даже полное распадение cov() на составные части.
Необязательно даже все пары независимы, достаточно, чтобы матрица распадалась на блоки.

Сообщение было отредактировано: 28 мар 21, 16:07
28 мар 21, 16:09    [22301106]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98
Матрицу нетрудно диагонализировать и выявить зависимые переменные, к-рые можно исключить из формулы регрессии.
Возможно, СПэСС так и делает
да, задача линейной регрессии для конкретного набора регрессоров Xk именно так и решается, и SPSS, естественно, тоже так её решает.

exp98
Если вектора окажутся независимыми
нормальное состояние векторов -- быть независимыми -- не в смысле ортогональными, а в смысле не-коллинеарными:

вектора (1, 1) и (-1, 1) -- ортогональны,
вектора (1, 1) и (2, 2) -- коллинеарны,
вектора (1, 1) и (1, 2) -- просто независимы.

Сообщение было отредактировано: 28 мар 21, 17:38
28 мар 21, 17:43    [22301129]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
Ошибки своей исправления ради только, нужно Bk в квадрате, как здесь:
exp98
тогда диспрсия остатка= M(Y - g(Xk))^2 минимизируется
и равна (1 - Bk^2)*s0^2
.
29 мар 21, 12:08    [22301358]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
Иван FXS
exp98
Если вектора окажутся независимыми
нормальное состояние векторов -- быть независимыми -- не в смысле ортогональными, а в смысле не-коллинеарными:
вектора (1, 1) и (-1, 1) -- ортогональны,
вектора (1, 1) и (2, 2) -- коллинеарны,
вектора (1, 1) и (1, 2) -- просто независимы.
Геометрический взгляд здесь не годится для вероятности, т.к. у вас ЛИНЕЙНАЯ независимость. А я писал про теорвр-ную независимость. И она - именно ортогональность в геометрич-м смысле, т.к. corr( (1, 1) и (1, 2) )<>0.
Если пользоваться геометрией, тогда достаточно начал линейной алгебры, чтобы найти проекцию вектора на линейное пространство остальных коорд-т. Правда, проекция будет ближайшим вектором по метрике L2. И она будет примером квадратичной регрессии, а вы же хотели линейной, для к-рой расстояние считается вдоль оси, а не вдоль нормали к гиперплоскости. Поискать направление проекции - и будет как линейная. В вашем изолированном примере.

Добавил. В cov() сравниваются отклонения от среднего, в скалярном произв-нии - Cos() самих векторов. Формулы влекут различия в последствиях.

Сообщение было отредактировано: 2 апр 21, 12:24
2 апр 21, 12:26    [22303322]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98, честно признаюсь, моих мозгов не хватает, чтобы понять слишком многое из того, что вы пишете (хотя, скорее всего, вам это не важно).

exp98
Геометрический взгляд здесь не годится для вероятности, т.к. у вас ЛИНЕЙНАЯ независимость. А я писал про теорвр-ную независимость. И она - именно ортогональность в геометрич-м смысле, т.к. corr( (1, 1) и (1, 2) )<>0.
1) "геометрический взгляд" у меня был лишь иллюстрацией того, что я понимаю "независимость" не как ортогональность.

2) линейная регрессия -- это не из "теорвр", а из (математической) статистики.

3) пожалуйста, вот то же самое на языке статистики:

Corr(X1, X2) = 0 -- X1 и X2 ортогональны;
Abs(Corr(X1, X2)) = 1 -- X1 и X2 коллинеарны;
все остальные значения Corr(X1, X2) -- X1 и X2 просто независимы.
2 апр 21, 13:35    [22303369]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
Все форумы / Вопрос-Ответ Ответить