Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Вопрос-Ответ Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
Пусть есть зависимая переменная Y (которая суть выборка, набор чисел), и вычислена её линейная регрессия на набор независимых переменных X(i) (где i=1..N), которые тоже суть выборки.

И есть ещё M других (выборок) независимых переменных X(k), где k=N+1..N+M.

То есть всего независимых переменных N+M, из них по каким-то обстоятельствам N штук "включены в регрессию", а М других -- не включены.

Мой опыт общения с пакетом SPSS привел меня к убеждению, что этот умный пакет умеет как-то решать (вычислять, конечно), какую -- одну конкретную -- из N переменных, нужно заменить на какую -- одну конкретную -- из М переменных, чтобы регрессия "стала лучше".

Может кто-нибудь разъяснить на пальцах, какая там у этого логика (критерии)?

Сообщение было отредактировано: 26 мар 21, 21:23
26 мар 21, 21:28    [22300580]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
К сож. у меня нет ключа к пакету СПСС, поэтому предположу.
Чаще всего логика "регрессии" (синонимы редукция, сокращение, приближение, деградация ...) такова, чтобы извилистое многомерное облако данных м.б. предсказать красивым и удобным многообразием из того же пространства. Хотя это м.б. вообще пр-во иной природы. Сравнить можно с обычным проектированием на подпр-во.
В частности линейная Р. - когда проектируют на (т.е. ищут) а) гиперплоскость; б) чтобы минимизировать Дисперсию от этой плоскости до исходных точек.
В случае регрессии на прямую линию следующая точка д. предсказываться лучше, чем любой другой прямой.
Собственно это критерий - D-->min. Необязательно часть переменных даёт вклад==0% в D. Ну можно поставить задачу, чтобы этот вклад был маленьким.
Например есть метод главных компонент. Как в СПСС, хр3.

Например ... здесь Предсказать цены на золото? Как посчитать условное N-мерное распределение вероятностей..

Сообщение было отредактировано: 26 мар 21, 23:17
26 мар 21, 23:15    [22300616]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98
В случае регрессии на прямую линию следующая точка д. предсказываться лучше, чем любой другой прямой.
не понял, о какой "следующей точке" речь -- для регрессии все точки равноправны и даны одновременно -- никаких "следующих" среди них нет.
26 мар 21, 23:31    [22300620]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
booby
Member

Откуда:
Сообщений: 2534
Иван FXS
exp98
В случае регрессии на прямую линию следующая точка д. предсказываться лучше, чем любой другой прямой.
не понял, о какой "следующей точке" речь -- для регрессии все точки равноправны и даны одновременно -- никаких "следующих" среди них нет.


обычно отбрасывают как дефектные такие наборы, которые содержат в себе точки со значениями, "далеко" отстоящими от исходного мат ожидания значения yi в этой точке xi, полученного на полном наборе.
Чем больше таких сильно отклоняющихся от матожидания точек, тем "дефектнее" набор в целом.

Величину отклонения измеряют в сигмах (квадратных корнях из дисперсии).
Критерий усредненного отклонения набора (сколько средних по набору сигм отбрасывать) - должен бы быть, по идее, настраиваемым параметром.

Про SPSS тоже ничего не знаю.
Но вся регрессия всегда была устроена как-то так.
А потом строят приближающую кривую.

Сообщение было отредактировано: 26 мар 21, 23:48
26 мар 21, 23:52    [22300626]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
booby
Member

Откуда:
Сообщений: 2534
booby,

если выбросов в наборе мало, но они большие, иногда просто выкалывают именно эти выбросы, не отбрасывая весь набор целиком.
26 мар 21, 23:59    [22300628]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
booby
Member

Откуда:
Сообщений: 2534
вообще, это странноватая тема. Куда умнее скушать помидор.

Когда речь заходит о регрессиях и корреляциях, почти всегда это означает, что идут "туда, не знаю куда"
и измеряют "то, не знаю что".
Изредка бывают осмысленны отрицательные результаты сорта "корреляция не обнаружена".
Все остальное, имхо, почти всегда вынутый из носа откровенный мусор, который и на хвост автора даже не прилепишь.
...
27 мар 21, 00:08    [22300629]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
booby
обычно отбрасывают как дефектные такие наборы, которые содержат в себе точки со значениями, "далеко" отстоящими от исходного мат ожидания значения yi в этой точке xi, полученного на полном наборе
чота вы тут перемудрили -- каком таком "полном наборе", да ещё и с "исходным мат ожиданием"?

Сообщение было отредактировано: 27 мар 21, 02:06
27 мар 21, 02:11    [22300656]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
booby
обычно отбрасывают как дефектные такие наборы, которые содержат в себе точки со значениями, "далеко" отстоящими от исходного мат ожидания значения yi в этой точке xi, полученного на полном наборе.
Чем больше таких сильно отклоняющихся от матожидания точек, тем "дефектнее" набор в целом.

Y = {111, 123, 986, 678, 874, 963, 733, 764}
X1= {876, 735, 900, 538, 813, 760, 258, 614}
X2= {1, 2, 3, 4, 5, 6, 7, 8}
X3= {228, 117, 990, 674, 781, 888, 981, 972}
X4= {1, 1, 111, 1, 1, 1, 1, 1}

-- где тут "полный набор" и "исходное мат ожидание"?
27 мар 21, 02:25    [22300657]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS

Может кто-нибудь разъяснить на пальцах, какая там у этого логика (критерии)?


Не знаю, как делает это пакет, но я бы сделал так:
ввел новые независмые переменные z[i]=q[i]*X[i]+p[i] (i=1..N), так чтобы, матожидание новых переменных =0 и дисперсия =1, возможно, также нормировал и центровал Y,
провел регрессию и получил:
Y=Sum(A[i]*z[i],i=1..N)+B

сумма квадратов ошибок:

E=Sum((Sum(A[j]*z[i,j],j=1..N)+B-Y[i])^2,i=1..K), K=число точек

В таком представлении идет суммирование ошибки по точкам, если изменить порядок суммирования так, чтобы внешняя сумма была по переменным, тогда можно получить ошибку, даваемую каждой переменной.
Переменную с самой большой ошибкой рассматривал как кандидата на замену.
27 мар 21, 07:58    [22300669]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064
ввел новые независмые переменные [...], так чтобы, матожидание новых переменных =0 [...], также [...] центровал Y,
провел регрессию и получил:
Y=Sum(A[i]*z[i],i=1..N)+B
после перехода ко всем (и иксы, и игрек) центрированным переменным -- регрессия даст B=0 ... если вы B понимаете как константу, а вы, вроде бы, понимаете так, поскольку индекса [i] нигде у него не ставите.

Сообщение было отредактировано: 27 мар 21, 09:51
27 мар 21, 09:53    [22300685]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
Иван FXS
exp98
В случае регрессии на прямую линию следующая точка д. предсказываться лучше, чем любой другой прямой.
не понял, о какой "следующей точке" речь -- для регрессии все точки равноправны и даны одновременно -- никаких "следующих" среди них нет.
Так м.б. в вашем случае, если все У уже даны и задача прогнозирования не ставится, а нужна всего лишь оценка матож. Но даже если имеются пропуски, уже задача интерполирования. А я написал для общего случая, самого популярного в моём понимании - для экстраполяции.
27 мар 21, 12:16    [22300720]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS
регрессия даст B=0 ... если вы B понимаете как константу, а вы, вроде бы, понимаете так, поскольку индекса [i] нигде у него не ставите.

Именно так - просто сомневался, надо ли Y мучить
27 мар 21, 12:36    [22300726]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
Иван FXS, у кого-то из нас пальцы не той системы, да просто разных систем. Прочтите, наконец, хорошенькое введение в теорию по ссылке. Или первод в Хардле Непараметрическая регрессия. Добавьте представление об "эллипсоиде рассеяния". Всё прозрачно.
Обе есть в инете.
В последней (спец. посмотрел) достаточно вводных 2-3 странички: с.10, 23, 30-31. Обе изложены прекрасным художественным языком. В отличие от современных и западных писак. И написаныдля уяснения теории, а не для зубрёжки и безоглядного потом применения.

Буби тоже верно говорит. Потому что в регрессии оценивается матож для У.
"Исходное матож" там не исходное, а оцениваемое, априорное, для У.
Отбрасывать можно и редкие выбросы, если ставится такая задача. В частности овзможна "коррекция неправильных или отсутствующих" данных. Про помидоры только огульно не стоит.

Сообщение было отредактировано: 27 мар 21, 12:33
27 мар 21, 12:39    [22300727]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
Иван FXS
booby
обычно отбрасывают как дефектные такие наборы, которые содержат в себе точки со значениями, "далеко" отстоящими от исходного мат ожидания значения yi в этой точке xi, полученного на полном наборе.
Чем больше таких сильно отклоняющихся от матожидания точек, тем "дефектнее" набор в целом.

Y = {111, 123, 986, 678, 874, 963, 733, 764}
X1= {876, 735, 900, 538, 813, 760, 258, 614}
X2= {1, 2, 3, 4, 5, 6, 7, 8}
X3= {228, 117, 990, 674, 781, 888, 981, 972}
X4= {1, 1, 111, 1, 1, 1, 1, 1}

-- где тут "полный набор" и "исходное мат ожидание"?
У вас Х="измерения", У="отклик системы"
Хотите кооректируйте брак измерений, хотите - выбросы в отклике. Как свою модель положите, так она и поплывёт.

К простым числам что ли вопрос?
27 мар 21, 12:50    [22300730]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98
Иван FXS
-- где тут "полный набор" и "исходное мат ожидание"?
У вас Х="измерения", У="отклик системы"
похоже на разговор людей не понимающих языки друг друга:

«У вас Х="измерения", У="отклик системы"»

-- это ответ на какой вопрос? Неужели на вопрос «где тут "полный набор" и "исходное мат ожидание"?» ?

Я, вроде, ввёл (в посте) терминологию:

"... зависимая переменная Y ... независимых переменных X(k)"

-- она что, очень плохая, чем она вас не устраивает? Кого и куда вы продвигаете, тратя ресур на замену (подмену) терминологии?

Сообщение было отредактировано: 27 мар 21, 14:35
27 мар 21, 14:40    [22300770]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98
Прочтите, наконец, хорошенькое введение в теорию по ссылке
увы, я не вижу тут никакой ссылки... наверное, у меня глаза "не той системы". Конструктива в предложении что-то "прочесть, наконец, хорошенькое", я тоже не вижу ... и тоже, наверное, из-за "не той системы".
27 мар 21, 14:45    [22300774]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98
Потому что в регрессии оценивается матож для У
я не понимаю, в каком смысле и зачем вы используете тут слово "матожидание"...
27 мар 21, 14:50    [22300777]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
Иван FXS
exp98
Потому что в регрессии оценивается матож для У
я не понимаю, в каком смысле и зачем вы используете тут слово "матожидание"...


Для того, чтобы обсуждать "матожидание Y", нужно представить Y как случайную величину, а значит -- описать то (механизм, процедуру, ситуацию), как мы будем получать (потенциально) неограниченное количество случайных значений этой величины. А оно кому тут надо? Мне -- нет.
27 мар 21, 14:54    [22300778]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064
E=Sum((Sum(A[j]*z[i,j],j=1..N)+B-Y[i])^2,i=1..K), K=число точек
то, что можно запросто положить B=0 -- это ничтожный косяк... А вот то, что у вас суммирование по j сидит внутри возведения в квадрат, а по i -- снаружи этого возведения в квадрат, и вы как-то легко намереваетесь "изменить порядок суммирования" ... это вот да!
27 мар 21, 15:09    [22300781]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
Иван FXS
... описать то (механизм, процедуру, ситуацию), как мы будем получать (потенциально) неограниченное количество случайных значений этой величины. А оно кому тут надо? Мне -- нет.
Ваша тема, вам и описывать. Правда к реинжинирингу СПСС это меня не приблизит.
Я давно усвоил. Задаёте вопрос как бы в ваккууме, а после выясняется, что это "моментальный" срез общего вашего же случая. Так что косить вам свой газон своими руками.
Матож. применимо бывает и к конечному набору чисел и даже! векторов. При надлежащей постановке задачи.

Иван FXS
увы, я не вижу тут никакой ссылки... наверное, у меня глаза "не той системы". Конструктива в предложении что-то "прочесть, наконец, хорошенькое", я тоже не вижу ... и тоже, наверное, из-за "не той системы".
С причиной согласен.
27 мар 21, 16:58    [22300808]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS
А вот то, что у вас суммирование по j сидит внутри возведения в квадрат, а по i -- снаружи этого возведения в квадрат, и вы как-то легко намереваетесь "изменить порядок суммирования" ... это вот да!


Что в этом такого?
27 мар 21, 20:40    [22300895]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064
Что в этом такого?
ну, попробуйте:
(z11+z12+z13)^2 + (z21+z22+z23)^2 + (z31+z32+z33)^2
28 мар 21, 02:48    [22300977]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS,
Что-то в таком духе:
z11*(z11+z12+z13)+z21*(z21+z22+z23)+z31*(z31+z32+z33)
+z12*(z11+z12+z13)+z22*(z21+z22+z23)+z32*(z31+z32+z33)
+z13*(z11+z12+z13)+z23*(z21+z22+z23)+z33*(z31+z32+z33)
28 мар 21, 04:44    [22300980]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064, ничего, что z11 присутствует не только в первом члене, но и в 4-м, и в 7-м?

z11*(z11+z12+z13)+z21*(z21+z22+z23)+z31*(z31+z32+z33)
+z12*(z11+z12+z13)+z22*(z21+z22+z23)+z32*(z31+z32+z33)
+z13*(z11+z12+z13)+z23*(z21+z22+z23)+z33*(z31+z32+z33)
28 мар 21, 06:09    [22300982]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS
x1ca4064, ничего, что z11 присутствует не только в первом члене, но и в 4-м, и в 7-м?


Я проблем не вижу: порядок суммирования изменен необходимым образом и, вроде, позволяет решить исходную задачу.
28 мар 21, 06:14    [22300983]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064, порядок суммирования не изменен, а уничтожен: никакого порядка суммирования (по второму индексу, что требовалось) в написанном вами выражении нет.
28 мар 21, 06:28    [22300984]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS
x1ca4064, порядок суммирования не изменен, а уничтожен: никакого порядка суммирования (по второму индексу, что требовалось) в написанном вами выражении нет.


Sum((Sum(z[i,j],j=1..3)^2,i=1..3)=Sum(Sum(Sum(z[i,j]*z[i,m],m=1..3),i=1..3),j=1..3)

Вы понимаете для чего делаются все эти манипуляции?
28 мар 21, 06:53    [22300986]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
мне кажется, что вы просто уже сами забыли свою собственную исходную, якобы содержательную, формулировку
x1ca4064
если изменить порядок суммирования так, чтобы внешняя сумма была по переменным, тогда можно получить ошибку, даваемую каждой переменной

-- то есть она, наверное, была бы содержательной -- допускающей обсуждение по существу -- если бы она не была формально ложной, в смысле -- математически не реализуемой.

Это типа как сказать: у нас в этой формуле 2*2=4, поэтому нужно её перегруппировать так, чтобы стало 2*2=5, и тогда формула существенно упростится.
28 мар 21, 10:19    [22301005]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064,

но, кстати, спасибо, это было полезное упражнение: четко осознавать, что разделить дисперсию на -- независимо вычисляемые -- вклады в неё отдельных переменных невозможно, это важно.
28 мар 21, 10:34    [22301008]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
... собственно, это ведь "вопрос на тройку" по курсу статистики: разделятся ли общая дисперсия на сумму дисперсий по отдельным переменным, и/или при каком условии она разделяется (ответ: если переменные попарно ортогональны).

Сообщение было отредактировано: 28 мар 21, 13:39
28 мар 21, 13:45    [22301054]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
Я вспомнил, что вопрос исключительно про линейную регрессию. Интересная вещь может иметь отношение к СПэССу.
В выражении лин.регрессии коэфф-ты при Х определены однозначно только если ранг ковариационной м-цы == n (det>0). Матрицу нетрудно диагонализировать и выявить зависимые переменные, к-рые можно исключить из формулы регрессии.
Возможно, СПэСС так и делает, если не использует ранжирование по к-там корреляции или по модулю собственных чисел.

О записи формул.
Для dim=2, k=const, t=1:p, (xk(t), y) формула вообще прозрачна. Лин. регр. Y на X есть линейная ф-ция g(Xk) (вида gk= b*xk+a):
     Z0 = Bk(y)*Zk
, где обе Z= нормализованные Xk и gk как линейная оценка Y, а
Bk= corr(y,xk)
, Zk= норм-ный Xk, Z0=псевдонорм-ный gk= ( g(Xk) - m0)/s0, m- среднее/матож либо их оценка. s - СКО либо его оценка.
тогда диспрсия остатка= M(Y - g(Xk))^2 минимизируется и равна (1- Bk)*s0^2.

Для dim>2, k=1:N (x1,x2,...,y) писать сложнее. (Лично я умозрительно не понимаю, почему тогда минус: B= -....., возможно в обратной м-це будет на диагонали <0 )
Но дело в том, что в этом случае имеем матрицу cov(y,xk) (и её det()= обобщённая дисперсия). На гл. диагонали индивидуальные дисперсии, остальное - перекрёстные ковариации центрированных пар векторов.

Если вектора окажутся независимыми, то формально тогда cov(xk,xp)=0, и остаётся лишь гл.диагональ. А на ней дисперсии, cov(xk,xk).
Вполне себе имеем даже полное распадение cov() на составные части.
Необязательно даже все пары независимы, достаточно, чтобы матрица распадалась на блоки.

Сообщение было отредактировано: 28 мар 21, 16:07
28 мар 21, 16:09    [22301106]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98
Матрицу нетрудно диагонализировать и выявить зависимые переменные, к-рые можно исключить из формулы регрессии.
Возможно, СПэСС так и делает
да, задача линейной регрессии для конкретного набора регрессоров Xk именно так и решается, и SPSS, естественно, тоже так её решает.

exp98
Если вектора окажутся независимыми
нормальное состояние векторов -- быть независимыми -- не в смысле ортогональными, а в смысле не-коллинеарными:

вектора (1, 1) и (-1, 1) -- ортогональны,
вектора (1, 1) и (2, 2) -- коллинеарны,
вектора (1, 1) и (1, 2) -- просто независимы.

Сообщение было отредактировано: 28 мар 21, 17:38
28 мар 21, 17:43    [22301129]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
Ошибки своей исправления ради только, нужно Bk в квадрате, как здесь:
exp98
тогда диспрсия остатка= M(Y - g(Xk))^2 минимизируется
и равна (1 - Bk^2)*s0^2
.
29 мар 21, 12:08    [22301358]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3008
Иван FXS
exp98
Если вектора окажутся независимыми
нормальное состояние векторов -- быть независимыми -- не в смысле ортогональными, а в смысле не-коллинеарными:
вектора (1, 1) и (-1, 1) -- ортогональны,
вектора (1, 1) и (2, 2) -- коллинеарны,
вектора (1, 1) и (1, 2) -- просто независимы.
Геометрический взгляд здесь не годится для вероятности, т.к. у вас ЛИНЕЙНАЯ независимость. А я писал про теорвр-ную независимость. И она - именно ортогональность в геометрич-м смысле, т.к. corr( (1, 1) и (1, 2) )<>0.
Если пользоваться геометрией, тогда достаточно начал линейной алгебры, чтобы найти проекцию вектора на линейное пространство остальных коорд-т. Правда, проекция будет ближайшим вектором по метрике L2. И она будет примером квадратичной регрессии, а вы же хотели линейной, для к-рой расстояние считается вдоль оси, а не вдоль нормали к гиперплоскости. Поискать направление проекции - и будет как линейная. В вашем изолированном примере.

Добавил. В cov() сравниваются отклонения от среднего, в скалярном произв-нии - Cos() самих векторов. Формулы влекут различия в последствиях.

Сообщение было отредактировано: 2 апр 21, 12:24
2 апр 21, 12:26    [22303322]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98, честно признаюсь, моих мозгов не хватает, чтобы понять слишком многое из того, что вы пишете (хотя, скорее всего, вам это не важно).

exp98
Геометрический взгляд здесь не годится для вероятности, т.к. у вас ЛИНЕЙНАЯ независимость. А я писал про теорвр-ную независимость. И она - именно ортогональность в геометрич-м смысле, т.к. corr( (1, 1) и (1, 2) )<>0.
1) "геометрический взгляд" у меня был лишь иллюстрацией того, что я понимаю "независимость" не как ортогональность.

2) линейная регрессия -- это не из "теорвр", а из (математической) статистики.

3) пожалуйста, вот то же самое на языке статистики:

Corr(X1, X2) = 0 -- X1 и X2 ортогональны;
Abs(Corr(X1, X2)) = 1 -- X1 и X2 коллинеарны;
все остальные значения Corr(X1, X2) -- X1 и X2 просто независимы.
2 апр 21, 13:35    [22303369]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2      [все]
Все форумы / Вопрос-Ответ Ответить