Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Вопрос-Ответ Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
Пусть есть зависимая переменная Y (которая суть выборка, набор чисел), и вычислена её линейная регрессия на набор независимых переменных X(i) (где i=1..N), которые тоже суть выборки.

И есть ещё M других (выборок) независимых переменных X(k), где k=N+1..N+M.

То есть всего независимых переменных N+M, из них по каким-то обстоятельствам N штук "включены в регрессию", а М других -- не включены.

Мой опыт общения с пакетом SPSS привел меня к убеждению, что этот умный пакет умеет как-то решать (вычислять, конечно), какую -- одну конкретную -- из N переменных, нужно заменить на какую -- одну конкретную -- из М переменных, чтобы регрессия "стала лучше".

Может кто-нибудь разъяснить на пальцах, какая там у этого логика (критерии)?

Сообщение было отредактировано: 26 мар 21, 21:23
26 мар 21, 21:28    [22300580]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3007
К сож. у меня нет ключа к пакету СПСС, поэтому предположу.
Чаще всего логика "регрессии" (синонимы редукция, сокращение, приближение, деградация ...) такова, чтобы извилистое многомерное облако данных м.б. предсказать красивым и удобным многообразием из того же пространства. Хотя это м.б. вообще пр-во иной природы. Сравнить можно с обычным проектированием на подпр-во.
В частности линейная Р. - когда проектируют на (т.е. ищут) а) гиперплоскость; б) чтобы минимизировать Дисперсию от этой плоскости до исходных точек.
В случае регрессии на прямую линию следующая точка д. предсказываться лучше, чем любой другой прямой.
Собственно это критерий - D-->min. Необязательно часть переменных даёт вклад==0% в D. Ну можно поставить задачу, чтобы этот вклад был маленьким.
Например есть метод главных компонент. Как в СПСС, хр3.

Например ... здесь Предсказать цены на золото? Как посчитать условное N-мерное распределение вероятностей..

Сообщение было отредактировано: 26 мар 21, 23:17
26 мар 21, 23:15    [22300616]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98
В случае регрессии на прямую линию следующая точка д. предсказываться лучше, чем любой другой прямой.
не понял, о какой "следующей точке" речь -- для регрессии все точки равноправны и даны одновременно -- никаких "следующих" среди них нет.
26 мар 21, 23:31    [22300620]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
booby
Member

Откуда:
Сообщений: 2534
Иван FXS
exp98
В случае регрессии на прямую линию следующая точка д. предсказываться лучше, чем любой другой прямой.
не понял, о какой "следующей точке" речь -- для регрессии все точки равноправны и даны одновременно -- никаких "следующих" среди них нет.


обычно отбрасывают как дефектные такие наборы, которые содержат в себе точки со значениями, "далеко" отстоящими от исходного мат ожидания значения yi в этой точке xi, полученного на полном наборе.
Чем больше таких сильно отклоняющихся от матожидания точек, тем "дефектнее" набор в целом.

Величину отклонения измеряют в сигмах (квадратных корнях из дисперсии).
Критерий усредненного отклонения набора (сколько средних по набору сигм отбрасывать) - должен бы быть, по идее, настраиваемым параметром.

Про SPSS тоже ничего не знаю.
Но вся регрессия всегда была устроена как-то так.
А потом строят приближающую кривую.

Сообщение было отредактировано: 26 мар 21, 23:48
26 мар 21, 23:52    [22300626]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
booby
Member

Откуда:
Сообщений: 2534
booby,

если выбросов в наборе мало, но они большие, иногда просто выкалывают именно эти выбросы, не отбрасывая весь набор целиком.
26 мар 21, 23:59    [22300628]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
booby
Member

Откуда:
Сообщений: 2534
вообще, это странноватая тема. Куда умнее скушать помидор.

Когда речь заходит о регрессиях и корреляциях, почти всегда это означает, что идут "туда, не знаю куда"
и измеряют "то, не знаю что".
Изредка бывают осмысленны отрицательные результаты сорта "корреляция не обнаружена".
Все остальное, имхо, почти всегда вынутый из носа откровенный мусор, который и на хвост автора даже не прилепишь.
...
27 мар 21, 00:08    [22300629]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
booby
обычно отбрасывают как дефектные такие наборы, которые содержат в себе точки со значениями, "далеко" отстоящими от исходного мат ожидания значения yi в этой точке xi, полученного на полном наборе
чота вы тут перемудрили -- каком таком "полном наборе", да ещё и с "исходным мат ожиданием"?

Сообщение было отредактировано: 27 мар 21, 02:06
27 мар 21, 02:11    [22300656]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
booby
обычно отбрасывают как дефектные такие наборы, которые содержат в себе точки со значениями, "далеко" отстоящими от исходного мат ожидания значения yi в этой точке xi, полученного на полном наборе.
Чем больше таких сильно отклоняющихся от матожидания точек, тем "дефектнее" набор в целом.

Y = {111, 123, 986, 678, 874, 963, 733, 764}
X1= {876, 735, 900, 538, 813, 760, 258, 614}
X2= {1, 2, 3, 4, 5, 6, 7, 8}
X3= {228, 117, 990, 674, 781, 888, 981, 972}
X4= {1, 1, 111, 1, 1, 1, 1, 1}

-- где тут "полный набор" и "исходное мат ожидание"?
27 мар 21, 02:25    [22300657]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS

Может кто-нибудь разъяснить на пальцах, какая там у этого логика (критерии)?


Не знаю, как делает это пакет, но я бы сделал так:
ввел новые независмые переменные z[i]=q[i]*X[i]+p[i] (i=1..N), так чтобы, матожидание новых переменных =0 и дисперсия =1, возможно, также нормировал и центровал Y,
провел регрессию и получил:
Y=Sum(A[i]*z[i],i=1..N)+B

сумма квадратов ошибок:

E=Sum((Sum(A[j]*z[i,j],j=1..N)+B-Y[i])^2,i=1..K), K=число точек

В таком представлении идет суммирование ошибки по точкам, если изменить порядок суммирования так, чтобы внешняя сумма была по переменным, тогда можно получить ошибку, даваемую каждой переменной.
Переменную с самой большой ошибкой рассматривал как кандидата на замену.
27 мар 21, 07:58    [22300669]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064
ввел новые независмые переменные [...], так чтобы, матожидание новых переменных =0 [...], также [...] центровал Y,
провел регрессию и получил:
Y=Sum(A[i]*z[i],i=1..N)+B
после перехода ко всем (и иксы, и игрек) центрированным переменным -- регрессия даст B=0 ... если вы B понимаете как константу, а вы, вроде бы, понимаете так, поскольку индекса [i] нигде у него не ставите.

Сообщение было отредактировано: 27 мар 21, 09:51
27 мар 21, 09:53    [22300685]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3007
Иван FXS
exp98
В случае регрессии на прямую линию следующая точка д. предсказываться лучше, чем любой другой прямой.
не понял, о какой "следующей точке" речь -- для регрессии все точки равноправны и даны одновременно -- никаких "следующих" среди них нет.
Так м.б. в вашем случае, если все У уже даны и задача прогнозирования не ставится, а нужна всего лишь оценка матож. Но даже если имеются пропуски, уже задача интерполирования. А я написал для общего случая, самого популярного в моём понимании - для экстраполяции.
27 мар 21, 12:16    [22300720]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS
регрессия даст B=0 ... если вы B понимаете как константу, а вы, вроде бы, понимаете так, поскольку индекса [i] нигде у него не ставите.

Именно так - просто сомневался, надо ли Y мучить
27 мар 21, 12:36    [22300726]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3007
Иван FXS, у кого-то из нас пальцы не той системы, да просто разных систем. Прочтите, наконец, хорошенькое введение в теорию по ссылке. Или первод в Хардле Непараметрическая регрессия. Добавьте представление об "эллипсоиде рассеяния". Всё прозрачно.
Обе есть в инете.
В последней (спец. посмотрел) достаточно вводных 2-3 странички: с.10, 23, 30-31. Обе изложены прекрасным художественным языком. В отличие от современных и западных писак. И написаныдля уяснения теории, а не для зубрёжки и безоглядного потом применения.

Буби тоже верно говорит. Потому что в регрессии оценивается матож для У.
"Исходное матож" там не исходное, а оцениваемое, априорное, для У.
Отбрасывать можно и редкие выбросы, если ставится такая задача. В частности овзможна "коррекция неправильных или отсутствующих" данных. Про помидоры только огульно не стоит.

Сообщение было отредактировано: 27 мар 21, 12:33
27 мар 21, 12:39    [22300727]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3007
Иван FXS
booby
обычно отбрасывают как дефектные такие наборы, которые содержат в себе точки со значениями, "далеко" отстоящими от исходного мат ожидания значения yi в этой точке xi, полученного на полном наборе.
Чем больше таких сильно отклоняющихся от матожидания точек, тем "дефектнее" набор в целом.

Y = {111, 123, 986, 678, 874, 963, 733, 764}
X1= {876, 735, 900, 538, 813, 760, 258, 614}
X2= {1, 2, 3, 4, 5, 6, 7, 8}
X3= {228, 117, 990, 674, 781, 888, 981, 972}
X4= {1, 1, 111, 1, 1, 1, 1, 1}

-- где тут "полный набор" и "исходное мат ожидание"?
У вас Х="измерения", У="отклик системы"
Хотите кооректируйте брак измерений, хотите - выбросы в отклике. Как свою модель положите, так она и поплывёт.

К простым числам что ли вопрос?
27 мар 21, 12:50    [22300730]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98
Иван FXS
-- где тут "полный набор" и "исходное мат ожидание"?
У вас Х="измерения", У="отклик системы"
похоже на разговор людей не понимающих языки друг друга:

«У вас Х="измерения", У="отклик системы"»

-- это ответ на какой вопрос? Неужели на вопрос «где тут "полный набор" и "исходное мат ожидание"?» ?

Я, вроде, ввёл (в посте) терминологию:

"... зависимая переменная Y ... независимых переменных X(k)"

-- она что, очень плохая, чем она вас не устраивает? Кого и куда вы продвигаете, тратя ресур на замену (подмену) терминологии?

Сообщение было отредактировано: 27 мар 21, 14:35
27 мар 21, 14:40    [22300770]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98
Прочтите, наконец, хорошенькое введение в теорию по ссылке
увы, я не вижу тут никакой ссылки... наверное, у меня глаза "не той системы". Конструктива в предложении что-то "прочесть, наконец, хорошенькое", я тоже не вижу ... и тоже, наверное, из-за "не той системы".
27 мар 21, 14:45    [22300774]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
exp98
Потому что в регрессии оценивается матож для У
я не понимаю, в каком смысле и зачем вы используете тут слово "матожидание"...
27 мар 21, 14:50    [22300777]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
Иван FXS
exp98
Потому что в регрессии оценивается матож для У
я не понимаю, в каком смысле и зачем вы используете тут слово "матожидание"...


Для того, чтобы обсуждать "матожидание Y", нужно представить Y как случайную величину, а значит -- описать то (механизм, процедуру, ситуацию), как мы будем получать (потенциально) неограниченное количество случайных значений этой величины. А оно кому тут надо? Мне -- нет.
27 мар 21, 14:54    [22300778]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064
E=Sum((Sum(A[j]*z[i,j],j=1..N)+B-Y[i])^2,i=1..K), K=число точек
то, что можно запросто положить B=0 -- это ничтожный косяк... А вот то, что у вас суммирование по j сидит внутри возведения в квадрат, а по i -- снаружи этого возведения в квадрат, и вы как-то легко намереваетесь "изменить порядок суммирования" ... это вот да!
27 мар 21, 15:09    [22300781]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
exp98
Member

Откуда:
Сообщений: 3007
Иван FXS
... описать то (механизм, процедуру, ситуацию), как мы будем получать (потенциально) неограниченное количество случайных значений этой величины. А оно кому тут надо? Мне -- нет.
Ваша тема, вам и описывать. Правда к реинжинирингу СПСС это меня не приблизит.
Я давно усвоил. Задаёте вопрос как бы в ваккууме, а после выясняется, что это "моментальный" срез общего вашего же случая. Так что косить вам свой газон своими руками.
Матож. применимо бывает и к конечному набору чисел и даже! векторов. При надлежащей постановке задачи.

Иван FXS
увы, я не вижу тут никакой ссылки... наверное, у меня глаза "не той системы". Конструктива в предложении что-то "прочесть, наконец, хорошенькое", я тоже не вижу ... и тоже, наверное, из-за "не той системы".
С причиной согласен.
27 мар 21, 16:58    [22300808]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS
А вот то, что у вас суммирование по j сидит внутри возведения в квадрат, а по i -- снаружи этого возведения в квадрат, и вы как-то легко намереваетесь "изменить порядок суммирования" ... это вот да!


Что в этом такого?
27 мар 21, 20:40    [22300895]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064
Что в этом такого?
ну, попробуйте:
(z11+z12+z13)^2 + (z21+z22+z23)^2 + (z31+z32+z33)^2
28 мар 21, 02:48    [22300977]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS,
Что-то в таком духе:
z11*(z11+z12+z13)+z21*(z21+z22+z23)+z31*(z31+z32+z33)
+z12*(z11+z12+z13)+z22*(z21+z22+z23)+z32*(z31+z32+z33)
+z13*(z11+z12+z13)+z23*(z21+z22+z23)+z33*(z31+z32+z33)
28 мар 21, 04:44    [22300980]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
Иван FXS
Member

Откуда:
Сообщений: 2343
x1ca4064, ничего, что z11 присутствует не только в первом члене, но и в 4-м, и в 7-м?

z11*(z11+z12+z13)+z21*(z21+z22+z23)+z31*(z31+z32+z33)
+z12*(z11+z12+z13)+z22*(z21+z22+z23)+z32*(z31+z32+z33)
+z13*(z11+z12+z13)+z23*(z21+z22+z23)+z33*(z31+z32+z33)
28 мар 21, 06:09    [22300982]     Ответить | Цитировать Сообщить модератору
 Re: Ликбез по линейной регрессии  [new]
x1ca4064
Member

Откуда:
Сообщений: 1269
Иван FXS
x1ca4064, ничего, что z11 присутствует не только в первом члене, но и в 4-м, и в 7-м?


Я проблем не вижу: порядок суммирования изменен необходимым образом и, вроде, позволяет решить исходную задачу.
28 мар 21, 06:14    [22300983]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Вопрос-Ответ Ответить