Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > pl.comp.programming > #28396 > unrolled thread

Jak dobrze uwarunkować metodę najmniejszych kwadratów

Started byBorneq <borneq@antyspam.hidden.pl>
First post2016-04-01 04:30 +0200
Last post2016-04-07 23:24 +0100
Articles 16 on this page of 56 — 9 participants

Back to article view | Back to pl.comp.programming

Contents

  Jak dobrze uwarunkować metodę najmniejszych kwadratów Borneq <borneq@antyspam.hidden.pl> - 2016-04-01 04:30 +0200
    Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Borneq <borneq@antyspam.hidden.pl> - 2016-04-01 05:23 +0200
      Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-01 03:31 -0700
        Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Borneq <borneq@antyspam.hidden.pl> - 2016-04-01 12:51 +0200
          Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-01 04:38 -0700
            Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Borneq <borneq@antyspam.hidden.pl> - 2016-04-01 13:55 +0200
              Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-01 05:35 -0700
                Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Borneq <borneq@antyspam.hidden.pl> - 2016-04-01 14:37 +0200
                  Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-01 06:19 -0700
          Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-03 20:36 +0200
            Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-03 12:17 -0700
              Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-04 00:00 +0200
                Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-04 04:42 -0700
                  Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-04 04:57 -0700
                    Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-04 18:54 +0200
                      Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-04 12:46 -0700
                        Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-04 21:55 +0200
                          Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-04 13:08 -0700
                        Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-04 21:59 +0200
                          Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-04 13:09 -0700
                        Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-04 22:08 +0200
                      Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów RW <bloody_rabbit@gazeta.pl> - 2016-04-04 15:20 -0500
                        Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-05 00:05 +0200
                          Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów RW <bloody_rabbit@gazeta.pl> - 2016-04-05 14:56 -0500
                            Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-05 23:07 +0200
                              Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Roman W <bloody_rabbitREMOVETHIS@gazeta.pl> - 2016-04-06 00:59 +0100
                                Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-06 09:09 +0200
                                  Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-06 04:39 -0700
                                  Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Roman W <bloody_rabbitREMOVETHIS@gazeta.pl> - 2016-04-07 23:29 +0100
                                    Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-08 09:18 +0200
                                      Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Roman W <bloody_rabbitREMOVETHIS@gazeta.pl> - 2016-04-08 20:37 +0100
                                        Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-09 09:19 +0200
                              Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Tomasz Kaczanowski <kaczus@dowyciecia_poczta.onet.pl> - 2016-04-07 10:05 +0200
                                Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Roman W <bloody_rabbitREMOVETHIS@gazeta.pl> - 2016-04-07 23:28 +0100
                                  Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-08 09:07 +0200
                                    Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Roman W <bloody_rabbitREMOVETHIS@gazeta.pl> - 2016-04-08 20:36 +0100
                                      Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-09 09:20 +0200
                                        Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Roman W <bloody_rabbitREMOVETHIS@gazeta.pl> - 2016-04-18 00:53 +0100
                  Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-04 18:31 +0200
                  Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-04 18:35 +0200
                  Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-04 18:40 +0200
      Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów peter <ToJestTo@nic.nie.wiem> - 2016-04-01 18:05 +0200
    Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów peter <ToJestTo@nic.nie.wiem> - 2016-04-01 17:58 +0200
    Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "J.F." <jfox_xnospamx@poczta.onet.pl> - 2016-04-02 23:50 +0200
      Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów "M.M." <mmarszik@gmail.com> - 2016-04-03 02:58 -0700
    Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-03 20:33 +0200
    Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów bartekltg <bartekltg@gmail.com> - 2016-04-05 16:09 +0200
      Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-05 20:26 +0200
        Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów bartekltg <bartekltg@gmail.com> - 2016-04-05 20:42 +0200
        Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów RW <bloody_rabbit@gazeta.pl> - 2016-04-05 14:54 -0500
      Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Roman W <bloody_rabbitREMOVETHIS@gazeta.pl> - 2016-04-06 00:55 +0100
        Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów bartekltg <bartekltg@gmail.com> - 2016-04-06 02:23 +0200
          Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów slawek <fake@fakeemail.com> - 2016-04-06 08:59 +0200
          Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Roman W <bloody_rabbitREMOVETHIS@gazeta.pl> - 2016-04-06 20:23 +0100
          Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów peter <ToJestTo@nic.nie.wiem> - 2016-04-06 22:24 +0200
            Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów Roman W <bloody_rabbitREMOVETHIS@gazeta.pl> - 2016-04-07 23:24 +0100

Page 3 of 3 — ← Prev page 1 2 [3]

#28429

Fromslawek <fake@fakeemail.com>
Date2016-04-04 18:40 +0200
Message-ID<almarsoft.8493915012842509586@news.v.pl>
In reply to#28417
On Mon, 4 Apr 2016 04:42:21 -0700 (PDT), "M.M." <mmarszik@gmail.com> 
wrote:
> czego to jest potrzebne? Nikt nie napisał, że do odwiertów :D

Z odwiertami to był taki myk, że przejście od zwykłej regresji 
liniowej do czegoś lepszego pozwoliło zamiast np. 15 robić 10 
odwiertów i mieć równie dobre wyniki końcowe. A że odwiertami 
kosztuje, to ładnie przelicza się to na pieniądze.

[toc] | [prev] | [next] | [standalone]

#28406

Frompeter <ToJestTo@nic.nie.wiem>
Date2016-04-01 18:05 +0200
Message-ID<ndm67r$uq$1@node1.news.atman.pl>
In reply to#28397
Borneq pisze:
> Gdy odejmiemy od x-ów wartość 42000 a od y-ów 100 wtedy te liczby się zmniejszą. Jest to
> jeden ze sposobów; jak to można uogólnić, np. dla przypadku gdy 99% punków jest skupionych
> a jeden (np. pierwszy) gdzieś daleko i nie opłaca się odejmować według tego punktu ale
> według 99% pozostałych?

To wtedy broń boże nie należy obliczać regresję liniowa bo wynik będzie zależał od tego 
jednego ( kilku) a te pozostałe będą statystami

-- 
  peter

[toc] | [prev] | [next] | [standalone]

#28405

Frompeter <ToJestTo@nic.nie.wiem>
Date2016-04-01 17:58 +0200
Message-ID<ndm5rl$600$1@node2.news.atman.pl>
In reply to#28396
Borneq pisze:
> Rysowałem punkty na płaszczyźnie i chciałem do tego dopasować prostą.
> Metodą najmniejszych kwadratów (np.
> http://www.algorytm.org/procedury-numeryczne/metoda-najmniejszych-kwadratow.html)
> Współczynnik a był w ogóle nie przystający do danych. Nie wiedziałem dlaczego, szukałem
> błędu a wszystko się zgadzało.
> W końcu odkryłem że miałem float a nie double. Problemem było to , że odejmowaliśmy dwie
> bliskie sobie duże liczby a wynik był małą liczbą.

  to jest elementarz metod numerycznych. Błąd różnicy gwałtownie wzrasta gdy odejmujemy 
bliskie liczby.

> Czy można zmienić wzorki tak, by zadanie było lepiej uwarunkowane?

  a = ILxy/SKx

  ILxy= Suma( (xi-xsr)(yi-ysr) )
  SKx = Suma( (xi-xsr)^2 )

  b = ysr - a xsr

sr - średnia

-- 
  peter

[toc] | [prev] | [next] | [standalone]

#28408

From"J.F." <jfox_xnospamx@poczta.onet.pl>
Date2016-04-02 23:50 +0200
Message-ID<1eahvau2zfbhy.1emzyaxxf55yz$.dlg@40tude.net>
In reply to#28396
Dnia Fri, 1 Apr 2016 04:30:30 +0200, Borneq napisał(a):
> Rysowałem punkty na płaszczyźnie i chciałem do tego dopasować prostą.
> Metodą najmniejszych kwadratów (np. 
> http://www.algorytm.org/procedury-numeryczne/metoda-najmniejszych-kwadratow.html)
> Współczynnik a był w ogóle nie przystający do danych. Nie wiedziałem 
> dlaczego, szukałem błędu a wszystko się zgadzało.

Pierwsza sprawa - metoda zawsze znajdzie jakas prosta, nawet jesli
dane nic z prosta wspolnego nie maja.
Trzeba wiedziec, ze prosta powinna wyjsc, lub sprawdzac blad.

> W końcu odkryłem że miałem float a nie double. Problemem było to , że 
> odejmowaliśmy dwie bliskie sobie duże liczby a wynik był małą liczbą.
> Czy można zmienić wzorki tak, by zadanie było lepiej uwarunkowane?

Ale az tak waskie przedzialy masz ?
Moze je najpierw przeskalowac, srednia np odjac.

J.

[toc] | [prev] | [next] | [standalone]

#28409

From"M.M." <mmarszik@gmail.com>
Date2016-04-03 02:58 -0700
Message-ID<3b588ffa-05a6-4dbd-ad1d-64503fbac1dc@googlegroups.com>
In reply to#28408
On Saturday, April 2, 2016 at 11:50:15 PM UTC+2, J.F. wrote:
> Dnia Fri, 1 Apr 2016 04:30:30 +0200, Borneq napisał(a):
> > Rysowałem punkty na płaszczyźnie i chciałem do tego dopasować prostą.
> > Metodą najmniejszych kwadratów (np. 
> > http://www.algorytm.org/procedury-numeryczne/metoda-najmniejszych-kwadratow.html)
> > Współczynnik a był w ogóle nie przystający do danych. Nie wiedziałem 
> > dlaczego, szukałem błędu a wszystko się zgadzało.
> 
> Pierwsza sprawa - metoda zawsze znajdzie jakas prosta, nawet jesli
> dane nic z prosta wspolnego nie maja.
Coś mi się zdaje, że istnieją dane, dla których metoda 
wywali się. Trzeba metodę zabezpieczyć przed taką sytuacją.

Pozdrawiam

[toc] | [prev] | [next] | [standalone]

#28411

Fromslawek <fake@fakeemail.com>
Date2016-04-03 20:33 +0200
Message-ID<almarsoft.6970566303690330946@news.v.pl>
In reply to#28396
On Fri, 1 Apr 2016 04:30:30 +0200, Borneq <borneq@antyspam.hidden.pl> 
wrote:
> Czy można zmienić wzorki tak, by zadanie było lepiej uwarunkowane?

Można. Ale problem jest, że regresja liniowa jest, gdy liczyć 
poprawnie, złym rozwiązaniem. Poszukaj sobie robust regression np. w 
z Numerical Recipes.

Ogólnie problem jest ciekawy. Generalnie pomaga przeskalowanie. I 
używanie double.

[toc] | [prev] | [next] | [standalone]

#28451

Frombartekltg <bartekltg@gmail.com>
Date2016-04-05 16:09 +0200
Message-ID<ne0guj$575$1@node2.news.atman.pl>
In reply to#28396
On 01.04.2016 04:30, Borneq wrote:
> Rysowałem punkty na płaszczyźnie i chciałem do tego dopasować prostą.

To albo nieprecyzyjne opisanie problemu, albo opisanie problemu
innego, niż starasz się rozwiązać.

Regresja liniowa jest estymatorem największej wiarygodności dla
modelu
Y_i = a*X_i + b +  e_i
gdzie e_i jest błędem o rozkłądzie normalnym.
Czyli dopasowanie funkcji liniowej do wykresu punktów.

Dopasowanie prostej do punktów na płaszczyźnie (pelna symetria) robi
się przez SVD.
http://mst.mimuw.edu.pl/lecture.php?lecture=ona&part=Ch7


> Metodą najmniejszych kwadratów (np.
> http://www.algorytm.org/procedury-numeryczne/metoda-najmniejszych-kwadratow.html)

> Współczynnik a był w ogóle nie przystający do danych. Nie wiedziałem
> dlaczego, szukałem błędu a wszystko się zgadzało.
> W końcu odkryłem że miałem float a nie double.

Fuuuu.
:)

> Problemem było to , że
> odejmowaliśmy dwie bliskie sobie duże liczby a wynik był małą liczbą.
> Czy można zmienić wzorki tak, by zadanie było lepiej uwarunkowane?

Na dzień dobry zalecam nie używać serwisów dla licealistów;-)
Tyle materiałow w sieci leży.

http://www.mimuw.edu.pl/~pokar/StatystykaI/Ksiazki/NiemiroBook.pdf (9.2.1)
Czy nawet wiki:
https://en.wikipedia.org/wiki/Simple_linear_regression#Fitting_the_regression_line

a = sum[ (y- y_sr)(x- x_sr) ] / sum[ (x- x_sr)^2 ]

b = y_sr - a * x_sr


Dwuprzebiegowe... I co z tego:)

Wriancje (mianownik piwrwszego ułamka) da się policzyć w jednym przbiegu
https://en.wikipedia.org/wiki/Algorithms_for_calculating_variance#Online_algorithm
więc pewnie jakby pokombinować, da się poodbnie policzyć
korelacje x,y (licznik) ale to i tak jest ciut mniej dokładne niż
przez policzenie najpierw średniej.

Dodatkowo, jeśli danych masz naprawdę dużo, trzeba je posumować
ostrożnie. Sposoby są od odpowiedniego uporzadkowania
od najmniejszych, od najwiekszych, kopiec w porzadku wartosci
bezwzglednej i zawsze dwie najmniejsze, czy wrescei takie wynalazki:
https://en.wikipedia.org/wiki/Pairwise_summation
https://en.wikipedia.org/wiki/Kahan_summation_algorithm
albo po prostu użyj powiekszonej precyzji. Float128 jest już wszędzie.

Pamietaj, że nigdy nie dostaniesz lepszego względnego wyniku niż
precyzje danych * uwarunkowanie sumy ( sum |x_i| / sum x_i).


Co do przesuwania i reskalowania danych:

Wróćmy do prawdziwej, pełnej (chyba po polsku oficjalna nazwa to 
wieloraka) regresji. Zwyłą regresję
y_i = b_1 x_i + b_0 + e_i

zapisujemy jako

Y = X b + e

Y to wektor [y_1;,y_2...]
b to wektor [b_1; b_0]
(oba stojące)
e_i to wektor błędów
X to maceirz
X = [x_1, 1 ;
      x_2, 1;
      x_3, 1;
  ...]
(kolumna x-ów i kolumna jedynek).

Wzorki z regresji proistej są równoważne rozwiązaniu
równanian normalnego:

X^t Y = X^t X b

X^t X = [ sum x_i^2 , sum x_i; sum x_i, n ]

X^t Y  = [ sum y_i x_i, sum y_i ]

ponieważ do rozwiązania b potrzeba 'odwrócić' macierz X^t X,

b = (X^t X)^-1  X^t Y

pownaa mieć ona jak najmniejsze uwarunkowania

Przesunięcie x-ów na środek pomaga, bo maceirz jest diagonalna
sum x_i=0
X^t X = [ sum x_i^2 , 0; 0, n ]

Najlepsze uwarunkowanie (po prostu 1) będzie, gdy sum x_i^2 == n
(ale po przesunieciu do centrum nie wiem, czy to nawet ma jeszcze
znaczenie).

pzdr
bartekltg

[toc] | [prev] | [next] | [standalone]

#28458

Fromslawek <fake@fakeemail.com>
Date2016-04-05 20:26 +0200
Message-ID<almarsoft.6963145661179148964@news.v.pl>
In reply to#28451
On Tue, 5 Apr 2016 16:09:22 +0200, bartekltg <bartekltg@gmail.com> 
wrote:
> Float128 jest już wszędzie.

Sprzętowe?  

Sprzętowego double nie ma wszędzie. Ba! Nawet nie wszędzie jest 
float. I bywa że nie ma... mnożenia. Świat nie kończy się na Itanium.

[toc] | [prev] | [next] | [standalone]

#28459

Frombartekltg <bartekltg@gmail.com>
Date2016-04-05 20:42 +0200
Message-ID<ne10tq$lmh$1@node2.news.atman.pl>
In reply to#28458
On 05.04.2016 20:26, slawek wrote:
> On Tue, 5 Apr 2016 16:09:22 +0200, bartekltg <bartekltg@gmail.com> wrote:
>> Float128 jest już wszędzie.
>
> Sprzętowe?

Nie.
Skąd ten pomysł.


pzdr
bartekltg

[toc] | [prev] | [next] | [standalone]

#28460

FromRW <bloody_rabbit@gazeta.pl>
Date2016-04-05 14:54 -0500
Message-ID<CNWdnelJ3M2MhZnKnZ2dnUU78c2dnZ2d@brightview.co.uk>
In reply to#28458
On Tue, 05 Apr 2016 20:26:35 +0200, slawek wrote:

> On Tue, 5 Apr 2016 16:09:22 +0200, bartekltg <bartekltg@gmail.com>
> wrote:
>> Float128 jest już wszędzie.
> 
> Sprzętowe?
> 
> Sprzętowego double nie ma wszędzie. Ba! Nawet nie wszędzie jest float. I
> bywa że nie ma... mnożenia. Świat nie kończy się na Itanium.

Ja pisze w jezyku, w ktorym nie ma dzielenia ;-)

RW

[toc] | [prev] | [next] | [standalone]

#28469

FromRoman W <bloody_rabbitREMOVETHIS@gazeta.pl>
Date2016-04-06 00:55 +0100
Message-ID<almarsoft.1634556213174872785@news.plus.net>
In reply to#28451
On Tue, 5 Apr 2016 16:09:22 +0200, bartekltg <bartekltg@gmail.com> 
wrote:
> Regresja liniowa jest estymatorem największej wiarygodności dla
> modelu
> Y_i = a*X_i + b +  e_i
> gdzie e_i jest błędem o rozkłądzie normalnym.

Nie musi być normalny.

RW

[toc] | [prev] | [next] | [standalone]

#28471

Frombartekltg <bartekltg@gmail.com>
Date2016-04-06 02:23 +0200
Message-ID<ne1ktn$bmq$1@node2.news.atman.pl>
In reply to#28469
On 06.04.2016 01:55, Roman W wrote:
> On Tue, 5 Apr 2016 16:09:22 +0200, bartekltg <bartekltg@gmail.com> wrote:
>> Regresja liniowa jest estymatorem największej wiarygodności dla
>> modelu
>> Y_i = a*X_i + b +  e_i
>> gdzie e_i jest błędem o rozkłądzie normalnym.
>
> Nie musi być normalny.

Ale wtedy regresja liniowa (najczęściej) nie jest estytmatorem
najwyższej wiarygodności i ogolnie może nie być najlepszym
roziązaniem.

Patologicznym przykładem jest rozkład Cauchy'eg, (porządna,
symetryczna funkcja)  gdzie średnia nie jest żadnym rozsądnym
oszacowaniem środka rozkładu.

Regresja najcześćiej działa bez przesadnego zastanawiania się nad
teorią... ale i najcześćiej błędy są dość podobne do normalnych.

pzdr
bartekltg

[toc] | [prev] | [next] | [standalone]

#28472

Fromslawek <fake@fakeemail.com>
Date2016-04-06 08:59 +0200
Message-ID<almarsoft.5093073438889884870@news.v.pl>
In reply to#28471
On Wed, 6 Apr 2016 02:23:19 +0200, bartekltg <bartekltg@gmail.com> 
wrote:
> Patologicznym przykładem jest rozkład Cauchy'eg, (porządna,

Niepatologicznym przykładem jest rozkład Poissona, taki mają dane w 
fizyce jądrowej.

[toc] | [prev] | [next] | [standalone]

#28475

FromRoman W <bloody_rabbitREMOVETHIS@gazeta.pl>
Date2016-04-06 20:23 +0100
Message-ID<almarsoft.2820136356440163490@news.plus.net>
In reply to#28471
On Wed, 6 Apr 2016 02:23:19 +0200, bartekltg <bartekltg@gmail.com> 
wrote:
> On 06.04.2016 01:55, Roman W wrote:
> > On Tue, 5 Apr 2016 16:09:22 +0200, bartekltg 
<bartekltg@gmail.com> wrote:
> >> Regresja liniowa jest estymatorem największej wiarygodności dla
> >> modelu
> >> Y_i = a*X_i + b +  e_i
> >> gdzie e_i jest błędem o rozkłądzie normalnym.
> >
> > Nie musi być normalny.
> Ale wtedy regresja liniowa (najczęściej) nie jest estytmatorem
> najwyższej wiarygodności i ogolnie może nie być najlepszym
> roziązaniem.
> bartekltg

A jak zamiast exp(-x^2) będzie jakaś inna szybko zanikajaca funkcja 
x^2?

RW

[toc] | [prev] | [next] | [standalone]

#28476

Frompeter <ToJestTo@nic.nie.wiem>
Date2016-04-06 22:24 +0200
Message-ID<ne3rag$khj$1@node2.news.atman.pl>
In reply to#28471
bartekltg pisze:

>>> Y_i = a*X_i + b +  e_i
>>> gdzie e_i jest błędem o rozkłądzie normalnym.
>>
>> Nie musi być normalny.
>
> Ale wtedy regresja liniowa (najczęściej) nie jest estytmatorem
> najwyższej wiarygodności i ogolnie może nie być najlepszym
> roziązaniem.

MNK jest bytem samoistnym. Zawsze poda najlepsze dopasowanie do równ.lin. Jeżeli e_i ma 
rozkład normalny to mówimy o regresji i można dodatkowo oszacować przedział ufności 
wyznaczonych a i b. Jeżeli e_i ma inny rozkład to niekiedy trudno albo wręcz niemożliwe 
jest ocena przedziału ufności.

> Patologicznym przykładem jest rozkład Cauchy'eg, (porządna,
> symetryczna funkcja)  gdzie średnia nie jest żadnym rozsądnym
> oszacowaniem środka rozkładu.

Co ma piernik do wiatraka, czyli rozkład Cauchy do MNK . Nic. Tylko niemożliwe jest 
ustalenie przedziału ufności.

> Regresja najcześćiej działa bez przesadnego zastanawiania się nad
> teorią... ale i najcześćiej błędy są dość podobne do normalnych.

  Regresja nie _działa_ tylko stosowana jest często bez głowy bo stosowanie obliczeń 
regresji liniowej nie jest żadnym dowodem, że jest to zależność liniowa.

-- 
  peter

[toc] | [prev] | [next] | [standalone]

#28481

FromRoman W <bloody_rabbitREMOVETHIS@gazeta.pl>
Date2016-04-07 23:24 +0100
Message-ID<almarsoft.6623867720561557957@news.plus.net>
In reply to#28476
On Wed, 6 Apr 2016 22:24:46 +0200, peter <ToJestTo@nic.nie.wiem> 
wrote:
> MNK jest bytem samoistnym. Zawsze poda najlepsze dopasowanie do 
równ.lin. Jeżeli e_i ma 
> rozkład normalny to mówimy o regresji i można dodatkowo oszacować 
przedział ufności 
> wyznaczonych a i b. Jeżeli e_i ma inny rozkład to niekiedy trudno 
albo wręcz niemożliwe 
> jest ocena przedziału ufności.

Zawsze najlepsze? A dlaczego nie norma L1 zamiast L2?

RW

[toc] | [prev] | [standalone]

Page 3 of 3 — ← Prev page 1 2 [3]

Back to top | Article view | pl.comp.programming

csiph-web