Groups > pl.comp.programming > #28553 > unrolled thread

Parowanie wartości w okienku pamięci

Started by	Borneq <borneq@antyspam.hidden.pl>
First post	2016-05-12 19:35 +0200
Last post	2016-05-17 09:11 +0200
Articles	17 — 3 participants

Back to article view | Back to pl.comp.programming

  Parowanie wartości w okienku pamięci Borneq <borneq@antyspam.hidden.pl> - 2016-05-12 19:35 +0200
    Re: Parowanie wartości w okienku pamięci Borneq <borneq@antyspam.hidden.pl> - 2016-05-12 20:10 +0200
      Re: Parowanie wartości w okienku pamięci "M.M." <mmarszik@gmail.com> - 2016-05-12 11:14 -0700
        Re: Parowanie wartości w okienku pamięci Borneq <borneq@antyspam.hidden.pl> - 2016-05-12 20:50 +0200
          Re: Parowanie wartości w okienku pamięci "M.M." <mmarszik@gmail.com> - 2016-05-12 13:19 -0700
            Re: Parowanie wartości w okienku pamięci Borneq <borneq@antyspam.hidden.pl> - 2016-05-12 22:30 +0200
              Re: Parowanie wartości w okienku pamięci "M.M." <mmarszik@gmail.com> - 2016-05-12 23:26 -0700
                Re: Parowanie wartości w okienku pamięci Borneq <borneq@antyspam.hidden.pl> - 2016-05-13 12:24 +0200
                  Re: Parowanie wartości w okienku pamięci "M.M." <mmarszik@gmail.com> - 2016-05-13 05:39 -0700
                    Re: Parowanie wartości w okienku pamięci Borneq <borneq@antyspam.hidden.pl> - 2016-05-13 17:11 +0200
                      Re: Parowanie wartości w okienku pamięci "M.M." <mmarszik@gmail.com> - 2016-05-13 14:03 -0700
                        Re: Parowanie wartości w okienku pamięci Borneq <borneq@antyspam.hidden.pl> - 2016-05-14 09:55 +0200
                          Re: Parowanie wartości w okienku pamięci "M.M." <mmarszik@gmail.com> - 2016-05-14 01:49 -0700
    Re: Parowanie wartości w okienku pamięci wloochacz <wloochacz@no.spam.gmail.com> - 2016-05-13 16:17 +0200
      Re: Parowanie wartości w okienku pamięci Borneq <borneq@antyspam.hidden.pl> - 2016-05-13 16:23 +0200
        Re: Parowanie wartości w okienku pamięci "M.M." <mmarszik@gmail.com> - 2016-05-13 07:57 -0700
        Re: Parowanie wartości w okienku pamięci wloochacz <wloochacz@no.spam.gmail.com> - 2016-05-17 09:11 +0200

#28553 — Parowanie wartości w okienku pamięci

From	Borneq <borneq@antyspam.hidden.pl>
Date	2016-05-12 19:35 +0200
Subject	Parowanie wartości w okienku pamięci
Message-ID	<nh2esn$c8k$1@node2.news.atman.pl>

Ciekawy problem:
jest baza obiektów, mają po kilkadziesiąt unikalnych kluczy. Z drugiej 
strony jest baza kluczy z informacjami. Teraz chcę dopasować.
Gdyby mieściły się w pamięci było by to trywialne - sortuję klucze 
jednej bazy i drugiej i idę porównując.
Ale ani jedna ani druga nie mieści się w pamięci i jak to zrobić wydajnie?

[toc] | [next] | [standalone]

#28554

From	Borneq <borneq@antyspam.hidden.pl>
Date	2016-05-12 20:10 +0200
Message-ID	<nh2gue$eqd$1@node2.news.atman.pl>
In reply to	#28553

W dniu 12.05.2016 o 19:35, Borneq pisze:
> Ciekawy problem:
> jest baza obiektów, mają po kilkadziesiąt unikalnych kluczy. Z drugiej
> strony jest baza kluczy z informacjami. Teraz chcę dopasować.
> Gdyby mieściły się w pamięci było by to trywialne - sortuję klucze
> jednej bazy i drugiej i idę porównując.
> Ale ani jedna ani druga nie mieści się w pamięci i jak to zrobić wydajnie?
Coś będę musiał poczytać o sortowaniu zewnętrznym

[toc] | [prev] | [next] | [standalone]

#28555

From	"M.M." <mmarszik@gmail.com>
Date	2016-05-12 11:14 -0700
Message-ID	<4c2b902c-24b7-4a95-82ff-a7fb766d2949@googlegroups.com>
In reply to	#28554

Wykorzystaj indeksowanie.

[toc] | [prev] | [next] | [standalone]

#28556

From	Borneq <borneq@antyspam.hidden.pl>
Date	2016-05-12 20:50 +0200
Message-ID	<nh2ja4$hhh$1@node2.news.atman.pl>
In reply to	#28555

W dniu 12.05.2016 o 20:14, M.M. pisze:
> Wykorzystaj indeksowanie.
>
W jaki sposób?

[toc] | [prev] | [next] | [standalone]

#28557

From	"M.M." <mmarszik@gmail.com>
Date	2016-05-12 13:19 -0700
Message-ID	<3a98adda-dcd3-4f6f-88f6-596f8036510e@googlegroups.com>
In reply to	#28556

On Thursday, May 12, 2016 at 8:50:45 PM UTC+2, Borneq wrote:
> W dniu 12.05.2016 o 20:14, M.M. pisze:
> > Wykorzystaj indeksowanie.
> >
> W jaki sposób?

Ile przypada modyfikacji (Twoich danych) na jedno parowanie?
Pozdrawiam

[toc] | [prev] | [next] | [standalone]

#28558

From	Borneq <borneq@antyspam.hidden.pl>
Date	2016-05-12 22:30 +0200
Message-ID	<nh2p4h$nn9$1@node2.news.atman.pl>
In reply to	#28557

W dniu 12.05.2016 o 22:19, M.M. pisze:
> Ile przypada modyfikacji (Twoich danych) na jedno parowanie?
> Pozdrawiam
Dane są już gotowe i nie modyfikuje się ich na szczęście

[toc] | [prev] | [next] | [standalone]

#28559

From	"M.M." <mmarszik@gmail.com>
Date	2016-05-12 23:26 -0700
Message-ID	<f25b1862-d091-42fe-a04a-e3a2c5cb0f12@googlegroups.com>
In reply to	#28558

On Thursday, May 12, 2016 at 10:30:10 PM UTC+2, Borneq wrote:
> W dniu 12.05.2016 o 22:19, M.M. pisze:
> > Ile przypada modyfikacji (Twoich danych) na jedno parowanie?
> > Pozdrawiam
> Dane są już gotowe i nie modyfikuje się ich na szczęście

To może index hash-table?

[toc] | [prev] | [next] | [standalone]

#28560

From	Borneq <borneq@antyspam.hidden.pl>
Date	2016-05-13 12:24 +0200
Message-ID	<nh4a19$deg$1@node1.news.atman.pl>
In reply to	#28559

W dniu 13.05.2016 o 08:26, M.M. pisze:
> To może index hash-table?

Tylko że ja nie znajduję jednego klucza, ale muszę wszystkie połączyć w 
pary.

[toc] | [prev] | [next] | [standalone]

#28561

From	"M.M." <mmarszik@gmail.com>
Date	2016-05-13 05:39 -0700
Message-ID	<68caf0d8-db41-42cd-9370-a8cf2e39ecb9@googlegroups.com>
In reply to	#28560

On Friday, May 13, 2016 at 12:24:43 PM UTC+2, Borneq wrote:
> W dniu 13.05.2016 o 08:26, M.M. pisze:
> > To może index hash-table?
> 
> Tylko że ja nie znajduję jednego klucza, ale muszę wszystkie połączyć w 
> pary.

Dlaczego hash-table nie jest odpowiednia aby połączyć wszystkie w
pary?

[toc] | [prev] | [next] | [standalone]

#28565

From	Borneq <borneq@antyspam.hidden.pl>
Date	2016-05-13 17:11 +0200
Message-ID	<nh4qrf$oh8$1@node2.news.atman.pl>
In reply to	#28561

W dniu 13.05.2016 o 14:39, M.M. pisze:
> On Friday, May 13, 2016 at 12:24:43 PM UTC+2, Borneq wrote:
>> W dniu 13.05.2016 o 08:26, M.M. pisze:
>>> To może index hash-table?
>>
>> Tylko że ja nie znajduję jednego klucza, ale muszę wszystkie połączyć w
>> pary.
>
> Dlaczego hash-table nie jest odpowiednia aby połączyć wszystkie w
> pary?
>
Znalazłem fajne wykłady Zofii Kruczkiewicz na temat sortowania zewnętrznego.

[toc] | [prev] | [next] | [standalone]

#28568

From	"M.M." <mmarszik@gmail.com>
Date	2016-05-13 14:03 -0700
Message-ID	<4135c098-01ff-4511-abcd-dde2ebfea039@googlegroups.com>
In reply to	#28565

On Friday, May 13, 2016 at 5:11:44 PM UTC+2, Borneq wrote:
> W dniu 13.05.2016 o 14:39, M.M. pisze:
> > On Friday, May 13, 2016 at 12:24:43 PM UTC+2, Borneq wrote:
> >> W dniu 13.05.2016 o 08:26, M.M. pisze:
> >>> To może index hash-table?
> >>
> >> Tylko że ja nie znajduję jednego klucza, ale muszę wszystkie połączyć w
> >> pary.
> >
> > Dlaczego hash-table nie jest odpowiednia aby połączyć wszystkie w
> > pary?
> >
> Znalazłem fajne wykłady Zofii Kruczkiewicz na temat sortowania zewnętrznego.

Rozumiem, że chcesz posortować i zrobić wyszukiwanie binarne. To całkiem
dobra metoda, ale indeks oparty na funkcji hash (zazwyczaj) da dużo
lepsze efekty.

Pozdrawiam

[toc] | [prev] | [next] | [standalone]

#28569

From	Borneq <borneq@antyspam.hidden.pl>
Date	2016-05-14 09:55 +0200
Message-ID	<nh6lmf$fgu$1@node2.news.atman.pl>
In reply to	#28568

W dniu 13.05.2016 o 23:03, M.M. pisze:
> Rozumiem, że chcesz posortować i zrobić wyszukiwanie binarne. To całkiem
> dobra metoda, ale indeks oparty na funkcji hash (zazwyczaj) da dużo
> lepsze efekty.

Jak jest posortowane, mogę porównać liniowo,
zobacz: 
https://groups.google.com/forum/#!topic/pl.comp.lang.delphi/kfPnu1e8UqQ

a haszy tutaj nie za bardzo rozumiem

[toc] | [prev] | [next] | [standalone]

#28570

From	"M.M." <mmarszik@gmail.com>
Date	2016-05-14 01:49 -0700
Message-ID	<78e71681-5fb6-4ff8-8aaa-140599e1e8f7@googlegroups.com>
In reply to	#28569

On Saturday, May 14, 2016 at 9:56:00 AM UTC+2, Borneq wrote:
> W dniu 13.05.2016 o 23:03, M.M. pisze:
> > Rozumiem, że chcesz posortować i zrobić wyszukiwanie binarne. To całkiem
> > dobra metoda, ale indeks oparty na funkcji hash (zazwyczaj) da dużo
> > lepsze efekty.
> 
> Jak jest posortowane, mogę porównać liniowo,
> zobacz: 
> https://groups.google.com/forum/#!topic/pl.comp.lang.delphi/kfPnu1e8UqQ
> 
> a haszy tutaj nie za bardzo rozumiem

To co piszesz o porównaniu liniowym, to chyba w ogóle najlepsza metoda, ale
ma wady: można to zrobić:
1) tylko na jednym kluczu
2) po wstawieniu danych, trzeba średnio 0.5*N danych przesunąć
3) przed operacją trzeba posortować.

Coś pisałeś, że masz wiele kluczy. Możesz sortować po każdym 
kluczu i po każdym sortowaniu zrobić kolejne złączenie.

Pozdrawiam

[toc] | [prev] | [next] | [standalone]

#28562

From	wloochacz <wloochacz@no.spam.gmail.com>
Date	2016-05-13 16:17 +0200
Message-ID	<5735e20e$0$700$65785112@news.neostrada.pl>
In reply to	#28553

W dniu 2016-05-12 o 19:35, Borneq pisze:
> Ciekawy problem:
> jest baza obiektów,
/ciach/
Ta baza obiektów, to baza danych? Jeśli tak, to będzie to łatwe.
Jeśli nie - wrzuć je do bazy danych (np. SQLite) i będzie łatwe ;-)

-- 
wloochacz

[toc] | [prev] | [next] | [standalone]

#28563

From	Borneq <borneq@antyspam.hidden.pl>
Date	2016-05-13 16:23 +0200
Message-ID	<nh4o0m$lo3$1@node2.news.atman.pl>
In reply to	#28562

W dniu 13.05.2016 o 16:17, wloochacz pisze:
> W dniu 2016-05-12 o 19:35, Borneq pisze:
>> Ciekawy problem:
>> jest baza obiektów,
> /ciach/
> Ta baza obiektów, to baza danych? Jeśli tak, to będzie to łatwe.
> Jeśli nie - wrzuć je do bazy danych (np. SQLite) i będzie łatwe ;-)
Jedne dane są z jednej bazy a drugie z drugiej

[toc] | [prev] | [next] | [standalone]

#28564

From	"M.M." <mmarszik@gmail.com>
Date	2016-05-13 07:57 -0700
Message-ID	<6f8386dd-aa5b-4b82-8c03-829dd7a05dab@googlegroups.com>
In reply to	#28563

On Friday, May 13, 2016 at 4:23:19 PM UTC+2, Borneq wrote:
> W dniu 13.05.2016 o 16:17, wloochacz pisze:
> > W dniu 2016-05-12 o 19:35, Borneq pisze:
> >> Ciekawy problem:
> >> jest baza obiektów,
> > /ciach/
> > Ta baza obiektów, to baza danych? Jeśli tak, to będzie to łatwe.
> > Jeśli nie - wrzuć je do bazy danych (np. SQLite) i będzie łatwe ;-)
> Jedne dane są z jednej bazy a drugie z drugiej

Podaj strukturę kluczowych elementów baz i rozmiary tabel.
Pozdrawiam

[toc] | [prev] | [next] | [standalone]

#28591

From	wloochacz <wloochacz@no.spam.gmail.com>
Date	2016-05-17 09:11 +0200
Message-ID	<573ac418$0$657$65785112@news.neostrada.pl>
In reply to	#28563

W dniu 2016-05-13 o 16:23, Borneq pisze:
> W dniu 13.05.2016 o 16:17, wloochacz pisze:
>> W dniu 2016-05-12 o 19:35, Borneq pisze:
>>> Ciekawy problem:
>>> jest baza obiektów,
>> /ciach/
>> Ta baza obiektów, to baza danych? Jeśli tak, to będzie to łatwe.
>> Jeśli nie - wrzuć je do bazy danych (np. SQLite) i będzie łatwe ;-)
> Jedne dane są z jednej bazy a drugie z drugiej
Jeśli ta baza danych pozwala na zadawanie zapytań i łączenie ich z 
jednej bazy z drugą, to tak - to też jest łatwe.

-- 
wloochacz

[toc] | [prev] | [standalone]

csiph-web

Parowanie wartości w okienku pamięci

Contents

#28553 — Parowanie wartości w okienku pamięci

#28554

#28555

#28556

#28557

#28558

#28559

#28560

#28561

#28565

#28568

#28569

#28570

#28562

#28563

#28564

#28591