Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > pl.comp.programming > #28639

Re: Algorytm szukania podobny do Google

From Borneq <borneq@antyspam.hidden.pl>
Newsgroups pl.comp.programming
Subject Re: Algorytm szukania podobny do Google
Date 2016-06-08 10:32 +0200
Organization ATMAN - ATM S.A.
Message-ID <nj8l6d$di4$1@node1.news.atman.pl> (permalink)
References <nj6f0k$26n$1@node2.news.atman.pl> <c9083a39-6fae-44d8-89a9-e7bf8ffec18d@googlegroups.com> <nj6j3r$7db$1@node2.news.atman.pl> <nj6pik$edr$1@dont-email.me> <nj7auq$3i4$1@node1.news.atman.pl>

Show all headers | View raw

W dniu 07.06.2016 o 22:31, Borneq pisze:
> Tu też potrzebny jakiś algorytm aby nie trzeba używać całej bazy
> polimorfologika
>
>> słowa, które występują bardzo często i nie wnoszą żadnej informacji
>> do wyszukiwania się po prostu pomija

Tu praca nlp.ipipan.waw.pl/~adamp/msc/janus.daniel/praca.pdf.gz
pokazuje że bitowe indeksy są niepraktyczne:
"Jednak to dla dużych korpusów zalety indeksowania są najbardziej 
widoczne, a wtedy ten sposób przechowywania indeksów jest zupełnie
niepraktyczny. Dla próbki Korpusu IPI PAN (por. tabela 4.2), zajmującej 
w postaci binarnej
bez indeksów 303 MB, sam tylko indeks form literalnych reprezentowany w 
ten sposób miałby
rozmiar 670475·30002374/8 B = 2,29 TB, czyli blisko 8000-krotnie (!) 
więcej niż wyjściowy korpus."

Bo binarne indeksy wzrastają kwadratowo z wielkością tekstu.

Back to pl.comp.programming | Previous | Next — Previous in thread | Next in thread | Find similar | Unroll thread

Thread

Algorytm szukania podobny do Google Borneq <borneq@antyspam.hidden.pl> - 2016-06-07 14:34 +0200
  Re: Algorytm szukania podobny do Google "M.M." <mmarszik@gmail.com> - 2016-06-07 06:36 -0700
    Re: Algorytm szukania podobny do Google Borneq <borneq@antyspam.hidden.pl> - 2016-06-07 15:44 +0200
      Re: Algorytm szukania podobny do Google "M.M." <mmarszik@gmail.com> - 2016-06-07 07:53 -0700
      Re: Algorytm szukania podobny do Google Piotr Chamera <piotr_chamera@poczta.onet.pl> - 2016-06-07 17:34 +0200
        Re: Algorytm szukania podobny do Google Borneq <borneq@antyspam.hidden.pl> - 2016-06-07 22:31 +0200
          Re: Algorytm szukania podobny do Google Borneq <borneq@antyspam.hidden.pl> - 2016-06-08 10:32 +0200
        Re: Algorytm szukania podobny do Google Borneq <borneq@antyspam.hidden.pl> - 2016-06-08 11:41 +0200

csiph-web