Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > pl.comp.programming > #33621

Re: Detekcja strony kodowej (Bayes?)

From Mateusz Viste <mateusz@xyz.invalid>
Newsgroups pl.comp.programming
Subject Re: Detekcja strony kodowej (Bayes?)
Date 2019-12-27 15:27 +0100
Organization . . .
Message-ID <20191227152725.50c0c2f8@mateusz> (permalink)
References <5e060cd2$0$511$65785112@news.neostrada.pl>

Show all headers | View raw

2019-12-27 o 14:53 +0100, Borneq napisał:
> Mam strony kodowe 8859-*, CP12?? oraz KOI8-R.
> Jak rozpoznać po tekście, np. za pomocą Bayesa, która to strona
> kodowa? Jak mam język polski (tu musi być dodatkowa wiedza, jaki to
> język) to używam tylko kilku znaków ośmiobitowych (reszta to Ascii
> 7-bitowe) więc sprawdzam aby 8-bitowe były z tego zbioru.

To takie sobie, bo w tekście może występować wszelkiego rodzaju
semigrafika.

> A jak jest z takimi językami jak rosyjski, grecki, hebrajski,
> arabski, które mają cały alfabet zdefiniowany w wyższym Ascii?

Moja propozycja: Wybierz losowo kilkanaście słów z tekstu. Każde słowo
przekonwertuj do UTF-8 zakładając wszystkie możliwe strony kodowe dla
tego języka, a następnie znajdź w słowniku czy to słowo istnieje.

Wygrywa wariant strony kodowej o najwyższej ilości istniejących słów.

> Jak zdetektować UTF8?

Dokładnie tym samym sposobem - tyle że nie potrzeba tego konwertować,
wystarczy bezpośredni wgląd do słownika dla danego języka.

Mateusz

Back to pl.comp.programming | Previous | Next — Previous in thread | Next in thread | Find similar | Unroll thread

Thread

Detekcja strony kodowej (Bayes?) Borneq <borneq@antyspam.hidden.pl> - 2019-12-27 14:53 +0100
  Re: Detekcja strony kodowej (Bayes?) Mateusz Viste <mateusz@xyz.invalid> - 2019-12-27 15:27 +0100
    Re: Detekcja strony kodowej (Bayes?) Borneq <borneq@antyspam.hidden.pl> - 2019-12-27 17:29 +0100
      Re: Detekcja strony kodowej (Bayes?) Mateusz Viste <mateusz@xyz.invalid> - 2019-12-27 20:34 +0100
        Re: Detekcja strony kodowej (Bayes?) Borneq <borneq@antyspam.hidden.pl> - 2019-12-28 09:10 +0100
          Re: Detekcja strony kodowej (Bayes?) "M.M." <mmarszik@gmail.com> - 2020-01-08 04:19 -0800
          Re: Detekcja strony kodowej (Bayes?) "M.M." <mmarszik@gmail.com> - 2020-01-09 00:45 -0800

csiph-web