Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]
Groups > pl.comp.programming > #33623
| From | Mateusz Viste <mateusz@xyz.invalid> |
|---|---|
| Newsgroups | pl.comp.programming |
| Subject | Re: Detekcja strony kodowej (Bayes?) |
| Date | 2019-12-27 20:34 +0100 |
| Organization | . . . |
| Message-ID | <20191227203426.75e401f5@mateusz> (permalink) |
| References | <5e060cd2$0$511$65785112@news.neostrada.pl> <20191227152725.50c0c2f8@mateusz> <5e06316a$0$17346$65785112@news.neostrada.pl> |
2019-12-27 o 17:29 +0100, Borneq napisał: > W dniu 2019-12-27 o 15:27, Mateusz Viste pisze: > > Moja propozycja: Wybierz losowo kilkanaście słów z tekstu. Każde > > słowo przekonwertuj do UTF-8 zakładając wszystkie możliwe strony > > kodowe dla tego języka, a następnie znajdź w słowniku czy to słowo > > istnieje. > > Muszę mieć słowniki dla poszczególnych języków. Da się znaleźć, mnóstwo tego obecnie. > W każdym razie, muszę mieć niestety wiedzę jaki to język. To już większy problem. Szczególnie jeśli kodowanie nieznane. > Gdy mam, tablicę [256] częstotliwości i porównuję Bayesem zgodność. > To zadziała dobrze dla takich języków jak polski czy norweski dla > których tylko niektóre są z ogonkami. To może dałoby się załatwić oba problemy jednym podejściem? Wygenerować sobie dla każdego języka zestaw tablic częstotliwości - po jednej na każde dopuszczalne kodowanie, i sprawdzać swój plik na tej podstawie - jeśli szczęście dopisze, to mamy wykrywanie język+strona. Tylko do tego, jeśli to w ogóle ma statystyczną szansę zadziałać, trzeba mieć sporą próbkę materiału. Mateusz
Back to pl.comp.programming | Previous | Next — Previous in thread | Next in thread | Find similar | Unroll thread
Detekcja strony kodowej (Bayes?) Borneq <borneq@antyspam.hidden.pl> - 2019-12-27 14:53 +0100
Re: Detekcja strony kodowej (Bayes?) Mateusz Viste <mateusz@xyz.invalid> - 2019-12-27 15:27 +0100
Re: Detekcja strony kodowej (Bayes?) Borneq <borneq@antyspam.hidden.pl> - 2019-12-27 17:29 +0100
Re: Detekcja strony kodowej (Bayes?) Mateusz Viste <mateusz@xyz.invalid> - 2019-12-27 20:34 +0100
Re: Detekcja strony kodowej (Bayes?) Borneq <borneq@antyspam.hidden.pl> - 2019-12-28 09:10 +0100
Re: Detekcja strony kodowej (Bayes?) "M.M." <mmarszik@gmail.com> - 2020-01-08 04:19 -0800
Re: Detekcja strony kodowej (Bayes?) "M.M." <mmarszik@gmail.com> - 2020-01-09 00:45 -0800
csiph-web