Uczenie maszynowe - detekcja UTF

From	Borneq <borneq@antyspam.hidden.pl>
Newsgroups	pl.comp.programming
Subject	Uczenie maszynowe - detekcja UTF
Date	2018-07-09 06:01 +0200
Organization	ATMAN - ATM S.A.
Message-ID	<phumma$n2k$1@node2.news.atman.pl> (permalink)

Show all headers | View raw

Robię detekcję tekstu czy jest  UTF8/binarnym (na razie jeden 
kubełek,potem rozdzielam innym, dobrym sposobem),
czy jest UTF16 czy Little Endian czy Big Endian, czy UTF32 - tak samo.
W ten sposób że robię 4 histogramy, kolejne bajty wrzucam do 0,1,2,3 
histogramu.
W histogramach zliczam nie tyle niezerowe elementy, ale niezerowe i 
niezbyt małe na podstawie kwantyli.
I mam :
dla binarnego na prykład: 186,196,174,193, jeśli duży badany plik, 
rośnie do 230, w przeciwnym przypadku maleje.
Dla UTF16Le:
60,1,64,1 - dla tekstu z polskimi, 66,1,65,1 dla cyrylicy (podobnie)
Dla UTF16Be:
1,60,1,64 - dla tekstu z polskimi, 1,66,1,65 dla cyrylicy, czyli tylko 
zamiana parzystych z nieparzystymi.
Utf32LE:
tekst grecki: 59,1,1,1
Utf32BE: grecki 1,1,1,59
Robiłem w ten sposób że dla każdego kubełka miałem punkty i dla danej 
cechy typu - parzyste podobne do nieparzystego dodawałem punkty, potem 
odejmowałem. I liczyłem ilość punków w stosunku do maksymalnej ilości 
dla tego kubełka.
Im mniej tekstu badam, tym histogramy mniej pomagają, ale w pewnym 
momencie wystarczyło zaledwie 30(!) bajtów tekstu by poselekcjonować 
wszystkie przykłady.
Ale zmieniłem przykłady i muszę na nowo dostrajać: jest A powinno być B, 
więc robię cięższy test A i luzuję B,
ale znowu kłopot z C itd. Największy kłopot jest z UTF32.

Teraz przychodzę do sedna: zamiast dostrajać, jak nauczyć maszynowo? 
sieci neuronowe, niekoniecznie głębokie,
Bayes?(może tak!) , maszyna wektorów nośnych SVM ?
czy jest jakaś metoda, która wskaże błąd, gdy nie podoła?

Back to pl.comp.programming | Previous | Next | Find similar | Unroll thread

Thread

Uczenie maszynowe - detekcja UTF Borneq <borneq@antyspam.hidden.pl> - 2018-07-09 06:01 +0200

csiph-web