Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > pl.comp.programming > #33452 > unrolled thread

DeepL

Back to article view | Back to pl.comp.programming

Contents

  DeepL Borneq <borneq@antyspam.hidden.pl> - 2019-11-10 10:16 +0100
    Re: DeepL Borneq <borneq@antyspam.hidden.pl> - 2019-11-10 10:26 +0100
      Re: DeepL "M.M." <mmarszik@gmail.com> - 2019-11-11 01:53 -0800
        Re: DeepL Borneq <borneq@antyspam.hidden.p> - 2019-11-18 00:29 +0100
          Re: DeepL "M.M." <mmarszik@gmail.com> - 2019-11-17 16:53 -0800
    Re: DeepL Piotrne <piotrne@poczta.onet.pl> - 2019-11-18 02:05 +0100
      Re: DeepL "M.M." <mmarszik@gmail.com> - 2019-11-17 23:51 -0800
        Re: DeepL Borneq <borneq@antyspam.hidden.p> - 2019-11-18 15:30 +0100
      Re: DeepL Roman Tyczka <noemail@because.no> - 2019-11-18 12:03 +0100
    Re: DeepL Borneq <borneq@antyspam.hidden.p> - 2019-11-18 15:38 +0100
      Re: DeepL "M.M." <mmarszik@gmail.com> - 2019-11-18 07:06 -0800
        Re: DeepL Borneq <borneq@antyspam.hidden.p> - 2019-11-18 19:42 +0100
          Re: DeepL Borneq <borneq@antyspam.hidden.p> - 2019-11-18 20:11 +0100
            Re: DeepL "M.M." <mmarszik@gmail.com> - 2019-11-18 14:24 -0800
          Re: DeepL "M.M." <mmarszik@gmail.com> - 2019-11-18 14:18 -0800
        Re: DeepL "M.M." <mmarszik@gmail.com> - 2019-11-22 06:20 -0800

#33452 — DeepL

No i stało się. Zainstalowałem DeepL lokalnie na komputerze, do tej pory 
używałem przez internet. Działa szybciej niż przez internet, nie trzeba 
koniecznie połączenie z siecią oraz większa prywatność co ma wadę, że 
moje poprawy tłumaczenia nie będą służyły w rozwoju tłumaczenia.
Instalator (oflfline) ma 145 mega , a po zainstalowaniu w 
Users\user\AppData\Local ma 490 mega.
Czyli nie gigabajty, bo do tej pory myślałem, że tłumaczenie 
statystyczne, zwłaszcza tak dobre jak DeelP będzie za duże by mieć 
lokalnie. Ale ma 9 języków, a par jest dwukrotnie więcej niż w 
turniejach, bo trzeba w dwóch kierunkach czyli n(n-1), więc dla 9 jest 
72. Na każdą parę przypada więc zaledwie 7 mega. Tłumacz Google ma aż 
26*4-1 =  103 języki!
Czyli aż 103*102 = 10506‬ par po 6.8 mega to 71 giga?
Aż się prosi by nie tłumaczyć każdy z każdym ale do jakiegoś języka, 
gdyby do angielskiego, tłumaczenie niemiecki-polski było by bardzo złe 
gdyby chcieć niemiecki-angielski-polski. Ttrzeba by wprowadzić sztuczny 
język ze sztywnymi regułami.
Universal Networking Language (UNL) – oparty o angielski, nie ma tam 
problemu z takimi słowami jak zamek<-> zamek, bo z każdym słowem 
związane jest wyszczególnienie.

[toc] | [next] | [standalone]

#33453

W dniu 10.11.2019 o 10:16, Borneq pisze:
> Tłumacz Google ma aż 26*4-1 =  103 języki!
Ciekawe w jaki sposób zbierany jest materiał do tłumaczenia 
statystycznego. Jedna rzecz to tlumaczenia Unii.
Podpisy do filmów to raczej trudno użyć jako "Rosetta Stone", np. test 
"cholera, trzeba strzelać!", może być przetłumaczony na "widzę że 
zbliżają się kłopoty".

[toc] | [prev] | [next] | [standalone]

#33455

On Sunday, November 10, 2019 at 10:26:16 AM UTC+1, Borneq wrote:
> W dniu 10.11.2019 o 10:16, Borneq pisze:
> > Tłumacz Google ma aż 26*4-1 =  103 języki!
> Ciekawe w jaki sposób zbierany jest materiał do tłumaczenia 
> statystycznego. Jedna rzecz to tlumaczenia Unii.
> Podpisy do filmów to raczej trudno użyć jako "Rosetta Stone", np. test 
> "cholera, trzeba strzelać!", może być przetłumaczony na "widzę że 
> zbliżają się kłopoty".

I ciekawe ile czasu jest uczona sieć neuronowa, na jakim sprzęcie, jak są dane
spreparowane, jaki jest podział na dane uczące i testowe, jaką ma architekturę
sieć neuronowa, ile warstw, neuronów, jakie sploty, jakie ograniczenia wag. 
Ciekawe czy w ogóle warto próbować na jednym CPU/GPU.

Pozdrawiam.

[toc] | [prev] | [next] | [standalone]

#33462

W dniu 11.11.2019 o 10:53, M.M. pisze:
> I ciekawe ile czasu jest uczona sieć neuronowa, na jakim sprzęcie, jak są dane
> spreparowane, jaki jest podział na dane uczące i testowe, jaką ma architekturę
> sieć neuronowa, ile warstw, neuronów, jakie sploty, jakie ograniczenia wag.
> Ciekawe czy w ogóle warto próbować na jednym CPU/GPU.

Podobno na iluś petaflopowym islandzkim superkomputerze
https://antyweb.pl/deepl-tlumacz-online/

[toc] | [prev] | [next] | [standalone]

#33463

On Monday, November 18, 2019 at 12:29:24 AM UTC+1, Borneq wrote:
> W dniu 11.11.2019 o 10:53, M.M. pisze:
> > I ciekawe ile czasu jest uczona sieć neuronowa, na jakim sprzęcie, jak są dane
> > spreparowane, jaki jest podział na dane uczące i testowe, jaką ma architekturę
> > sieć neuronowa, ile warstw, neuronów, jakie sploty, jakie ograniczenia wag.
> > Ciekawe czy w ogóle warto próbować na jednym CPU/GPU.
> 
> Podobno na iluś petaflopowym islandzkim superkomputerze
> https://antyweb.pl/deepl-tlumacz-online/

Najlepszy komputer na świecie (w teście linpack) ma podobno
https://pl.wikipedia.org/wiki/Summit_(superkomputer)
[
148,6[1] PFLOPS
]

Do translacji używaj 5,1 PFLOPS - czyli ta sama klasa komputerów.
Karty graficzne niby mają po kilka tflops, taki komputer to niby 
równoważnik około 1000 GPU. Może na 100 GPU dałoby się już ładnie 
pobawić w translację - ale 100 GPU to nadal sporo drogiego sprzętu.

Pozdrawiam

[toc] | [prev] | [next] | [standalone]

#33464

W dniu 2019-11-10 o 10:16, Borneq pisze:

> Aż się prosi by nie tłumaczyć każdy z każdym ale do jakiegoś języka, gdyby do angielskiego,
> tłumaczenie niemiecki-polski było by bardzo złe gdyby chcieć niemiecki-angielski-polski. Ttrzeba by
> wprowadzić sztuczny język ze sztywnymi regułami.

Jest jakiś wspólny język, bo tłumaczenie polski-niemiecki
wychodzi źle zarówno w Google, jak i DeepL:

Google:
Idziecie teraz do kina?  ->  Gehst du jetzt ins kino  (co znaczy "idziesz ty teraz do kina")

DeepL przynajmniej pisze "Kino" wielką literą i stawia znak zapytania:
Idziecie teraz do kina?  ->  Gehst du jetzt ins Kino?

...ale w obu przypadkach pomylona została liczba mnoga z pojedynczą,
co sugeruje przechodzenie przez język angielski, gdzie "you"
oznacza zarówno "ty", jak i "wy".

Przy jawnym wymuszeniu liczby mnogiej Google dalej sobie nie radzi,
DeepL już tak:

Google:
Wy idziecie. -> Du gehst. (co znaczy "Ty idziesz")

DeepL
Wy idziecie. -> Ihr geht jetzt. ("Wy idziecie teraz")


Sztuczny język byłby dobry, ale skąd wziąć potem dane uczące,
skoro nikt tego języka nie używa i nie ma przykładowych tłumaczeń.
A definiowanie od zera nowego języka ze słownikiem, składnią itp.
to zadanie zbliżone do tworzenia SI, która miałaby tłumaczone
zdania "rozumieć".


P,

[toc] | [prev] | [next] | [standalone]

#33465

On Monday, November 18, 2019 at 2:05:31 AM UTC+1, Piotrne wrote:
> W dniu 2019-11-10 o 10:16, Borneq pisze:
> 
> > Aż się prosi by nie tłumaczyć każdy z każdym ale do jakiegoś języka, gdyby do angielskiego,
> > tłumaczenie niemiecki-polski było by bardzo złe gdyby chcieć niemiecki-angielski-polski. Ttrzeba by
> > wprowadzić sztuczny język ze sztywnymi regułami.
> 
> Jest jakiś wspólny język, bo tłumaczenie polski-niemiecki
> wychodzi źle zarówno w Google, jak i DeepL:
> 
> Google:
> Idziecie teraz do kina?  ->  Gehst du jetzt ins kino  (co znaczy "idziesz ty teraz do kina")
> 
> DeepL przynajmniej pisze "Kino" wielką literą i stawia znak zapytania:
> Idziecie teraz do kina?  ->  Gehst du jetzt ins Kino?
> 
> ...ale w obu przypadkach pomylona została liczba mnoga z pojedynczą,
> co sugeruje przechodzenie przez język angielski, gdzie "you"
> oznacza zarówno "ty", jak i "wy".
> 
> Przy jawnym wymuszeniu liczby mnogiej Google dalej sobie nie radzi,
> DeepL już tak:
> 
> Google:
> Wy idziecie. -> Du gehst. (co znaczy "Ty idziesz")
> 
> DeepL
> Wy idziecie. -> Ihr geht jetzt. ("Wy idziecie teraz")
> 
> 
> Sztuczny język byłby dobry, ale skąd wziąć potem dane uczące,
> skoro nikt tego języka nie używa i nie ma przykładowych tłumaczeń.
> A definiowanie od zera nowego języka ze słownikiem, składnią itp.
> to zadanie zbliżone do tworzenia SI, która miałaby tłumaczone
> zdania "rozumieć".

Pierwszy pomysł z brzegu: tłumaczyć wszystko na angielski i potem z 
angielskiego na język docelowy. Ale co gdy język docelowy ma jakąś
cechę, a język angielski jej nie ma? Translator chyba by musiał dodawać
zdanie opisowe w języku angielskim...

Pozdrawiam

[toc] | [prev] | [next] | [standalone]

#33470

W dniu 18.11.2019 o 08:51, M.M. pisze:
> Pierwszy pomysł z brzegu: tłumaczyć wszystko na angielski i potem z
> angielskiego na język docelowy. Ale co gdy język docelowy ma jakąś
> cechę, a język angielski jej nie ma? Translator chyba by musiał dodawać
> zdanie opisowe w języku angielskim...

Angielski i Esperanto się nie nadają. Jest coś takiego jak Universal 
Networking Language (UNL) ale brakuje zasobów do nauki.

[toc] | [prev] | [next] | [standalone]

#33466

On Mon, 18 Nov 2019 02:05:29 +0100, Piotrne wrote:

>> Aż się prosi by nie tłumaczyć każdy z każdym ale do jakiegoś języka, gdyby do angielskiego,
>> tłumaczenie niemiecki-polski było by bardzo złe gdyby chcieć niemiecki-angielski-polski. Ttrzeba by
>> wprowadzić sztuczny język ze sztywnymi regułami.
> 
> Jest jakiś wspólny język, bo tłumaczenie polski-niemiecki
> wychodzi źle zarówno w Google, jak i DeepL:
> 
> Google:
> Idziecie teraz do kina?  ->  Gehst du jetzt ins kino  (co znaczy "idziesz ty teraz do kina")
> 
> DeepL przynajmniej pisze "Kino" wielką literą i stawia znak zapytania:
> Idziecie teraz do kina?  ->  Gehst du jetzt ins Kino?
> 
> ...ale w obu przypadkach pomylona została liczba mnoga z pojedynczą,
> co sugeruje przechodzenie przez język angielski, gdzie "you"
> oznacza zarówno "ty", jak i "wy".
> 
> Przy jawnym wymuszeniu liczby mnogiej Google dalej sobie nie radzi,
> DeepL już tak:
> 
> Google:
> Wy idziecie. -> Du gehst. (co znaczy "Ty idziesz")
> 
> DeepL
> Wy idziecie. -> Ihr geht jetzt. ("Wy idziecie teraz")
> 
> 
> Sztuczny język byłby dobry, ale skąd wziąć potem dane uczące,
> skoro nikt tego języka nie używa i nie ma przykładowych tłumaczeń.
> A definiowanie od zera nowego języka ze słownikiem, składnią itp.
> to zadanie zbliżone do tworzenia SI, która miałaby tłumaczone
> zdania "rozumieć".

Wymyślono Esperanto.

-- 
pozdrawiam
Roman Tyczka

[toc] | [prev] | [next] | [standalone]

#33471

W dniu 10.11.2019 o 10:16, Borneq pisze:
> No i stało się. Zainstalowałem DeepL lokalnie na komputerze, do tej pory 
> używałem przez internet. Działa szybciej niż przez internet, nie trzeba 

z pdf z https://github.com/lmthang/thesis
przykład gdzie nie ma słownika tylko korpus równolegly

Chodzi o to, jakie maksymalne informacje można wydobyć z korpusa.

parallel corpus
She loves cats = Elle aime les chats
She loves him = Elle l'aime
He adores cute cats = Il adore les chats mignons
He has a cat = Il a un chat

pytanie: jak przetłumaczyć na podstawie tych 4 zdań "She loves cute cats"?
ja dochodzę do wniosku że
Elle aime les chats mignons
deepL: Elle adore les chats mignons - słuszniej, ale nie wynika to z 
tych 4 zdań

można się dowiedzieć że
she = elle
loves = aime (cats)|l'aime(him) przy czym te słowa są zadziwiająco 
podobne, czyli nie inne tylko inna forma
w rzeczywistości l'aime jest dużo mocniejsze (lubi-kocha) a nie inna forma
cats = les chats //nawet podobne ale nie trzeba się tym sugerować
him = albo znika w tym zdaniu, stając się domyślny albo staje się 
przedrostkiem - w rzeczywistości jeśli obiektem jest "on", wtedy się 
opuszcza
he = Il
adores  = adore
cute = mignons + zamiana miejscami słów we frazie
has - a
a cat = un cat, tylko skąd wiedzieć że to nie "a" zostało przetłumaczone 
na "a"?? - potrzebne są albo
wstępne informacje językowe albo więcej zdań w korpusie

Gdyby zapytać się o : He has a cat -> Elle a un chat
można stwierdzić nawet bez wiedzy o tym czy "a" to "has" czy "a" to "a"
Tylko należy zauważyć że te zdania są bardzo krótkie i dość łatwo można 
je dopasować

[toc] | [prev] | [next] | [standalone]

#33474

On Monday, November 18, 2019 at 3:38:04 PM UTC+1, Borneq wrote:
> W dniu 10.11.2019 o 10:16, Borneq pisze:
> > No i stało się. Zainstalowałem DeepL lokalnie na komputerze, do tej pory 
> > używałem przez internet. Działa szybciej niż przez internet, nie trzeba 
> 
> z pdf z https://github.com/lmthang/thesis
> przykład gdzie nie ma słownika tylko korpus równolegly
> 
> Chodzi o to, jakie maksymalne informacje można wydobyć z korpusa.
> 
> parallel corpus
> She loves cats = Elle aime les chats
> She loves him = Elle l'aime
> He adores cute cats = Il adore les chats mignons
> He has a cat = Il a un chat
> 
> pytanie: jak przetłumaczyć na podstawie tych 4 zdań "She loves cute cats"?

Nie wiem, ale chyba albo ilość danych rośnie wykładniczo, albo musimy
znać model.

> ja dochodzę do wniosku że
> Elle aime les chats mignons
> deepL: Elle adore les chats mignons - słuszniej, ale nie wynika to z 
> tych 4 zdań
> 
> można się dowiedzieć że
> she = elle
> loves = aime (cats)|l'aime(him) przy czym te słowa są zadziwiająco 
> podobne, czyli nie inne tylko inna forma
> w rzeczywistości l'aime jest dużo mocniejsze (lubi-kocha) a nie inna forma
> cats = les chats //nawet podobne ale nie trzeba się tym sugerować
> him = albo znika w tym zdaniu, stając się domyślny albo staje się 
> przedrostkiem - w rzeczywistości jeśli obiektem jest "on", wtedy się 
> opuszcza
> he = Il
> adores  = adore
> cute = mignons + zamiana miejscami słów we frazie
> has - a
> a cat = un cat, tylko skąd wiedzieć że to nie "a" zostało przetłumaczone 
> na "a"?? - potrzebne są albo
> wstępne informacje językowe albo więcej zdań w korpusie

Taki nieprzemyślany pomysł: bierzemy tyle sieci neuronowych ile jest słów w
języku docelowym jedna siec ze słowem pustym. Sieci mogą mieć wspólne wagi.
Wrzucamy z kontekstu 100 poprzednich słów, 100 następnych i oczywiście słowo
tłumaczone. Do zdania tłumaczonego dodajemy sztuczne słowa nie istniejące
w oryginalnym języku, np. słowo "Zwykle prawą ręką zapalam światło" zamieniamy
na zdanie "aaaa bbbb Zwykle cccc dddd prawą eeee ffff ręką gggg hhhh zapalam 
iiii jjjj światło kkkk llll". Czasami sieć dla sztucznych słów wypluje 
słowa typu a, the, albo jakieś idiomy. Innym razem sieć wypluje slowo puste, co
będzie znaczyło, że tego slowa się nie tłumaczy. Potem inny zestaw sieci zadba o
kolejność, interpunkcję, wielkie litery... a może to kolejny zestaw doda 
idiomy i słowa których nie da się wyrazić uboższą gramatyką w języku docelowym?

> Gdyby zapytać się o : He has a cat -> Elle a un chat
> można stwierdzić nawet bez wiedzy o tym czy "a" to "has" czy "a" to "a"
> Tylko należy zauważyć że te zdania są bardzo krótkie i dość łatwo można 
> je dopasować

Pomimo że są krótkie, to czasami wieloznaczność słów uniemożliwia 
przetłumaczenie bez kontekstu, słynny polski 'granat', 'on ma granat',
chodzi o owoc czy ładunek wybuchowy, a może o kolor?

Pozdrawiam

[toc] | [prev] | [next] | [standalone]

#33476

W dniu 18.11.2019 o 16:06, M.M. pisze:
> iiii jjjj światło kkkk llll". Czasami sieć dla sztucznych słów wypluje
> słowa typu a, the, albo jakieś idiomy. Innym razem sieć wypluje slowo puste, co
> będzie znaczyło, że tego slowa się nie tłumaczy. Potem inny zestaw sieci zadba o

A czy zamiast neuronów nie można użyć jakiegoś algorytmu, np. liczącego 
prawdopodobieństwa Bayesa? Trochę mam niezbyt dużo zaufania do sposobu w 
którym to nie my określamy działania, tylko sieć sama się uczy w 
niewiadomy sposób, za to trzeba ja długo uczyć na wielkiej ilości danych.

Zamiast tłumaczyć z języka A na B, można by spróbować tekst zrozumieć, 
mieć wtedy pośredni język.

Na przykład porównując definicje:
http://wordnetweb.princeton.edu/perl/webwn?s=solid&sub=Search+WordNet&o2=1&o0=1&o8=1&o1=1&o7=1&o5=&o9=&o6=&o3=&o4=&h=0

https://en.wiktionary.org/wiki/solid

Widać że część się pokrywa, część nie. Ale w jaki sposób maszyna może 
stwierdzić pokrywanie się definicji?
(geometry) A three-dimensional figure (as opposed to a surface, an area, 
or a curve).
==
S: (n) solid#3 (a three-dimensional shape)

(chemistry) A substance in the fundamental state of matter that retains 
its size and shape without need of a container (as opposed to a liquid 
or gas).
==
(14)S: (n) solid#1 (matter that is solid at room temperature and pressure)

natomiast to nie pasuje:
An article of clothing which is of a single color throughout.

--
gdy się porównuje definicje, to człowiek jest w stanie stwierdzić, czy 
pasują czy nie, natomiast komputer jak to może stwierdzić?
Przydałoby się liczyć to z jakimś prawdopodobieństwem, na przykład: te 
definicje pasuję na 0.99, te na 0.01, a gdy na 0.6 to mamy problem.

[toc] | [prev] | [next] | [standalone]

#33480

W dniu 18.11.2019 o 19:42, Borneq pisze:
> gdy się porównuje definicje, to człowiek jest w stanie stwierdzić, czy 
> pasują czy nie, natomiast komputer jak to może stwierdzić?
> Przydałoby się liczyć to z jakimś prawdopodobieństwem, na przykład: te 
> definicje pasuję na 0.99, te na 0.01, a gdy na 0.6 to mamy problem.

Zadanie dla sztucznej inteligencji:
Mamy dwie definicje i mamy porównać czy są zgodne. Odpowiedź może być 
prawdopodobieństwem albo odległością pojęć.
Dla bliskich sobie pojęć to i człowiek może mieć kłopoty:
na przykład dla definicji wody, jako cieczy znajdującej się w 
zbiornikach wodnych, inna definicja to H2O, trzecia to substancja 
niezbędna do życia.

[toc] | [prev] | [next] | [standalone]

#33482

On Monday, November 18, 2019 at 8:12:13 PM UTC+1, Borneq wrote:
> W dniu 18.11.2019 o 19:42, Borneq pisze:
> > gdy się porównuje definicje, to człowiek jest w stanie stwierdzić, czy 
> > pasują czy nie, natomiast komputer jak to może stwierdzić?
> > Przydałoby się liczyć to z jakimś prawdopodobieństwem, na przykład: te 
> > definicje pasuję na 0.99, te na 0.01, a gdy na 0.6 to mamy problem.
> 
> Zadanie dla sztucznej inteligencji:
> Mamy dwie definicje i mamy porównać czy są zgodne. Odpowiedź może być 
> prawdopodobieństwem albo odległością pojęć.
> Dla bliskich sobie pojęć to i człowiek może mieć kłopoty:
> na przykład dla definicji wody, jako cieczy znajdującej się w 
> zbiornikach wodnych, inna definicja to H2O, trzecia to substancja 
> niezbędna do życia.

Temat do przemyślenia. Nie wiem jak komputer mógłby sprawdzić, czy zdanie
"przezroczysta substancja płynna w warunkach normalnych" jest zgodne ze
zdaniem "związek tlenu i wodoru". Inne tego typu substancje nie są
niezbędne, albo wręcz toksyczne. Musi chyba mieć wprowadzone takie dane,
albo algorytm uczenia i doświadczenie porównywalne z doświadczeniem
ludzkiej cywilizacji?

Pozdrawiam.

[toc] | [prev] | [next] | [standalone]

#33481

On Monday, November 18, 2019 at 7:42:29 PM UTC+1, Borneq wrote:
> W dniu 18.11.2019 o 16:06, M.M. pisze:
> > iiii jjjj światło kkkk llll". Czasami sieć dla sztucznych słów wypluje
> > słowa typu a, the, albo jakieś idiomy. Innym razem sieć wypluje slowo puste, co
> > będzie znaczyło, że tego slowa się nie tłumaczy. Potem inny zestaw sieci zadba o
> 
> A czy zamiast neuronów nie można użyć jakiegoś algorytmu, np. liczącego 
> prawdopodobieństwa Bayesa? 

Można, ale z materiałów wynika, że tak się robiło dekadę temu. Poza tym można
zastosować rozwiązania łączone, co by szkodziło, żeby do sieci podawać
wyjścia z drzew decyzyjnych czy klasyfikatora bajesya?


> Trochę mam niezbyt dużo zaufania do sposobu w którym to nie my określamy
> działania, tylko sieć sama się uczy w niewiadomy sposób, 

Sztuczne sieci neuronowe są w pewnym sensie bardzo wygodne. Mamy 
szereg parametrów: ilość wag, kary za duże wagi, przedziały w których wagi
muszą się zmieścić, kary za duże wyjścia. Zwiększając te parametry, dajemy
większą swobodę sieci. Po uczeniu sprawdzamy na zbiorze testowym czy nie
daliśmy za dużo swobody. To w pewnym sensie bardzo łatwe i mechaniczne
podejście. Gdzieś w międzyczasie dobieramy ilość połączeń i sposób połączenia.
I tak w kółko aż do skutku. Oczywiście można się tą łatwością i wygodą 
zachłysnąć...
sieci


> za to trzeba ja długo uczyć na wielkiej ilości danych.

To samo dostrzegłem ucząc sieci na najprostszych przykładach, np. tabliczki
mnożenia. Rozumiałem, że wyuczona sieć ma tabliczce 10x10 nie uogólnia dobrze
na przykładzie 20x20, ani nawet na przykładzie 5.5x5.5, bo to w końcu inny
model. Ale dlaczego sieć tak długo się uczy tych głupich 100 danych 
uczących - nie mogłem zrozumieć. Dlatego opracowałem nowe sieci neuronowe, 
powinny sprawiać mniej problemów.


> Zamiast tłumaczyć z języka A na B, można by spróbować tekst zrozumieć, 
> mieć wtedy pośredni język.
> 
> Na przykład porównując definicje:
> http://wordnetweb.princeton.edu/perl/webwn?s=solid&sub=Search+WordNet&o2=1&o0=1&o8=1&o1=1&o7=1&o5=&o9=&o6=&o3=&o4=&h=0

Hmmmm, do przemyślenia.

> 
> https://en.wiktionary.org/wiki/solid
> 
> Widać że część się pokrywa, część nie. Ale w jaki sposób maszyna może 
> stwierdzić pokrywanie się definicji?
> (geometry) A three-dimensional figure (as opposed to a surface, an area, 
> or a curve).
> ==
> S: (n) solid#3 (a three-dimensional shape)
> 
> (chemistry) A substance in the fundamental state of matter that retains 
> its size and shape without need of a container (as opposed to a liquid 
> or gas).
> ==
> (14)S: (n) solid#1 (matter that is solid at room temperature and pressure)
> 
> natomiast to nie pasuje:
> An article of clothing which is of a single color throughout.
> 
> --
> gdy się porównuje definicje, to człowiek jest w stanie stwierdzić, czy 
> pasują czy nie, natomiast komputer jak to może stwierdzić?
> Przydałoby się liczyć to z jakimś prawdopodobieństwem, na przykład: te 
> definicje pasuję na 0.99, te na 0.01, a gdy na 0.6 to mamy problem.

Trudno powiedzieć coś przydatnego na temat tego jak to robi człowiek. Też
czasami może źle zrozumieć. Może chodzi o to, że człowiek wyobraża sobie 
jak będzie używał definicji? A co gdy definicje tworzy się w celu 
czegoś niewyobrażalnego, np. w celu odkrycia naukowego? Ludzie to jakoś
robią.

Pozdrawiam

[toc] | [prev] | [next] | [standalone]

#33510

On Monday, November 18, 2019 at 4:06:52 PM UTC+1, M.M. wrote:
> On Monday, November 18, 2019 at 3:38:04 PM UTC+1, Borneq wrote:
> > W dniu 10.11.2019 o 10:16, Borneq pisze:
> > > No i stało się. Zainstalowałem DeepL lokalnie na komputerze, do tej pory 
> > > używałem przez internet. Działa szybciej niż przez internet, nie trzeba 
> > 
> > z pdf z https://github.com/lmthang/thesis
> > przykład gdzie nie ma słownika tylko korpus równolegly
> > 
> > Chodzi o to, jakie maksymalne informacje można wydobyć z korpusa.
> > 
> > parallel corpus
> > She loves cats = Elle aime les chats
> > She loves him = Elle l'aime
> > He adores cute cats = Il adore les chats mignons
> > He has a cat = Il a un chat
> > 
> > pytanie: jak przetłumaczyć na podstawie tych 4 zdań "She loves cute cats"?
> 
> Nie wiem, ale chyba albo ilość danych rośnie wykładniczo, albo musimy
> znać model.
> 
> > ja dochodzę do wniosku że
> > Elle aime les chats mignons
> > deepL: Elle adore les chats mignons - słuszniej, ale nie wynika to z 
> > tych 4 zdań
> > 
> > można się dowiedzieć że
> > she = elle
> > loves = aime (cats)|l'aime(him) przy czym te słowa są zadziwiająco 
> > podobne, czyli nie inne tylko inna forma
> > w rzeczywistości l'aime jest dużo mocniejsze (lubi-kocha) a nie inna forma
> > cats = les chats //nawet podobne ale nie trzeba się tym sugerować
> > him = albo znika w tym zdaniu, stając się domyślny albo staje się 
> > przedrostkiem - w rzeczywistości jeśli obiektem jest "on", wtedy się 
> > opuszcza
> > he = Il
> > adores  = adore
> > cute = mignons + zamiana miejscami słów we frazie
> > has - a
> > a cat = un cat, tylko skąd wiedzieć że to nie "a" zostało przetłumaczone 
> > na "a"?? - potrzebne są albo
> > wstępne informacje językowe albo więcej zdań w korpusie
> 
> Taki nieprzemyślany pomysł: bierzemy tyle sieci neuronowych ile jest słów w
> języku docelowym...

Gdy pisałem te słowa, nie wiedziałem że takie podejście ma swoją nazwę,
mianowicie nazywa się to 'modelem jednorazowym'.

Pozdrawiam

[toc] | [prev] | [standalone]

Back to top | Article view | pl.comp.programming

csiph-web