Groups | Search | Server Info | Login | Register

Groups > sfnet.atk.sodat > #218

Re: Moniajo

From Reijo Korhonen <reijo.korhonen@invalid.invalid>
Newsgroups sfnet.atk.sodat
Subject Re: Moniajo
Date 2017-07-25 10:52 +0000
Organization A noiseless patient Spider
Message-ID <ol77sq$p2h$4@dont-email.me> (permalink)
References (5 earlier) <slrnommv75.mkq.tav@dondo.ampiainen.net> <oki6vg$l7u$9@dont-email.me> <okir5v$ote$1@dont-email.me> <okjb6t$5fm$5@dont-email.me> <slrnonaq2o.mkq.tav@dondo.ampiainen.net>

Show all headers | View raw

On Mon, 24 Jul 2017 10:21:25 +0000, Tapio Väättänen wrote:

> On 2017-07-17, Reijo Korhonen <reijo.korhonen@invalid.invalid> wrote:
>> Tarkoitukseni oli kuitenkin tuoda alkuperäiosessä viestissäni esille
>> sen, miksi rinnakkaisuus on niin tärkeä asia nykyisin, koska se on
>> nykyään ainoa keino lisätä prosessoinnin vauhtia. Rinnakkaisuus
>> sisältää kuitenkin runsaasti huonosti ratkaistuja hallisemattomia
>> ongelmia ja tuo rakennusalan esimerkki oli mikana siinä tarkoituksessa
>> että se kuvaisi sitä, kuinka vaikeaa ihmisen on hallita samaan aikaan
>> tapahtuvia asioita eli selittää sillä sitä, miksi rinnakkaisuutta on
>> IT-maailmassa ratkaistu niin heikosti. Se kun on voikeaa. En yrittänyt
>> tehdä analogiaa ohgjelmien ja talon rakennuksen välillä.
> 
> Rinnakkaislaskenta on tehnyt hillittömiä harppauksia Hadoopin ja Sparkin
> ansiosta. Samoin ihan perinteisetkin tietovarastointiratkaisut ovat
> nykyisin poikkeuksetta rinnakkaislaskentaan perustuvia.

No saa harppoa sitten edelleenkin ja pitkään. Rinnakkaislaskenta on 
merkittävissä määrin käytössä erittäin kapea-alaisissa ongelmissa kuten 
kuvankäsittelyssä. Näissä ongelma on pystytty mallintamaan riittävästi 
jotta rinnakkaislaskennasta on oikeasti hyötyä. Parhaiten toimivat 
rinnakkaislaskentayksiköthän  ovat näyttäkortteja.

Kun Googlettaa "spark parallel processing" huomaa heti, että tulokset 
ovat hyvin ristiriitaisia. Ensimmäinen linkki sanoo, että 
testiohjelmassa, jossa kokeiltii csv.tiedostojen rinnakkaista lukua 
perinteisen peräkkäisen toiminnan suhteen, ei saatukaan mitään 
nopeusetua. Tämä on täysin odotettu tulos. Massamuistit rinnakkaistavat 
luvun jo nyt niin paljon kuin pystyvät ja siitä suoritusaika riippuu. 
Rinnakkaiset säikeet ovat siis jonoissa odottamassa massamuistia, joka 
huhkii niin paljon kuin kerkiää. Testiohjelman pitäisi olla paljon 
monimutkaisempi jotta rinnakkaisuudesta olisi hyötyä.

Apache Sparkista sanotaan näin: Apache Spark is an open-source cluster-
computing framework. Se on siis framework jolla _ratkaistut_ rinnakkaiset 
tehtävät voidaa suorittaa. Nykytiedon tasolla ongelma ei ole laitteioston 
tai frameworkkien puute vaan itse rinnakkaisuuden ongelman ratkaisu 
käytännön tilanteissa. Se miten jokin ongelma kuvataan rinnakksina 
työvaiheina jotka oikeasti voidaan suorittaa rinnakkain ja kuinka hallita 
se koska seuraava rinnakkainjen työvaihe voi käynnistyä ja käyttää ajan 
tasalla olevaa lähtödataa ja tuottaa oikeaa tulosdataa. Tämän miettiminen 
on nykypäivänä käytännön ongelmissa niin työlästä ja tulokset 
riskialttiita, että käytännössä työnantajat määräävät työntekijänsä 
tekemään tuottavampaa työtä.

Näin se menee käytännössä. Yliopistoissa mietitään ensin teoreettisia 
ongelmia ja niihin ratkaisuja, mutta aika kauan tiedemaailma liitelee 
omissa pilvissään ennen kuin kohtaa reaalimaailman ja pääsee sille 
tasolle, että ratkaisuja voidaan oikeasti soveltaa.

"tietovarastointi" on sen verran geneerinen termi, että se tarkoittaa 
ihan kaikkea mitä tietokoneilla tehdään, sillä tietokoneilla käsitellään 
tietoa ja se pitää aina varastoida jonnekin, pitemmäksi tai lyhyemmäksi 
ajaksi jotta tieto ei katoaisi. Yleensä emme halua että tieto katoaa. 
Joskus kyllä se olisi kiva, jos tieto on epämiellyttävä ;-)



-- 
Reijo@iki.fi.nospam.invalid
http://www.iki.fi/Reijo

Back to sfnet.atk.sodat | Previous | Next — Previous in thread | Next in thread | Find similar

Thread

Moniajo Tuomas Yrjövuori <tuomas.yrjovuori@aalto.fi> - 2017-07-07 12:21 +0300
  Re: Moniajo Naked Fame <invalid@invalid.invalid> - 2017-07-08 00:15 +0300
  Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-08 09:14 +0000
    Re: Moniajo Tuomas Yrjövuori <tuomas.yrjovuori@aalto.fi> - 2017-07-08 21:40 +0300
      Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-08 21:16 +0000
        Re: Moniajo Ari Saastamoinen <oh3mqu+news@hyper.fi> - 2017-07-09 01:25 +0300
          Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-11 20:51 +0000
          Re: Moniajo Tapio Väättänen <tav@iki.fi> - 2017-07-16 21:47 +0000
            Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-17 11:27 +0000
              Re: Moniajo Ari Saastamoinen <oh3mqu+news@hyper.fi> - 2017-07-17 16:13 +0300
                Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-17 21:22 +0000
              Re: Moniajo Juhani Varemo <juhani.poista@kuivanto.fi.invalid> - 2017-07-17 20:16 +0300
                Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-17 21:46 +0000
                Re: Moniajo Tapio Väättänen <tav@iki.fi> - 2017-07-24 10:21 +0000
                Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-25 10:52 +0000
                Re: Moniajo Tapio Väättänen <tav@iki.fi> - 2017-07-31 15:05 +0000
                Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-08-02 23:26 +0000
                Re: Moniajo Tuomas Yrjövuori <tuomas.yrjovuori@aalto.fi> - 2017-08-03 10:29 +0300
                Re: Moniajo Tapio Väättänen <tav@iki.fi> - 2017-08-03 10:48 +0000
                Re: Moniajo Tuomas Yrjövuori <tuomas.yrjovuori@aalto.fi> - 2017-08-03 15:08 +0300
                Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-08-03 21:19 +0000
                Re: Moniajo Tapio Vaattanen <tav@iki.fi> - 2017-08-03 23:14 +0000
                Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-08-03 21:07 +0000
                Re: Moniajo Tapio Väättänen <tav@iki.fi> - 2017-08-03 10:27 +0000
      Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-08 21:26 +0000
        Re: Moniajo Tapio Väättänen <tav@iki.fi> - 2017-07-16 21:51 +0000
          Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-17 10:25 +0000
      Re: Moniajo Ari Saastamoinen <oh3mqu+news@hyper.fi> - 2017-07-09 00:55 +0300
        Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-11 21:04 +0000
          Re: Moniajo Ari Saastamoinen <oh3mqu+news@hyper.fi> - 2017-07-12 00:33 +0300
          Re: Moniajo Tapio Väättänen <tav@iki.fi> - 2017-07-16 21:57 +0000
            Re: Moniajo Reijo Korhonen <reijo.korhonen@invalid.invalid> - 2017-07-17 10:31 +0000
              Re: Moniajo Ari Saastamoinen <oh3mqu+news@hyper.fi> - 2017-07-17 15:50 +0300

csiph-web