Path: csiph.com!fu-berlin.de!uni-berlin.de!not-for-mail
From: "Massa, Harald Armin" <chef@ghum.de>
Newsgroups: de.comp.lang.python
Subject: Re: [Python-de] War die Idee mit Iteratoren/Generatoren wirklich so super?
Date: Tue, 25 Jul 2017 11:19:54 +0200
Lines: 69
Message-ID: <mailman.21.1500974423.3037.python-de@python.org>
References: <392f5a95-defa-0f3d-0f1a-d0b554c2fa34@thomas-guettler.de> <CAMSP2L4HduSWwx5wCPVw+uOOF7sr-W6NMnB1SnPJJmzGt=P7Vg@mail.gmail.com>
Mime-Version: 1.0
Content-Type: text/plain; charset="UTF-8"
Content-Transfer-Encoding: quoted-printable
X-Trace: news.uni-berlin.de EYsKt0qhtskJhaw2TGv3/wlHG+TiiMw9pdLD3mGcm5aw==
Return-Path: <chef@ghum.de>
X-Original-To: python-de@python.org
Delivered-To: python-de@mail.python.org
DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=ghum-de.20150623.gappssmtp.com; s=20150623; h=mime-version:in-reply-to:references:from:date:message-id:subject:to :cc; bh=Hd9x25iX3x3u3+t2brM8075gl4gc51N+PFlIc3C0ilU=; b=EJOubbP25p50peYeal6kG+sKndjNS13UCMUH9y1nR4pvxHqzbnlA353Py7cuC7YSOY Q2KiIidDBhorg0Xpo5V6Z72heeB3Q9Hnwiw0lpVaOChiVqd+MgSWnmP2LUANiDnhA4gF dwY0kfMsNiBKNF4VlCOEE40rOdAVMO36xy1YA7cP9yEABrzEbGy5wtWXPEffgJuYcAR5 Fbbt+d5kcGRmCwpmGlAAFz6ZlT/akTF29Osnr/PMmFnE2bldq16hW3Og/QXvy03Of6L+ 5Nk88AU15ZbGhDzOaVHp83htZAOXo94M+/5izbWxX9ddDT7ULVJuJrzvyqsv3k4dhz4B ePEA==
X-Google-DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=1e100.net; s=20161025; h=x-gm-message-state:mime-version:in-reply-to:references:from:date :message-id:subject:to:cc; bh=Hd9x25iX3x3u3+t2brM8075gl4gc51N+PFlIc3C0ilU=; b=LO4kPnZ7vcFb0kPug8Ma7RA1r3brKWvLjxqH2X3WqIxBywCma0M/boLH72+oPcds6X Uv0ozy/vqscaobNU6sHX/1lA/+II1ekMaGPqguWu7sANnKdKYc6NLd0QXegbDHFms1mg M++2PUB5Q4HFeUMNTyH0OLUjpC9ifg+GfnxZfARfvQjYDFiSq4BSSJQRefQek4TvQhNd pBo6ln7H2ik2yeDRkmmsLzsPGuAMcaZ345pHVBA5mWQB2FwPs7+sAUI+K0PdyvVXt5nG xlC14j/ZRZ3sY0/xfo39yJv1JnBL95sw0k8m/aEnTwsiwfYLXO5/2GVY/qHCielHZAYY wZeA==
X-Gm-Message-State: AIVw111XrB1t4ZgJDH8I/EWreLQm5/An9pwEWO59TJuVr8xoETYCSG+R FpjgxXRgiZTG4cP9rFTBPu1pcpO9ttYEkzY=
X-Received: by 10.202.84.200 with SMTP id i191mr10627389oib.272.1500974414692; Tue, 25 Jul 2017 02:20:14 -0700 (PDT)
In-Reply-To: <392f5a95-defa-0f3d-0f1a-d0b554c2fa34@thomas-guettler.de>
X-Content-Filtered-By: Mailman/MimeDel 2.1.24
X-BeenThere: python-de@python.org
X-Mailman-Version: 2.1.24
Precedence: list
List-Id: Die Deutsche Python Mailingliste <python-de.python.org>
List-Unsubscribe: <https://mail.python.org/mailman/options/python-de>, <mailto:python-de-request@python.org?subject=unsubscribe>
List-Archive: <http://mail.python.org/pipermail/python-de/>
List-Post: <mailto:python-de@python.org>
List-Help: <mailto:python-de-request@python.org?subject=help>
List-Subscribe: <https://mail.python.org/mailman/listinfo/python-de>, <mailto:python-de-request@python.org?subject=subscribe>
X-Mailman-Original-Message-ID: <CAMSP2L4HduSWwx5wCPVw+uOOF7sr-W6NMnB1SnPJJmzGt=P7Vg@mail.gmail.com>
X-Mailman-Original-References: <392f5a95-defa-0f3d-0f1a-d0b554c2fa34@thomas-guettler.de>
Xref: csiph.com de.comp.lang.python:4851

>
> Wenn ich zum Debugging etwas untersuchen will, und dann das hier finde:
>   <generator object get_foo_bars at 0x7f1d3bb416e0>
> ... Dann ist ein weiterer "Edit, Compile, Run Cycle" n=C3=B6tig.
> Dieser "Cycle" geht in Python schnell, aber trotzdem nervt es ein
> klitzekleinesbischen.
>
> Jepp, es ist einfacher, wirklich die Materialisierte Liste zu
durchbr=C3=B6mmeln. Nicht ohne Grund ist Excel das um Gr=C3=B6=C3=9Fenordnu=
ngen h=C3=A4ufiger
eingesetzt Datenanalyse-Tool verglichen mit Pandas und =C3=A4hnlichen.


> Ich frage mich: Bringt der Einsatz von Iteratoren und Generatoren wirklic=
h
> so viel?
> Sicherlich gibt es extreme Beispiele bei denen die Datenmenge nicht in de=
n
> Hauptspeicher passen w=C3=BCrde.
>

der heutige "Hauptspeicher" ist die Festplatte von fr=C3=BCher. Die Musik s=
pielt
im Prozessor-Cache, sowie im L2 und im L3 Cache.

Hier ist bei Iteratoren die Wahrscheinlichkeit, dass kein Cache-Trashing
stattfindet, DEUTLICH h=C3=B6her.

>
> Aber solche Datenmengen habe ich im PostgreSQL, und ich mache auch
> Schleifchen =C3=BCber alle Daten
> in der DB :-)
>
>
> PostgreSQL ist immer eine gute Entscheidung, sagt der von der
PostgreSQL-Support und Development Firma :)

Anywho: ich finde, das Arbeiten mit Iteratoren + Generatoren ist gut f=C3=
=BCr
das Gehirn. Die Programmiererin lernt in Transformationen von Datenstr=C3=
=B6men
zu denken.

Ja, ein paar Gigabyte kann man locker in den Hauptspeicher stecken, und
dann hinreichend schnell zugreifen.

Auf der anderen Seite haben wir immer mehr Daten, die besser im "Stream"
verarbeitet werden - seien es Sensordaten aus den neuen Buzz-Themen IoT und
Industrie 4.0; seien es lustige Videos.

Iteratoren + Generatoren schulen in einer eher deklarativen Beschreibung
des L=C3=B6sungsraums - und das hilft dann auch beim SQL schreiben.

Gru=C3=9F

Harald




--=20

GHUM GmbH
Harald Armin Massa
Spielberger Stra=C3=9Fe 49
70435 Stuttgart
0173/9409607 <0173%209409607>

Amtsgericht Stuttgart, HRB 734971