Re: [Python-de] War die Idee mit Iteratoren/Generatoren wirklich so super?

Path	csiph.com!fu-berlin.de!uni-berlin.de!not-for-mail
From	"Massa, Harald Armin" <chef@ghum.de>
Newsgroups	de.comp.lang.python
Subject	Re: [Python-de] War die Idee mit Iteratoren/Generatoren wirklich so super?
Date	Tue, 25 Jul 2017 11:19:54 +0200
Lines	69
Message-ID	<mailman.21.1500974423.3037.python-de@python.org> (permalink)
References	<392f5a95-defa-0f3d-0f1a-d0b554c2fa34@thomas-guettler.de> <CAMSP2L4HduSWwx5wCPVw+uOOF7sr-W6NMnB1SnPJJmzGt=P7Vg@mail.gmail.com>
Mime-Version	1.0
Content-Type	text/plain; charset="UTF-8"
Content-Transfer-Encoding	quoted-printable
X-Trace	news.uni-berlin.de EYsKt0qhtskJhaw2TGv3/wlHG+TiiMw9pdLD3mGcm5aw==
Return-Path	<chef@ghum.de>
X-Original-To	python-de@python.org
Delivered-To	python-de@mail.python.org
DKIM-Signature	v=1; a=rsa-sha256; c=relaxed/relaxed; d=ghum-de.20150623.gappssmtp.com; s=20150623; h=mime-version:in-reply-to:references:from:date:message-id:subject:to :cc; bh=Hd9x25iX3x3u3+t2brM8075gl4gc51N+PFlIc3C0ilU=; b=EJOubbP25p50peYeal6kG+sKndjNS13UCMUH9y1nR4pvxHqzbnlA353Py7cuC7YSOY Q2KiIidDBhorg0Xpo5V6Z72heeB3Q9Hnwiw0lpVaOChiVqd+MgSWnmP2LUANiDnhA4gF dwY0kfMsNiBKNF4VlCOEE40rOdAVMO36xy1YA7cP9yEABrzEbGy5wtWXPEffgJuYcAR5 Fbbt+d5kcGRmCwpmGlAAFz6ZlT/akTF29Osnr/PMmFnE2bldq16hW3Og/QXvy03Of6L+ 5Nk88AU15ZbGhDzOaVHp83htZAOXo94M+/5izbWxX9ddDT7ULVJuJrzvyqsv3k4dhz4B ePEA==
X-Google-DKIM-Signature	v=1; a=rsa-sha256; c=relaxed/relaxed; d=1e100.net; s=20161025; h=x-gm-message-state:mime-version:in-reply-to:references:from:date :message-id:subject:to:cc; bh=Hd9x25iX3x3u3+t2brM8075gl4gc51N+PFlIc3C0ilU=; b=LO4kPnZ7vcFb0kPug8Ma7RA1r3brKWvLjxqH2X3WqIxBywCma0M/boLH72+oPcds6X Uv0ozy/vqscaobNU6sHX/1lA/+II1ekMaGPqguWu7sANnKdKYc6NLd0QXegbDHFms1mg M++2PUB5Q4HFeUMNTyH0OLUjpC9ifg+GfnxZfARfvQjYDFiSq4BSSJQRefQek4TvQhNd pBo6ln7H2ik2yeDRkmmsLzsPGuAMcaZ345pHVBA5mWQB2FwPs7+sAUI+K0PdyvVXt5nG xlC14j/ZRZ3sY0/xfo39yJv1JnBL95sw0k8m/aEnTwsiwfYLXO5/2GVY/qHCielHZAYY wZeA==
X-Gm-Message-State	AIVw111XrB1t4ZgJDH8I/EWreLQm5/An9pwEWO59TJuVr8xoETYCSG+R FpjgxXRgiZTG4cP9rFTBPu1pcpO9ttYEkzY=
X-Received	by 10.202.84.200 with SMTP id i191mr10627389oib.272.1500974414692; Tue, 25 Jul 2017 02:20:14 -0700 (PDT)
In-Reply-To	<392f5a95-defa-0f3d-0f1a-d0b554c2fa34@thomas-guettler.de>
X-Content-Filtered-By	Mailman/MimeDel 2.1.24
X-BeenThere	python-de@python.org
X-Mailman-Version	2.1.24
Precedence	list
List-Id	Die Deutsche Python Mailingliste <python-de.python.org>
List-Unsubscribe	<https://mail.python.org/mailman/options/python-de>, <mailto:python-de-request@python.org?subject=unsubscribe>
List-Archive	<http://mail.python.org/pipermail/python-de/>
List-Post	<mailto:python-de@python.org>
List-Help	<mailto:python-de-request@python.org?subject=help>
List-Subscribe	<https://mail.python.org/mailman/listinfo/python-de>, <mailto:python-de-request@python.org?subject=subscribe>
X-Mailman-Original-Message-ID	<CAMSP2L4HduSWwx5wCPVw+uOOF7sr-W6NMnB1SnPJJmzGt=P7Vg@mail.gmail.com>
X-Mailman-Original-References	<392f5a95-defa-0f3d-0f1a-d0b554c2fa34@thomas-guettler.de>
Xref	csiph.com de.comp.lang.python:4851

Show key headers only | View raw

>
> Wenn ich zum Debugging etwas untersuchen will, und dann das hier finde:
>   <generator object get_foo_bars at 0x7f1d3bb416e0>
> ... Dann ist ein weiterer "Edit, Compile, Run Cycle" nötig.
> Dieser "Cycle" geht in Python schnell, aber trotzdem nervt es ein
> klitzekleinesbischen.
>
> Jepp, es ist einfacher, wirklich die Materialisierte Liste zu
durchbrömmeln. Nicht ohne Grund ist Excel das um Größenordnungen häufiger
eingesetzt Datenanalyse-Tool verglichen mit Pandas und ähnlichen.


> Ich frage mich: Bringt der Einsatz von Iteratoren und Generatoren wirklich
> so viel?
> Sicherlich gibt es extreme Beispiele bei denen die Datenmenge nicht in den
> Hauptspeicher passen würde.
>

der heutige "Hauptspeicher" ist die Festplatte von früher. Die Musik spielt
im Prozessor-Cache, sowie im L2 und im L3 Cache.

Hier ist bei Iteratoren die Wahrscheinlichkeit, dass kein Cache-Trashing
stattfindet, DEUTLICH höher.

>
> Aber solche Datenmengen habe ich im PostgreSQL, und ich mache auch
> Schleifchen über alle Daten
> in der DB :-)
>
>
> PostgreSQL ist immer eine gute Entscheidung, sagt der von der
PostgreSQL-Support und Development Firma :)

Anywho: ich finde, das Arbeiten mit Iteratoren + Generatoren ist gut für
das Gehirn. Die Programmiererin lernt in Transformationen von Datenströmen
zu denken.

Ja, ein paar Gigabyte kann man locker in den Hauptspeicher stecken, und
dann hinreichend schnell zugreifen.

Auf der anderen Seite haben wir immer mehr Daten, die besser im "Stream"
verarbeitet werden - seien es Sensordaten aus den neuen Buzz-Themen IoT und
Industrie 4.0; seien es lustige Videos.

Iteratoren + Generatoren schulen in einer eher deklarativen Beschreibung
des Lösungsraums - und das hilft dann auch beim SQL schreiben.

Gruß

Harald




-- 

GHUM GmbH
Harald Armin Massa
Spielberger Straße 49
70435 Stuttgart
0173/9409607 <0173%209409607>

Amtsgericht Stuttgart, HRB 734971

Back to de.comp.lang.python | Previous | Next | Find similar

Thread

Re: [Python-de] War die Idee mit Iteratoren/Generatoren wirklich so super? "Massa, Harald Armin" <chef@ghum.de> - 2017-07-25 11:19 +0200

csiph-web