Path: csiph.com!fu-berlin.de!uni-berlin.de!individual.net!not-for-mail
From: Arno Welzel <usenet@arnowelzel.de>
Newsgroups: de.comp.lang.php
Subject: Re: XML speicherschonend analysieren
Date: Wed, 8 Jun 2022 14:03:24 +0200
Lines: 36
Message-ID: <jgbhgcF52tcU3@mid.individual.net>
References: <1t629f1302i4df28n3e8%sfroehli@Froehlich.Priv.at>
Mime-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
X-Trace: individual.net GMykWhKKy8ZrXpTzNUTp5gz6J95BSVgxWeoi/Su7rWxf77qHg3
Cancel-Lock: sha1:p6z2p38tIFuVId2uIcCXa6eeXdc=
Content-Language: de-DE
In-Reply-To: <1t629f1302i4df28n3e8%sfroehli@Froehlich.Priv.at>
Xref: csiph.com de.comp.lang.php:4841

Stefan Froehlich:

> Ich habe ein paar Klassen, die unterschiedliche XML-Standards
> erkennen (und in Abhängigkeit davon dann die passende
> Weiterverarbeitung anstoßen, teilweise in PHP, teilweise extern).
> Das läuft über DOMDocument und relativ simpel durch Abfrage der
> obersten Elemente, Attribute u/o Namespaces.
> 
> Gerade eben ist mir einer dieser Jobs um die Ohren geflogen mit:
> 
> | Allowed memory size of 12582912000 bytes exhausted (tried to allocate 13801920612 bytes)
> 
> Für den konkreten Fall habe ich das Speicherlimit halt von 12
> auf 15GB erhöht - aber es ist abzusehen, dass auch das über kurz
> oder lang gesprengt werden wird, und irgendwann kommen dann
> physikalische Grenzen.

Was nicht überraschend ist, wenn das zugrundeliegende Dokument
entsprechend umfangreich ist.

> Und jetzt? Von DOMDocument auf Stringverarbeitung umstellen, die
> ersten paar kB einlesen und mit regulären Ausdrücken darauf
> herumhacken? So unelegant war die Software schon einmal, dorthin
> möchte ich nur ungern zurück.
> 
> Gibt es Alternativen, die auf XML-Dokumenten arbeiten können, ohne
> das Dokument vollständig im Speicher halten zu müssen?

Am ehesten das hier: <https://www.php.net/manual/en/book.xmlreader.php>

Siehe auch:
<https://stackoverflow.com/questions/911663/parsing-huge-xml-files-in-php>

-- 
Arno Welzel
https://arnowelzel.de