Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > de.comp.lang.php > #4630 > unrolled thread

Cookie-Management mit PHP als Client

Back to article view | Back to de.comp.lang.php

Contents

  Cookie-Management mit PHP als Client Sebastian Suchanek <sebastian.suchanek@gmx.de> - 2020-11-22 12:08 +0100
    Re: Cookie-Management mit PHP als Client k@rl.pflaesterer.de (Karl Pflästerer) - 2020-11-22 21:46 +0100

#4630 — Cookie-Management mit PHP als Client

Hallo NG!

Schon seit längerer Zeit betreibe ich "Site-Scraping" diverser 
externer Webseiten per PHP. Das funktioniert auch soweit prima, 
nicht zuletzt dank fertiger Skriptpakete wie "PHP Simple HTML 
DOM Parser"[1].

Jetzt möchte ich allerdings auch externe Webseiten auslesen, die 
nur über eine vorherige Anmeldung via HTML-Formular zugänglich 
sind, d.h., ich komme um die Handhabung von Cookies, die mir der 
externe Server schickt, nicht herum.
Bevor ich das Rad hier komplett neu erfinde: gibt es fertige 
Frameworks, Skriptsammlungen o.ä., die ein solches Cookie-
Management beherrschen? (Wenn ja, welche?)
Google ist hier wenig hilfreich, weil man in aller Regel bei den 
PHP-eigenen Funktionen zum clientseitigen Setzen von Cookies[2] 
landet, die mir hier in diesem Fall natürlich nicht 
weiterhelfen.


TIA,

Sebastian

_____
[1] https://simplehtmldom.sourceforge.io/
[2] https://www.php.net/manual/de/features.cookies.php

[toc] | [next] | [standalone]

#4631

Sebastian Suchanek <sebastian.suchanek@gmx.de> writes:

> Hallo NG!
>
> Schon seit längerer Zeit betreibe ich "Site-Scraping" diverser 
> externer Webseiten per PHP. Das funktioniert auch soweit prima, 
> nicht zuletzt dank fertiger Skriptpakete wie "PHP Simple HTML 
> DOM Parser"[1].
>
> Jetzt möchte ich allerdings auch externe Webseiten auslesen, die 
> nur über eine vorherige Anmeldung via HTML-Formular zugänglich 
> sind, d.h., ich komme um die Handhabung von Cookies, die mir der 
> externe Server schickt, nicht herum.
> Bevor ich das Rad hier komplett neu erfinde: gibt es fertige 
> Frameworks, Skriptsammlungen o.ä., die ein solches Cookie-
> Management beherrschen? (Wenn ja, welche?)
> Google ist hier wenig hilfreich, weil man in aller Regel bei den 
> PHP-eigenen Funktionen zum clientseitigen Setzen von Cookies[2] 
> landet, die mir hier in diesem Fall natürlich nicht 
> weiterhelfen.
>

Das Cookie Handling benötigst du beim Request. Die Bibliothek, die du
nutzt, verwendet file_get_contents. Den context kannst du übergeben.
(ich nehme an, dass du die file_get_html Funktion nutzt).

Du muss sehen, wie du dich bei den Websites per Skript anmelden kannst;
Cookie(s) dann aus dem response extrahieren und im Context übergeben.

Da die Arbeit beim Anmelden liegt und nicht beim Cookie Handling, musst
du dir hierfür eine Lösung suchen, die dir liegt. Guzzle bietet sich an,
da das Anmelden bei jeder Website meist anders funktioniert und du
diesen teil immer separat umsetzen musst.

BTW: ich würde um eine Lib, die Funktionen ohne Namespace oder
wenigstens ein prefix verwendet, einen großen Bogen machen.

[toc] | [prev] | [standalone]

Back to top | Article view | de.comp.lang.php

csiph-web