Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > de.comp.lang.php > #3785

Re: Komplexe oder-Vergleiche optimieren

Show all headers | View raw

Thomas Meyer schrieb am 2016-03-21 um 13:58:

> Am Mon, 21 Mar 2016 10:13:17 +0100 schrieb Torsten Zuehlsdorff:
> 
>> Hast du mal an Throttling gedacht? Für nginx beispielsweise gibt es ein 
>> Modul, welches dir erlaubt, dass bei übermäßiger Nutzung durch eine IP 
>> die Verbindung für diese IP verlangsamt wird.
>>
> 
> Habe ich mir selbst gebaut, weil ich diese ganze nutzbefreiten Crawler
> loswerden wollte. Zugegebenermaßen auch mit Spaß an der Sache.
> 
> Es gibt eine Tabelle mit IPs bzw. ganzen IP-Bereichen. Diese wird mit der
> einlaufenden IP verglichen und wenn die IP in der Liste ist schicke ich die
> ins Nichts. Zu sich selbst oder Google oder wasauchimmer.
> 
> Klappt wunderbar. Die Zugriffe von mj12bot, seokicks, Yandex, baiduspider
> und wer da so alles kraucht sind stark zurückgegangen. 

MJ12Bot und seokicks nerven, ja. Aber Yandex und Baidu sind auch nur
normale Suchmaschinen wie Google.

Und Google ist mitunter deutlich nerviger, wenn deren Bot mal wieder
glaubt, uralte URLs prüfen zu müssen, ob sie nicht mehr erreichbar sind,
wie schon die letzen Jahre - ohne ein "410 Gone" scheint der Google Bot
zu glauben, auch nach 3 Jahren nochmal ein paar zehntausend
Permutationen von Abfrageformularen mit Drop-Down-Listen durchprobieren
zu müssen, auch wenn er nach wie vor nur 404 bekommt und die relevanten
URLs schon lange nirgends mehr verlinkt sind.

Faktisch muss man so penibel Buch führen, welche URLs möglicherweise
irgend wann mal im Index bei Google gelandet sind, um mit "RedirectMatch
gone ..." in der .htaccess entgegenzusteuern :-/.


-- 
Arno Welzel
http://arnowelzel.de
http://de-rec-fahrrad.de
http://fahrradzukunft.de

Back to de.comp.lang.php | Previous | Next — Previous in thread | Next in thread | Find similar

Thread

Komplexe oder-Vergleiche optimieren Klaus Ketelaer <spam@spambouncer.de> - 2016-03-19 11:02 +0100
  Re: Komplexe oder-Vergleiche optimieren "Christoph M. Becker" <cmbecker69@arcor.de> - 2016-03-19 11:59 +0100
    Re: Komplexe oder-Vergleiche optimieren Klaus Ketelaer <spam@spambouncer.de> - 2016-03-19 12:23 +0100
      Re: Komplexe oder-Vergleiche optimieren Stefan+Usenet@Froehlich.Priv.at (Stefan Froehlich) - 2016-03-19 11:28 +0000
        Re: Komplexe oder-Vergleiche optimieren Klaus Ketelaer <spam@spambouncer.de> - 2016-03-19 12:46 +0100
          Re: Komplexe oder-Vergleiche optimieren Stefan+Usenet@Froehlich.Priv.at (Stefan Froehlich) - 2016-03-19 12:13 +0000
            Re: Komplexe oder-Vergleiche optimieren "Peter J. Holzer" <hjp-usenet3@hjp.at> - 2016-03-20 00:38 +0100
          Re: Komplexe oder-Vergleiche optimieren Arno Welzel <usenet@arnowelzel.de> - 2016-03-20 09:37 +0100
            Re: Komplexe oder-Vergleiche optimieren Klaus Ketelaer <spam@spambouncer.de> - 2016-03-20 11:06 +0100
              Re: Komplexe oder-Vergleiche optimieren Thomas 'PointedEars' Lahn <PointedEars@web.de> - 2016-03-20 12:17 +0100
              Re: Komplexe oder-Vergleiche optimieren "Christoph M. Becker" <cmbecker69@arcor.de> - 2016-03-20 13:24 +0100
              Re: Komplexe oder-Vergleiche optimieren Arno Welzel <usenet@arnowelzel.de> - 2016-03-20 19:48 +0100
                Re: Komplexe oder-Vergleiche optimieren Klaus Ketelaer <spam@spambouncer.de> - 2016-03-20 20:36 +0100
                Re: Komplexe oder-Vergleiche optimieren Arno Welzel <usenet@arnowelzel.de> - 2016-03-21 01:08 +0100
              Re: Komplexe oder-Vergleiche optimieren Torsten Zuehlsdorff <foo@meisterderspiele.de> - 2016-03-21 10:13 +0100
                Re: Komplexe oder-Vergleiche optimieren Klaus Ketelaer <spam@spambouncer.de> - 2016-03-21 11:52 +0100
                Re: Komplexe oder-Vergleiche optimieren Torsten Zuehlsdorff <foo@meisterderspiele.de> - 2016-03-21 12:52 +0100
                Re: Komplexe oder-Vergleiche optimieren Klaus Ketelaer <spam@spambouncer.de> - 2016-03-21 19:37 +0100
                Re: Komplexe oder-Vergleiche optimieren Thomas 'PointedEars' Lahn <PointedEars@web.de> - 2016-03-21 21:08 +0100
                Re: Komplexe oder-Vergleiche optimieren "Christoph M. Becker" <cmbecker69@arcor.de> - 2016-03-22 12:40 +0100
                Re: Komplexe oder-Vergleiche optimieren Robin Koch <robin.koch@t-online.de> - 2016-03-26 00:46 +0100
                Re: Komplexe oder-Vergleiche optimieren Klaus Dahlwitz <kdahlwitz@gmx.net> - 2016-03-26 06:19 +0100
                Re: Komplexe oder-Vergleiche optimieren Robin Koch <robin.koch@t-online.de> - 2016-03-26 12:31 +0100
                Re: Komplexe oder-Vergleiche optimieren Claus Reibenstein <4spamersonly@kabelmail.de> - 2016-03-26 13:21 +0100
                Re: Komplexe oder-Vergleiche optimieren "Peter J. Holzer" <hjp-usenet3@hjp.at> - 2016-03-26 14:02 +0100
                Re: Komplexe oder-Vergleiche optimieren Thomas 'PointedEars' Lahn <PointedEars@web.de> - 2016-03-26 17:37 +0100
                Re: Komplexe oder-Vergleiche optimieren Torsten Zuehlsdorff <foo@meisterderspiele.de> - 2016-03-22 09:33 +0100
                Re: Komplexe oder-Vergleiche optimieren Thomas Meyer <ich.will@keine.mail> - 2016-03-21 13:58 +0100
                Re: Komplexe oder-Vergleiche optimieren Thomas 'PointedEars' Lahn <PointedEars@web.de> - 2016-03-21 18:38 +0100
                Re: Komplexe oder-Vergleiche optimieren Thomas Meyer <ich.will@keine.mail> - 2016-03-21 18:45 +0100
                Re: Komplexe oder-Vergleiche optimieren Arno Welzel <usenet@arnowelzel.de> - 2016-03-21 18:59 +0100
                Re: Komplexe oder-Vergleiche optimieren Thomas Meyer <ich.will@keine.mail> - 2016-03-21 19:05 +0100
                Nervige Suchmaschinen? (was: Komplexe oder-Vergleiche optimieren) Thomas 'PointedEars' Lahn <PointedEars@web.de> - 2016-03-21 20:30 +0100
                Re: Komplexe oder-Vergleiche optimieren Klaus Ketelaer <spam@spambouncer.de> - 2016-03-21 19:35 +0100
      Re: Komplexe oder-Vergleiche optimieren Olaf Schmitt <thesys@gmx.de> - 2016-03-22 09:28 +0100

csiph-web