Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]
Groups > it.comp.www.php > #21917
| Path | csiph.com!fu-berlin.de!uni-berlin.de!individual.net!not-for-mail |
|---|---|
| From | Alessandro Pellizzari <shuriken@amiran.it> |
| Newsgroups | it.comp.www.php |
| Subject | Re: Prelievo dati di un sito |
| Date | Fri, 16 Mar 2018 17:36:52 +0000 |
| Lines | 22 |
| Message-ID | <fh2dllF65muU1@mid.individual.net> (permalink) |
| References | <2018031609060422553@mynewsgate.net> <fh1kv3Fit7U1@mid.individual.net> <2018031616595822553@mynewsgate.net> |
| Mime-Version | 1.0 |
| Content-Type | text/plain; charset=iso-8859-15; format=flowed |
| Content-Transfer-Encoding | 8bit |
| X-Trace | individual.net qvwqMZlnrbcbuBgk8XQaOgAXktULlzEzWGs+H4KgXD3gQKMmQ= |
| Cancel-Lock | sha1:gQwxIwVG9kFYCTluORz7a9B4ycE= |
| User-Agent | Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:52.0) Gecko/20100101 Thunderbird/52.6.0 |
| In-Reply-To | <2018031616595822553@mynewsgate.net> |
| Content-Language | en-GB |
| Xref | csiph.com it.comp.www.php:21917 |
Show key headers only | View raw
On 16/03/2018 16:59, antonio wrote: > $url = "https://www.infojobs.it/offerte-lavoro"; > $input = file_get_contents($url, false, $context); > echo $input; $ wget https://www.infojobs.it/offerte-lavoro HTTP request sent, awaiting response... 405 Not Allowed Ho lavorato in un'azienda che faceva scraping di siti di cerca/trova lavoro per gli ultimi due anni, e fidati: quello che stai cercando di fare non è per niente semplice. Sanno che ci sono script che fanno scraping, e ogni 3-4 mesi cambiano qualcosa per romperli: dal richiedere header particolari nella richiesta al dover usare un browser per eseguire certe azioni in javascript. È una guerra continua. Noi avevamo 2-3 persone fisse 8 ore al giorno ad adattare gli script (su circa 200 siti), più il team legal ad analizzare sito per sito cosa si potesse fare e cosa no. Bye.
Back to it.comp.www.php | Previous | Next — Previous in thread | Next in thread | Find similar | Unroll thread
Prelievo dati di un sito "antonio" <22553invalid@mynewsgate.net> - 2018-03-16 09:06 +0000
Re: Prelievo dati di un sito Sandro kensan <kensan@kensan.it> - 2018-03-16 11:35 +0100
Re: Prelievo dati di un sito "antonio" <22553invalid@mynewsgate.net> - 2018-03-16 16:59 +0000
Re: Prelievo dati di un sito Alessandro Pellizzari <shuriken@amiran.it> - 2018-03-16 17:36 +0000
Re: Prelievo dati di un sito fmassei@gmail.com - 2018-03-16 12:35 -0700
Re: Prelievo dati di un sito Leonardo Serni <lserni@gmail.com> - 2018-03-16 18:57 +0100
csiph-web