Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]
Groups > it.comp.www.php > #21917
| From | Alessandro Pellizzari <shuriken@amiran.it> |
|---|---|
| Newsgroups | it.comp.www.php |
| Subject | Re: Prelievo dati di un sito |
| Date | 2018-03-16 17:36 +0000 |
| Message-ID | <fh2dllF65muU1@mid.individual.net> (permalink) |
| References | <2018031609060422553@mynewsgate.net> <fh1kv3Fit7U1@mid.individual.net> <2018031616595822553@mynewsgate.net> |
On 16/03/2018 16:59, antonio wrote: > $url = "https://www.infojobs.it/offerte-lavoro"; > $input = file_get_contents($url, false, $context); > echo $input; $ wget https://www.infojobs.it/offerte-lavoro HTTP request sent, awaiting response... 405 Not Allowed Ho lavorato in un'azienda che faceva scraping di siti di cerca/trova lavoro per gli ultimi due anni, e fidati: quello che stai cercando di fare non è per niente semplice. Sanno che ci sono script che fanno scraping, e ogni 3-4 mesi cambiano qualcosa per romperli: dal richiedere header particolari nella richiesta al dover usare un browser per eseguire certe azioni in javascript. È una guerra continua. Noi avevamo 2-3 persone fisse 8 ore al giorno ad adattare gli script (su circa 200 siti), più il team legal ad analizzare sito per sito cosa si potesse fare e cosa no. Bye.
Back to it.comp.www.php | Previous | Next — Previous in thread | Next in thread | Find similar | Unroll thread
Prelievo dati di un sito "antonio" <22553invalid@mynewsgate.net> - 2018-03-16 09:06 +0000
Re: Prelievo dati di un sito Sandro kensan <kensan@kensan.it> - 2018-03-16 11:35 +0100
Re: Prelievo dati di un sito "antonio" <22553invalid@mynewsgate.net> - 2018-03-16 16:59 +0000
Re: Prelievo dati di un sito Alessandro Pellizzari <shuriken@amiran.it> - 2018-03-16 17:36 +0000
Re: Prelievo dati di un sito fmassei@gmail.com - 2018-03-16 12:35 -0700
Re: Prelievo dati di un sito Leonardo Serni <lserni@gmail.com> - 2018-03-16 18:57 +0100
csiph-web