Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > it.comp.www.php > #20814 > unrolled thread

problema con Virgilio​

Back to article view | Back to it.comp.www.php

Contents

   problema con Virgilio​ "infoannu" <22013invalid@mynewsgate.net> - 2016-05-21 12:24 +0000
    Re: problema con Virgilio​ fmassei@gmail.com - 2016-05-21 07:16 -0700
      Re: problema con Virgilio​ "infoannu" <22013invalid@mynewsgate.net> - 2016-05-21 15:32 +0000
        Re: problema con Virgilio​ fmassei@gmail.com - 2016-05-21 09:16 -0700
        Re: problema con Virgilio? Alex <tommaso5ita@yahoo.it> - 2016-05-21 19:05 +0200
          Re: problema con Virgilio? "infoannu" <22013invalid@mynewsgate.net> - 2016-05-22 10:29 +0000
            Re: problema con Virgilio? Alex <tommaso5ita@yahoo.it> - 2016-05-22 12:53 +0200
            Re: problema con Virgilio? Alessandro Pellizzari <shuriken@amiran.it> - 2016-05-22 17:01 +0000
        Re: problema con Virgilio? Alex <tommaso5ita@yahoo.it> - 2016-05-21 19:19 +0200
    Re: problema con Virgilio​ fmigliori <fmigliori@gmail.com> - 2016-05-21 07:18 -0700
    Re:  problema con Virgilio? Leonardo Serni <lserni@gmail.com> - 2016-05-21 20:22 +0200
      Re: problema con Virgilio? fmassei@gmail.com - 2016-05-21 12:10 -0700

#20814 — problema con Virgilio​

 stavo elaborando uno script per prelevare alcuni risultati del motore 
di ricerca Virgilio,  solo che il motore di ricerca ha qualche sistema 
di protezione che riconosce quando l'accesso viene effettuato tramite 
uno script in PHP infatti mi compare il seguente messaggio:



​Avviso
La ricerca impostata è riconducibile a richieste effettuate da sistemi 
automatizzati o da spyware.

 allego lo script

<?php
$url = "http://ricerca.virgilio.it/ricerca?
f=hp&site=&qs=consulenti+del+lavoro";
$html = @file_get_contents($url) or die('Could not access file: $url');
print $html;
?>

 come posso fare per risolvere il problema​

[toc] | [next] | [standalone]

#20815

On Saturday, May 21, 2016 at 8:24:48 AM UTC-4, infoannu wrote:
> stavo elaborando uno script per prelevare alcuni risultati del motore 
> di ricerca Virgilio,  solo che il motore di ricerca ha qualche sistema 
> di protezione che riconosce quando l'accesso viene effettuato tramite 
> uno script in PHP
> 
>  come posso fare per risolvere il problema​
>

Evidentemente è contro i loro term of use e non devi farlo.
Se proprio vuoi farlo comunque perché te ne freghi dei termini, setta gli
header giusti per User-Agent e Cookie (creando uno stream con
stream_context_create() e passandolo alla file_get_contents()).

Ciao!

[toc] | [prev] | [next] | [standalone]

#20817

fmassei@gmail.com <fmassei@gmail.com> ha scritto:

> On Saturday, May 21, 2016 at 8:24:48 AM UTC-4, infoannu wrote:
> > stavo elaborando uno script per prelevare alcuni risultati del motore 
> > di ricerca Virgilio,  solo che il motore di ricerca ha qualche 
sistema 
> > di protezione che riconosce quando l'accesso viene effettuato tramite 
> > uno script in PHP
> > 
> >  come posso fare per risolvere il problema​
> >
> 
> Evidentemente è contro i loro term of use e non devi farlo.
> Se proprio vuoi farlo comunque perché te ne freghi dei termini, setta 
gli
> header giusti per User-Agent e Cookie (creando uno stream con
> stream_context_create() e passandolo alla file_get_contents()).
> 
> Ciao!

 mi puoi fare un esempio di come strutturare lo script con le istruzioni 
da te suggerite,  sempre che non sia una cosa illegale​

[toc] | [prev] | [next] | [standalone]

#20818

On Saturday, May 21, 2016 at 11:32:54 AM UTC-4, infoannu wrote:
> fmassei@gmail.com <fmassei@gmail.com> ha scritto:
> > On Saturday, May 21, 2016 at 8:24:48 AM UTC-4, infoannu wrote:
> > >  come posso fare per risolvere il problema​
> > >
> > 
> > Evidentemente è contro i loro term of use e non devi farlo.
> > Se proprio vuoi farlo comunque perché te ne freghi dei termini, setta 
> > gli header giusti per User-Agent e Cookie (creando uno stream con
> > stream_context_create() e passandolo alla file_get_contents()).
> > 
> 
>  mi puoi fare un esempio di come strutturare lo script con le istruzioni 
> da te suggerite,  sempre che non sia una cosa illegale​
>

Qualcosa sul tipo (cambia o aggiungi headers a seconda dei risultati):

$opts = array(
  'http'=>array(
    'method'=>"GET",
    'header'=>"Accept-language: en\r\n".
              "Cookie: foo=bar\r\n".
              "User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36\r\n"
  )
);
$context = stream_context_create($opts);
$file = file_get_contents($url, false, $context);

Sulla legalità della cosa ti devi leggere i loro disclaimer - quello non mi
ci metto :)

Ciao!

[toc] | [prev] | [next] | [standalone]

#20819 — Re: problema con Virgilio?

infoannu ci ha detto :
>
>  mi puoi fare un esempio di come strutturare lo script con le istruzioni 
> da te suggerite,  sempre che non sia una cosa illegale​
>

In pratica vuoi fare un piccolo spider.
Leggi anche il robots.txt
Se Virgilio non vuole, devi decidere se forzarli o meno.

Bye

-- 
Alex

--- news://freenews.netfront.net/ - complaints: news@netfront.net ---

[toc] | [prev] | [next] | [standalone]

#20824 — Re: problema con Virgilio?

Alex <tommaso5ita@yahoo.it> ha scritto:

> infoannu ci ha detto :
> >
> >  mi puoi fare un esempio di come strutturare lo script con le istruzioni 
> > da te suggerite,  sempre che non sia una cosa illegale​
> >
> 
> In pratica vuoi fare un piccolo spider.
> Leggi anche il robots.txt
> Se Virgilio non vuole, devi decidere se forzarli o meno.
> 
> Bye
> 


 ma nella pratica cosa rischio utilizzando questo script.

A me interessa prelevare i 10 risultati di Virgilio per alcune parole chiave 
ed inserire il link dei siti con le descrizioni e i titoli su alcune pagine 
di un sito per migliorare indicizzazione sui motori di ricerca.

 se Virgilio si accorge di questa pratica mi può denunciare ?

 in fondo i siti che compaiono nei risultati di ricerca sono presenti anche 
su altri motori di ricerca​

[toc] | [prev] | [next] | [standalone]

#20825 — Re: problema con Virgilio?

infoannu ha pensato forte :
> Alex <tommaso5ita@yahoo.it> ha scritto:
>
>> infoannu ci ha detto :
>>> 
>>>  mi puoi fare un esempio di come strutturare lo script con le istruzioni 
>>> da te suggerite,  sempre che non sia una cosa illegale​
>>> 
>> 
>> In pratica vuoi fare un piccolo spider.
>> Leggi anche il robots.txt
>> Se Virgilio non vuole, devi decidere se forzarli o meno.
>> 
>> Bye
>> 
>
>
>  ma nella pratica cosa rischio utilizzando questo script.
>

*Legalmente* nulla direi, perché non è obbligatorio osservare le norme 
che regolano i bot.
Dimostrare poi che usi materiale protetto da copyright mi pare più la 
spesa che il danno.

*Praticamente* rischi che Virgilio ti invii del materiale preparato su 
misura per gli spider che non rispettano la convenzione.
Nulla di buono.
Se ne accorgerà che non sei un utente regolare perché esaminare 
USER_AGENT non è l' unico modo con cui si individuano i bot.

Infine, trovo personalmente disdicevole cercare di approfittare in 
questo modo del lavoro altrui. Come "craccare" programmi e simili.

bye

-- 
Alex

--- news://freenews.netfront.net/ - complaints: news@netfront.net ---

[toc] | [prev] | [next] | [standalone]

#20829 — Re: problema con Virgilio?

Il Sun, 22 May 2016 10:29:54 +0000, infoannu ha scritto:

> A me interessa prelevare i 10 risultati di Virgilio per alcune parole
> chiave ed inserire il link dei siti con le descrizioni e i titoli su
> alcune pagine di un sito per migliorare indicizzazione sui motori di
> ricerca.

A Virgilio magari non frega niente, ma Google se ne accorge da solo che 
stai linkando siti sempre diversi e che magari hanno poca relazione col 
tuo, che hai una pagina con solo link e la loro descrizione (e niente 
contenuto originale), e soprattutto che non ti linkano indietro, e 
potrebbe sbatterti a pagina 10.000 dei suoi risultati.

E chissà, magari anche Virgilio ha iniziato ad adottare queste tecniche.

Fidati, che il modo migliore per salire sui motori di ricerca è avere 
contenuti di valore, scritti bene, e su un HTML pulito.

Bye.

[toc] | [prev] | [next] | [standalone]

#20820 — Re: problema con Virgilio?

Dopo dura riflessione, infoannu ha scritto :
>
>  mi puoi fare un esempio di come strutturare lo script con le istruzioni 
> da te suggerite,  sempre che non sia una cosa illegale​
>
http://ricerca.virgilio.it/robots.txt

User-agent: *
Disallow: /wa
Disallow: /ricerca
Disallow: /cache
Disallow: /aziende
Disallow: /components
Disallow: /immagini
Disallow: /preview
Disallow: /preview.cgi
Disallow: /video
Disallow: /search/cgi/search.cgi


/ricerca è una delle directory escluse.

bye

-- 
Alex

--- news://freenews.netfront.net/ - complaints: news@netfront.net ---

[toc] | [prev] | [next] | [standalone]

#20816

Il giorno sabato 21 maggio 2016 14:24:48 UTC+2, infoannu ha scritto:
> stavo elaborando uno script per prelevare alcuni risultati del motore 
> di ricerca Virgilio,  solo che il motore di ricerca ha qualche sistema 
> di protezione che riconosce quando l'accesso viene effettuato tramite 
> uno script in PHP infatti mi compare il seguente messaggio:
> 
> 
> 
> ​Avviso
> La ricerca impostata è riconducibile a richieste effettuate da sistemi 
> automatizzati o da spyware.
> 
>  allego lo script
> 
> <?php
> $url = "http://ricerca.virgilio.it/ricerca?
> f=hp&site=&qs=consulenti+del+lavoro";
> $html = @file_get_contents($url) or die('Could not access file: $url');
> print $html;
> ?>
> 
>  come posso fare per risolvere il problema​

Sto cercando un sistema per truffare vecchietti che si recano ai giardinetti, solo che si accorgono delle mie intenzioni illecite e mi comunicano il seguente messaggio:

Avviso
Non sei autorizzato a prelevare i contanti dalle tasche delle persone.

come posso fare per risolvere il problema?

[toc] | [prev] | [next] | [standalone]

#20821 — Re: problema con Virgilio?

On Sat, 21 May 2016 12:24:46 GMT, "infoannu" <22013invalid@mynewsgate.net> wrote:

>stavo elaborando uno script per prelevare alcuni risultati del motore 
>di ricerca Virgilio,  solo che il motore di ricerca ha qualche sistema 
>di protezione che riconosce quando l'accesso viene effettuato tramite 
>uno script in PHP infatti mi compare il seguente messaggio:

>?Avviso
>La ricerca impostata è riconducibile a richieste effettuate da sistemi 
>automatizzati o da spyware.

> come posso fare per risolvere il problema?

Non puoi. Non è che Virgilio si sta sbagliando: HA CAPITO BENISSIMO cosa vuoi
fare, ed (evidentemente) non vuole fartelo fare.

Se prosegui, stai violando la legge - e molto probabilmente loro possono pure
dimostrare che lo sapevi, il che è una aggravante.

Dal punto di vista tecnico, rischi poi di dovere passare la vita a manutenere
lo script, che ogni tanto smetterà di funzionare perché Virgilio ha capito il
trucco che adoperi e l'ha bloccato, costringendoti a pensarne un altro e così
via all'infinito.

Se ti servono risultati da un motore di ricerca prova a sentire i proprietari
quali condizioni pongono all'uso del motore stesso. Magari uno con un piccolo
abbonamento se la può cavare... oppure ti trovi un altro motore che non si fa
di questi problemi.

Leonardo
-- 

A terrible beauty is born.
                                     - W. B. Yeats, Easter 1916

[toc] | [prev] | [next] | [standalone]

#20822 — Re: problema con Virgilio?

On Saturday, May 21, 2016 at 2:23:07 PM UTC-4, Leonardo Serni wrote:
> Se ti servono risultati da un motore di ricerca prova a sentire i proprietari
> quali condizioni pongono all'uso del motore stesso. Magari uno con un piccolo
> abbonamento se la può cavare... oppure ti trovi un altro motore che non si fa
> di questi problemi.
> 

Con le API di google, ad esempio, si può fare agggratis, e probabilmente i
risultati sono migliori.
Sinceramente prima di questo post nemmeno sapevo che Virgilio esistesse ancora.

Ciao!

[toc] | [prev] | [standalone]

Back to top | Article view | it.comp.www.php

csiph-web