sitemap | Rev0lut1on 2.0 of my mind engine

Apr 12 2007

Autodiscovery delle Sitemap: aggiornate i vostri file robots.txt

Sitemap La Sitemap è una semplice mappa xml che elenca gerarchicamente tutte le pagine di un sito Web con lo scopo di semplificare notevolmente l’attività di scansione e indicizzazione da parte dei crawler dei motori di ricerca.
Introdotta da Google con il servizio Google Sitemaps, e poi utilizzata anche da Ask.com, Microsoft Live Search e Yahoo!, permette ai webmaster di menzionare all’interno di un file XML, e non solo, tutti gli URL delle pagine di un determinato sito Web che si desidera sottoporre al motore di ricerca. In questo modo anche i siti dinamici possono fornire URL corretti permettendo una indicizzazione più intelligente. Il protocollo è regolamentato dalla Attribution-ShareAlike Creative Commons License che ne ha reso possibile l’uso anche ad altri motori di ricerca. Per maggiori dettagli potete consultare la traduzione italiana delle specifiche del formato Sitemaps 0.90.

Per chi usa WordPress, esiste un comodo plugin, Google Sitemap Generator for WordPress, che permette di creare in maniera del tutto automatica il proprio file Sitemap XML, senza doversi preoccupare di aggiornarlo manualmente (cosa comunque ingestibile per un blog).

Uno dei piccoli problemi ancora rimasti, era però che fino a poco tempo fa occorreva sempre segnalare manualmente, ai singoli motori di ricerca, il percorso del file Sitemap.xml del proprio sito.
Ebbene da ieri, Ask.com, Google, Microsoft Live Search e Yahoo! hanno comunicato, nei loro rispettivi blog, il supporto per l’autodiscovery delle Sitemaps, ovvero la possibilità, da parte dei webmaster di specificare il percorso per la Sitemap del sito all’interno del file robots.txt.

Quindi, per segnalare a tutti e quattro i motori la presenza della sitemap, sarà sufficente inserire questa riga nel proprio file robots.txt:

Sitemap: http://www.miosito.com/sitemap.xml

Sul sito sitemaps.org è specificato anche un’altro metodo alternativo per la segnalazione, ovvero attraverso una richiesta HTTP del tipo (l’estensione .gz può essere sostituita anche da xml):

/ping?sitemap=http://www.miosito.com/sitemap.gz

che può essere lanciata sia attraverso un browser (classico link) ma anche usando wget o curl.
Per esempio, nel caso di Ask.com (che è stata l’ultima a rendere disponibile la segnalazione HTTP), basta usare la seguente URL:

http://submissions.ask.com/ping?sitemap=http://www.miosito.com/sitemap.xml

Ovviamente per tutti i motori rimane attiva la possibilità di segnalare manualmente il percorso del Sitemap, ma perché precludersi questa comoda possibilità? Quindi, cosa aspettate: aggiornate subito i vostri file robots.txt!

Attribution Image CC: ‘Is this an icon for workflow?‘

Tag:Google, Plugin, sitemap, Wordpress, Xml

1 comment

Feb 9 2007

Google finalmente conta i link

Posted by Antonio Troise

Google Webmaster Central, lo strumento di Google concepito per i webmaster, ha finalmente introdotto la possibilità di analizzare, in maniera più dettagliata e completa, sia i link esterni (provenienti da pagine di domini esterni) che puntano alle pagine del proprio sito, sia i i link interni (provenienti da pagine dello stesso dominio) fornendo, di fatto, molte più informazioni rispetto al tradizionale operatore link:dominio.it.
Come annunciato sull’Official Google Webmaster Central Blog, all’interno della Google Sitemap è stato aggiunto un nuovo tab “Link”.

Il vantaggio di questa nuova versione è che permette di scoprire facilmente anche quali sono le pagine del nostro sito più linkate e di poter scaricare tutte le statistiche CSV.
Come fa notare TagliaBlog, Google finalmente colma (in questo ambito) il gap che lo separava dai sui 2 storici rivali (Yahoo! e MSN).

Facendo lo stesso esperimento ho trovato che:
– Google: link:www.levysoft.it -> 383 collegati a www.levysoft.it
– Live Search: link:www.levysoft.it -> 6.483 risultati
– Yahoo! Site Explore -> http://www.levysoft.it Inlinks: 32.453
– Google Strumenti per i webmaster -> Link Esterni 10.771

Ora Google ha davvero superato i suoi avversari, rendendo più usabile il servizio!

Tag:Google, sitemap

2 comments

Nov 22 2006

La Sitemap di Google diventa uno standard

Posted by Antonio Troise

Sitemap E’ recente la notizia secondo la quale i 3 principali motori di ricerca, Google, Microsoft e Yahoo, supporteranno le Sitemap.
Per chi non lo sapesse la «Sitemap è una via semplice per un webmaster per informare i motori di ricerca circa le pagine dei propri siti disponibili per l’indicizzazione. Nella sua forma più semplice, un Sitemap è un file XML che elenca gli url di un sito con metadata aggiuntivi per ogni singolo url (quanto è avvenuto l’update, a quale cadenza avviene, quanto è importante la singola pagina nel contesto del sito web), così che i motori di ricerca possano indicizzare più intelligentemente il vostro sito» (via sitemaps.org)

Fino a ieri il nome era legato ad una tecnologia perlopiù ricollegabile a Google, visto che originariamente fu sviluppato da Google e offerto attraverso la licenza Creative Commons. La versione 0.90 del protocollo (dichiaratamente distribuito sotto licenza Creative Commons) trova invece una nuova dimensione nella piena implementazione da parte di Yahoo e Microsoft, imponendo così Sitemaps come uno strumento forzatamente da tenere in ferma considerazione.

L’accordo tra i tre motori, benchè cosa più unica che rara, non stupisce: il protocollo permetterà ai motori di affidare all’utenza una funzione di guida con i suggerimenti relativi ai vari siti web (chi conosce meglio un sito se non il relativo webmaster?) e le maggiorate performance conseguenti permetteranno ai web crawler dei motori di ricerca una maggiore e migliore indicizzazione del www (uno standard auto-determinato dal sicuro impatto sul web, a tutto vantaggio dell’intero sistema).

Tag:Google, microsoft, sitemap, yahoo

4 comments

Ott 18 2006

Sitemap.xml e gli Strumenti per i webmaster di Google

Posted by Antonio Troise

Sitemap di Google Stavo settando il file Sitemap.xml di Google attraverso il sempre comodo plugin Google Sitemap Generator for WordPress 2.7 Final e quindi ho colto l’occasione per rivisitare la sezione Strumenti per i webmaster di Google. Era un pò che non la analizzavo e devo dire che, dall’ultima volta, è migliorata molto e offre una customizzazione veramente eccezionale: quale altro motore di ricerca offre la possibilità di vedere quante volte al giorno Googlebot, il crawler web di Google, scansiona il vostro sito? Quanti offrono la possibilità di limitare la velocità di scansione delle pagine sul proprio sito per evitare di sovraccaricare eccessivamente il proprio server (in base quindi alla banda a disposizione)? Quanti motori di ricerca propongono una funzione potenziata per la ricerca delle immagini del proprio sito in modo da associare le immagini contenute nel proprio sito sito a etichette e migliorare in tal modo la qualità dell’indicizzazione e della ricerca di tali immagini?
Queste domande hanno tutte una sola risposta: nessuno tranne Google.
Lo stesso concetto del Sitemap.xml è un esempio sublime di come l’utente possa decidere, in maniera chiara e trasparente, cosa pubblicare e con quale frequenza mettere a disposizione le proprie informazioni. Addirittura, sempre nella pagina degli Strumenti per i webmaster , Google offre la possibilità di monitorare (permettendo anche l’export in formato csv, compatibile con Excel) quante pagine, durante la scansione di Googlebot, non sono state trovate (durante il cambio di server che ho effettuato in questi giorni, Googlebot aveva trovato ben 502 pagine con errore 404!) e quante non erano state scansionate per URL non raggiungibile (magari perché il server era down).
Per ultimo vorrei citare una interessante funzionalità di Google Sitemap Generator 2.7 che permette di creare la sitemap in formato gzip: come si legge, infatti, dal sito di Google: è possibile comprimere i file Sitemap utilizzando gzip: la compressione dei file Sitemap consente di ridurre i requisiti di larghezza di banda. Ricorda che la dimensione del file Sitemap non compresso non deve essere superiore a 10 MB.

Tag:Google, googlebot, sitemap, Wordpress, Xml

10 comments

Dic 23 2005

Plugin WordPress per generare le Sitemap Google

Posted by Antonio Troise

Sitemaps Google Ho installato il plugin Google Sitemap Generator for WordPress v2 Final localizzato in italiano.
Una volta creato il file xml si può monitorare dal sito beta di Google Sitemap l’andamento della propria mappa: per accedere al servizio basterà inserire la stessa userid e password del proprio account Gmail. Per accedere però ai servizi avanzati di statistiche sulle ricerche fatte su google che portano al vostro sito, agli errori più comuni sulle vostre pagine o come GoogleBot riconosce le vostre pagine, si dovrà dimostrare di essere il proprietario del sito. Per farlo verrà chiesto, semplicemente, di creare un file html tipo: google0fa3f468e2a9f89e.htm: cliccando sul tasto “Verifica”, se Google lo troverà allora avrete accesso alle statistiche più avanzate.
Questo generatore crea una mappa del vostro blog WordPress (sitemap) secondo le specifiche di Google. Attualmente vengono gestiti la homepage, gli articoli, le pagine statiche, le categorie e gli archivi. La priorità degli articoli dipende dai loro commenti. Più commenti, maggiore priorità! Se si hanno pagine esterne che non appartengono al blog, queste pagine possono venire incluse all’elenco. Questo plugin eseguirà una notifica automatica a Google ogni qualvolta la sitemap viene rigenerata.
L’installazione del plugin è semplicissima:

Tag:Google, Plugin, sitemap, Wordpress, Xml

1 comment

Giu 7 2005

Google rilascia xml sitemap protocol

Posted by Antonio Troise

Google Labs ha da poco rilasciato la beta del suo nuovo protocollo XML per le mappe dei siti con lo scopo di estendere le capacità dei robot dei motori di ricerca.
Sitemaps è, in pratica, il nuovo metodo gratuito che Google propone per essere inclusi nell’indice del motore di ricerca, riducendo i tempi del processo.
Il nuovo formato XML è molto simile ad un file RSS e indica ai crawler quale parte del sito viene aggiornata più frequentemente, quali sono le pagine che compongono il proprio sito e come farle indicizzare correttamente, in modo che Google sia sempre aggiornato sui cambiamenti delle vostre pagine.