User-agent: *
Disallow: /cms/
Disallow: /css/
Disallow: /javascript/
Disallow: /js/
Disallow: /stats/
Disallow: /gallery2/
Disallow: *print=true*
Disallow: *feedback.php*
Disallow: *tipeenander.php*

# N.E. 4 juni 2010
# De crawler met de string gsa-crawler "(Enterprise; S5-LXV86GE5AGSJS; jsnow@google.com)" en IP-adres 216.239.44.65
# stuurt te veel requests per seconde. We gaan dus de gsa-crawler blokkeren
# IP-adres verwijst naar een bedrijfje in Mountain View: http://ws.arin.net/whois/?queryinput=216.239.44.65
# "gsa-crawler (Enterprise; S5-LXV86GE5AGSJS; jsnow@google.com)"-string verwijst inderdaad naar een Google Search Appliance (http://www.google.com/enterprise/gsa/)
User-agent: gsa-crawler
Disallow: /

Sitemap: http://www.mezzo.nl/sitemap.xml