Index fulltextového vyhledávače Fulltext.CZIN.eu tvoří fulltextový server CZIN.eu a fulltextové servery Entireweb. Pro možnost zařazení stránky do indexu čtěte více zde.
Zařazování stránek do indexu vyhledávače je velice citlivé na kódování stránky. Pokud se chcete vyhnout chybnému zařazení do indexu, je nutné uvést na začátku (i před tagem title) hlavičky stránky typ kódování stránky.
Mezi českými stránkami jsou nejrozšířenější 3 typy kódování.
Pokud používáte kódování UTF-8, vložte na začátek hlavičky meta-tag:
<meta http-equiv="content-type content="text/html; charset=UTF-8">
Pokud používáte kódování windows-1250, vložte na začátek hlavičky meta tag:
<meta http-equiv="content-type content="text/html; charset=windows-1250">
Pokud používáte kódování iso-8859-2, vložte na začátek hlavičky meta tag:
<meta http-equiv="content-type content="text/html; charset=ISO-8859-2">
Pro fulltextový server CZIN.eu je název automatického robota provádějícího indexaci stejný jako pro ostatní servery. Robot má název Speedy a lze jeho indexování omezit či upravit.
robots.txt
Základní možností úpravy práv spidera Speedy je využití souboru "robots.txt".
Chcete-li zabránit indexaci vašich stránek (či jejich části) je možné to uvést právě v robots.txt. Souboru robots.txt musí být umístěn v kořenovém adresáři webu.
Př. Chcete-li zakázat indexaci stránek ve složce /tajne provedete to takto:
User-agent: Speedy
Disallow: /tajne
Pro více informací můžete navštívit robotstxt.org.
Meta tagy
Další možností nastavení zákazu pro robota Speedy je pomocí meta-tagů.
Pokud nechcete, aby robot indexoval určitou stránku, můžete do hlavičky stránky vložit:
<meta name="speedy" content="noindex">
Pokud nechcete, aby robot následoval odkazy z určité stránky, můžete do hlavičky stránky vložit:
<meta name="speedy" content="nofollow">
Oba meta-tagy lze skombinovat:
<meta name="speedy" content="noindex,nofollow">
Speedy bez problému indexuje i data komprimovaná pomocí gzip nebo deflage.