====== Typo3: empfohlene robots.txt ======
[[http://www.superkato.net/2011/03/12/empfohlene-typo3-4-5-robots-txt-und-problembehebung-site-oder-url-nicht-mehr-im-google-index-auffindbar-bzw-verschwunden/|supercato.net]] enpfiehlt folgende ''robots.txt'' für Typo3 (Version 4.5.1):
<code>
User-agent: *
Disallow: /fileadmin/templates/
Disallow: /typo3/
Disallow: /t3lib/
Disallow: /typo3conf/
Disallow: /typo3temp/

User-agent: googlebot
Disallow: /*?tx_ttnews
Disallow: /*?tx_indexedsearch
</code>

Da Google scheinbar PDF Dokumente oft höher ranked, als die eigentliche HTML Seite liegt es nahe, diese auch von der Indizierung auszuschließen((http://www.sistrix.de/news/616-robots.txt-deluxe-die-erweiterungen-die-google-unterstuetzt.html)), mit:

  Disallow: /*.pdf$