Tilbakeblikk: Robots.txt Ble framprovosert av en science fiction-forfatter

For 25 år siden.

Verdens første websøkemotor, Aliweb (Archie Like Indexing for the WEB), ble lansert i mai 1994. Motoren ble utviklet av nedelenderen Martijn Koster, som også laget Robots Exclusion Protocol (REP) eller robots.txt. REP brukes for å fortelle søkemotorer hva de skal ta med og hva som skal oversees.

Et problem i starten var at det kunne være veldig krevende for et nettsted å få besøk av en webcrawler, spesielt dersom nettstedet hadde mange sider og crawleren stadig kom innom. I tillegg, og det er nok den viktigste grunnen til at svært mange nettsteder benytter REP i dag, er at det kan være mye innhold på et nettsted som nettstedeieren ikke ønsker at skal være mulig å finne gjennom Google og andre søkemotorer.

Angivelig skal det har vært en perl-basert webcrawler, Websnarf, utviklet av science fiction-forfatteren Charles Stross som var den direkte årsaken til at Koster utviklet Robots Exclusion Protocol, noe han kunngjorde den 3. juli 1994. Stross skriver at han valgte å starte traverseringen på et nettsted som handlet om nettopp webcrawlere. Det viste seg at serveren var eid av et lite selskap og at den var knyttet til internett over en 14,4 kilobit/s-forbindelse. Ikke overraskende knelte serveren under belastningen.

Stross mener at han var den første til å skrive en webcrawler som tok hensyn til REP. Senere gjør de fleste webcrawlere det samme.