SmartJa.no

Teknologi gjort enkelt

  • iOS
  • Android
  • Andre telefoner
  • Microsoft 365
  • Lenker
  • Kurs
  • Om
Publisert 15. oktober 201915. oktober 2019 av Morten Tollefsen

Tilbakeblikk: Robots.txt Ble framprovosert av en science fiction-forfatter

For 25 år siden.

Hentet fra Digi.no

Verdens første websøkemotor, Aliweb (Archie Like Indexing for the WEB), ble lansert i mai 1994. Motoren ble utviklet av nedelenderen Martijn Koster, som også laget Robots Exclusion Protocol (REP) eller robots.txt. REP brukes for å fortelle søkemotorer hva de skal ta med og hva som skal oversees.

Et problem i starten var at det kunne være veldig krevende for et nettsted å få besøk av en webcrawler, spesielt dersom nettstedet hadde mange sider og crawleren stadig kom innom. I tillegg, og det er nok den viktigste grunnen til at svært mange nettsteder benytter REP i dag, er at det kan være mye innhold på et nettsted som nettstedeieren ikke ønsker at skal være mulig å finne gjennom Google og andre søkemotorer.

Angivelig skal det har vært en perl-basert webcrawler, Websnarf, utviklet av science fiction-forfatteren Charles Stross som var den direkte årsaken til at Koster utviklet Robots Exclusion Protocol, noe han kunngjorde den 3. juli 1994. Stross skriver at han valgte å starte traverseringen på et nettsted som handlet om nettopp webcrawlere. Det viste seg at serveren var eid av et lite selskap og at den var knyttet til internett over en 14,4 kilobit/s-forbindelse. Ikke overraskende knelte serveren under belastningen.

Stross mener at han var den første til å skrive en webcrawler som tok hensyn til REP. Senere gjør de fleste webcrawlere det samme.

Relaterte saker

Tilbakeblikk: Atari

Fra USAs raskest voksende firma til “ingenting”.

Les artikkelen
Posted in Tilbakeblikk | Tagged Atari, spill | Kommentarer er skrudd av for Tilbakeblikk: Atari

Intel: innovasjon, råtten business og store utfordringer

Sjekk denne interessante gjennomgangen.

Les artikkelen
Posted in Tilbakeblikk, Video | Tagged Intel | Kommentarer er skrudd av for Intel: innovasjon, råtten business og store utfordringer

Skjermteknologi fra 1940 til nå

Kort og informativt oppsummert.

Les artikkelen
Posted in Tilbakeblikk, Video | Tagged skjerm | Kommentarer er skrudd av for Skjermteknologi fra 1940 til nå

Hvor ble det av Beats by Dre?

Hot som bare det, men så forsvant de.

Les artikkelen
Posted in Tilbakeblikk, Video | Tagged Apple | Kommentarer er skrudd av for Hvor ble det av Beats by Dre?

Google Plus

Selskapets største feilslåtte sosiale media-prosjekt.

Les artikkelen
Posted in Tilbakeblikk | Tagged Google, sosiale medier | Kommentarer er skrudd av for Google Plus
  • Neste

Del dette:

  • Klikk for å dele på Facebook(åpnes i en ny fane) Facebook
  • Klikk for å dele på X(åpnes i en ny fane) X
KategorierTilbakeblikk Stikkordsøk, søkemotor, world wide web

Innleggsnavigasjon

Forrige innleggTidligere Google kan søke etter tekst i galleribilder
Neste innleggNeste USB-C sikkerhetsnøkkel fra Google

Snarveier

  • Live
  • Ordliste
  • Bidragsytere

Følg oss

  • Smartja på Facebook
  • SmartJa på Twitter
  • SmartJa på YouTube

Kontakt oss

E-post: smartja@smartja.no

Drevet av WordPress