Crawler/Spindel

Crawler eller spindel är en sökrobot som används av sökmotorer för att indexera och upptäcka innehåll. Spindlar navigerar genom länkar på webbplatser och tar ställning till webbplatsens innehåll utifrån en mängd parametrar. Google och Bing använder spindlar och crawlers för att hämta in innehåll och lagra i sina databaser som sedan respektive sökmotor använder för att presentera sökresultatet.