En crawler, også kaldet webcrawler eller spider, er en type software, som søgemaskiner bruger til at gennemgå og indeksere websider på internettet. Dens vigtigste opgave er at besøge hjemmesider, læse indholdet og samle information, så søgemaskinerne kan opbygge et indeks, de bruger til at vise relevante søgeresultater.
Crawleren følger links fra én side til den næste og samler data om indholdet, strukturen og andre vigtige forhold på hver side. Dataene hjælper søgemaskinerne med at forstå, hvad en webside handler om, så de kan placere den rigtigt i søgeresultaterne. Crawlere sørger for, at søgemaskinerne har opdateret information og kan vise brugerne præcise og relevante søgeresultater.