Een webcrawler is een computerprogramma dat automatisch webpagina’s doorzoekt en indexeert. Het doel van een webcrawler is om informatie te verzamelen over websites en hun inhoud. Deze informatie wordt vervolgens gebruikt door zoekmachines om relevante zoekresultaten te bieden.