Innehåll
- Definition - Vad betyder webcrawler?
- En introduktion till Microsoft Azure och Microsoft Cloud | I hela denna guide kommer du att lära dig vad cloud computing handlar om och hur Microsoft Azure kan hjälpa dig att migrera och driva ditt företag från molnet.
- Techopedia förklarar webcrawler
Definition - Vad betyder webcrawler?
En webcrawler är en internetbot som hjälper till att indexera webben. De kryper en sida åt gången genom en webbplats tills alla sidor har indexerats. Webbsökare hjälper till med att samla in information om en webbplats och länkar relaterade till dem och hjälper också till att validera HTML-koden och hyperlänkar.
En webcrawler är också känd som en webbspindel, automatisk indexerare eller helt enkelt sökrobot.
En introduktion till Microsoft Azure och Microsoft Cloud | I hela denna guide kommer du att lära dig vad cloud computing handlar om och hur Microsoft Azure kan hjälpa dig att migrera och driva ditt företag från molnet.
Techopedia förklarar webcrawler
Webbsökare samlar in information som webbadressen till webbplatsen, metataginformationen, innehållet på webbsidan, länkarna på webbsidan och de destinationer som leder från dessa länkar, webbsidans titel och all annan relevant information. De håller reda på webbadresserna som redan har laddats ner för att undvika att ladda ner samma sida igen. En kombination av policyer som återbesökspolicy, urvalspolicy, parallelliseringspolicy och artighetspolicy avgör webbsökarens beteende. Det finns många utmaningar för webbsökare, nämligen den stora och kontinuerligt utvecklande World Wide Web, avvägningar av innehållsval, sociala skyldigheter och hantering av motståndare.
Webbsökare är de viktigaste komponenterna i webbsökmotorer och system som tittar på webbsidor. De hjälper till att indexera webbposterna och gör det möjligt för användare att fråga mot indexet och också tillhandahålla de webbsidor som matchar frågorna. En annan användning av webbsökare är i webbarkivering, som involverar stora uppsättningar av webbsidor som periodvis ska samlas in och arkiveras. Webbcrawlers används också vid dataanläggning, där sidor analyseras för olika egenskaper som statistik, och dataanalys utförs sedan på dem.