Back to Question Center
0

Semalt Islamabad Expert: Top 10 mest populære Web Crawlers og Bots

1 answers:

Der er to typer af robotter på internettet, der kaldes som gode robotter og dårlige robotter. Du bør tage seriøse foranstaltninger mod de dårlige robotter, da de kan forbruge DDN båndbredden på ingen tid. Desuden stjæler de negative eller dårlige robotter dit webindhold og optager serverressourcerne. På den anden side bør de gode robotter (også kaldet web crawlere) håndteres omhyggeligt, da de hjælper indeksere dit websted i søgemaskinens resultater , såsom Bing, Google og Yahoo.

Michael Brown, en førende ekspert fra Semalt , sikrer, at der er hundredvis af tusinder af robotter og webkrydsere, der smider internettet, men de følgende er mest populære.

1. GoogleBot

Googlebot er en af ​​de bedste og mest berømte webcrawlere til dato. Det bruges meget til at indeksere webindhold og artikler til Googles søgeresultater. Det bedste ved Googlebot er, at det giver brugerne masser af værktøjer og muligheder. Mere specifikt fortæller Googlebot Google, hvilke sider der skal indekseres, og hvilke skal efterlades.

2. Bingbot

Ligesom Googlebot er Bingbot en populær webcrawler af Microsoft. Det har eksisteret i årevis og er meningen at indeksere hjemmesider i Bing-søgeresultaterne. Bingbot er en ideel erstatning for MSN bot. Den mest fremtrædende løsning kaldes som Fetch as Bingbot, som er til stede i Bing Webmaster Tools. Denne mulighed giver dig mulighed for at anmode om sider, der skal indekseres og vises i Bing-resultaterne.

3. Slurp Bot

Slurp Bot er Yahoo's webcrawler, men drives af Bing. Websites skal give Yahoo Slurp adgang til deres sider for at blive vist i Yahoo Mobile Search-resultaterne. Denne webcrawler bruges til at indsamle indhold fra partnerwebstedene for inkludering i Yahoo News, Yahoo Sports og Yahoo Finance.

4. DuckDuckBot

DuckDuckBot er den berømte og bedste web crawler af DuckDuckGo. Dette søgemaskinen er kendt for sit privatliv og sporer ikke en bruger uden hans tilladelse. I gennemsnit håndterer han ti millioner forespørgsler hver dag. DuckDuckGo får resultaterne fra mere end 400 kilder, herunder flere lodrette kilder, der leverer svar relateret til Instant Answers, Wikipedia og DuckDuckBot. Det håndterer også forespørgsler, der kommer fra kilder som Yandex, Bing og Yahoo.

5. Baiduspider

Baiduspider er et officielt navn på en kinesisk søgemaskine web crawler eller edderkop. Det kan indeksere mange websider hver dag og returnerer opdateringerne til sit Baidu-indeks. Baidu er en af ​​de førende kinesiske søgemaskiner. Det har mere end 80% af de samlede søgemarkeder i China Mainland.

6. Yandex Bot

YandexBot er en særlig webcrawler af en russisk søgemaskine, Yandex. Medieforretninger hævder, at denne bot genererede over 57% af all søgemaskine trafik i Rusland i 2015.

7. Sogou Spider

Sogou Spider er en berømt web crawler af Sogou.com. Denne førende kinesiske søgemaskine blev lanceret i 2004 og har en rang på 103 på Alexa. Du bør huske på, at Sogou web spider aldrig respekterer robotternes internetstandarder og er forbudt fra forskellige steder på grund af sin overdrevne gennemsøgning.

8. Exabot

Denne web crawler drives af Exalead, en fransk søgemaskine. Det blev grundlagt for nogle år siden og har over 16 milliarder websider indekseret i søgeresultaterne.

9. Facebook eksternt hit

Social media giant, Facebook, lader sine brugere dele interessante links med andre Facebook-brugere. Facebook External Hit udfører en række funktioner, herunder visning af flere billeder, nogle spændende videoer og et par websider. En af de vigtigste og berømte crawling-robotter er Facebot, der hjælper med at forbedre reklameydelsen.

10. Alexa Crawler

Alexa Crawler drives af Amazons Alexa og er vant til at indeksere snesevis af websider. Den indsamler oplysninger om webstederne og rangerer dem ud fra lokale og internationale præferencer.

Endelig note

Der er forskellige web crawlere og bots, så når du blokerer for noget mistænkeligt websted, skal du sørge for at blokere ikke de gode bots, der indekserer dine websider i søgemaskinens resultater.

November 29, 2017
Semalt Islamabad Expert: Top 10 mest populære Web Crawlers og Bots
Reply