Back to Question Center
0

Semalt: Sådan Blokerer Darodar Robots.txt

1 answers:

Robots.txt-fil er en typisk tekstfil, der indeholder instruktioner om, hvordan web crawlere eller robotter skal gennemgå et websted. Deres ansøgning er tydelig i søgemaskiner bots, som er almindelige på mange optimerede hjemmesider. Som en del af Robots Exclusion Protocol (REP) udgør robots.txt-filen et væsentligt aspekt ved indeksering af indhold på webstedet, og det gør det muligt for en server at godkende brugeranmodninger i overensstemmelse hermed.

Julia Vashneva, den Semalt Senior Customer Success Manager, forklarer, at sammenkædning er et aspekt af Search Engine Optimization (SEO), hvilket indebærer at få trafik fra andre domæner inden for din niche. For "follow" -linkene til overførsel af link-juice er det vigtigt at medtage en robots.txt-fil på dit website hosting-rum for at fungere som instruktør af, hvordan serveren interagerer med dit websted. Fra dette arkiv er vejledningen til stede ved at tillade eller udelukke, hvordan nogle specifikke brugeragenter opfører sig.

Grundformatet for en robots.txt-fil

En robots.txt-fil indeholder to væsentlige linjer:

Brugeragent: [Brugeragentnavn]

Tillad: [URL-streng skal ikke gennemsøges]

En komplet robots.txt-fil skal indeholde disse to linjer. Men nogle af dem kan indeholde flere linjer af brugeragenter og -direktiver. Disse kommandoer kan indeholde aspekter som tillader, disallows eller crawl-forsinkelser. Der er normalt en liniepause, der adskiller hvert sæt instruktion. Hver af de tillader eller udelukker instruktion adskilles af denne linjeskift, især for robots.txt med flere linjer.

Eksempler

En robots.txt-fil kan f.eks. Indeholde koder som:

Brugeragent: darodar

Tillad: / plugin

Tillad: / API

Tillad: / _kommentarer

I dette tilfælde er dette en blok robots.txt-fil, der begrænser Darodar webcrawler fra at få adgang til dit websted. I ovenstående syntaks blokkerer koden aspekter af hjemmesiden, såsom plugins, API og kommentar sektionen. Fra denne viden er det muligt at opnå en række fordele ved at udføre en robots tekstfil effektivt. Robotter..txt-filer kan udføre mange funktioner. For eksempel kan de være klar til at:

1. Tillad alt web crawlers indhold på en hjemmeside side. For eksempel;

Brugeragent: *

Disallow:

I dette tilfælde kan alle brugerindhold få adgang til, at enhver webcrawler bliver bedt om at komme til et websted.

2. Bloker et bestemt webindhold fra en bestemt mappe. For eksempel;

Brugeragent: Googlebot

Tillad: / eksempel-undermappe /

Denne syntaks indeholdende brugeragent Googlebot tilhører Google. Det begrænser boten fra at få adgang til enhver webside i strengen www.ourexample.com/example-subfolder/.

3. Bloker en bestemt webcrawler fra en bestemt webside. For eksempel;

Brugeragent: Bingbot

Disallow: /example-subfolder/blocked-page.html

Bruger-agent Bing bot tilhører Bing web crawlere. Denne type robots.txt-fil begrænser Bing-webcrawleren fra at få adgang til en bestemt side med strengen www.ourexample.com/example-subfolder/blockedpage.

Vigtig information

  • Ikke alle brugere bruger din robts.txt-fil. Nogle brugere kan beslutte at ignorere det. De fleste af sådanne webcrawlere omfatter trojanske og malware.
  • For at en Robots.txt-fil skal være synlig, skal den være tilgængelig på webstedet på topniveau.
  • Tegnene "robots.txt" er sagerfølsomme. Som følge heraf bør du ikke ændre dem på nogen måde, herunder aktivering af nogle aspekter.
  • "/robots.txt" er offentligt domæne. Alle kan finde disse oplysninger, når de tilføjes til indholdet af en webadresse. Du bør ikke indeksere vigtige oplysninger eller sider, som du vil have, at de forbliver private.
November 29, 2017
Semalt: Sådan Blokerer Darodar Robots.txt
Reply