Back to Question Center
0

Semalt robots.tx Et eksempel på god SEO Semalt robots.txt eksempel til god SEO

1 answers:

robotterne. txt-fil er en meget kraftfuld fil, hvis du arbejder på et websites SEO. Samtidig skal den også bruges med omhu. Det giver dig mulighed for at nægte søgemaskiner adgang til bestemte filer og mapper, men det er meget ofte ikke , hvad du vil gøre. Gennem årene har især Google ændret sig meget i, hvordan det gennemsøger internettet, så gamle bedste praksis er ikke længere gyldige. Dette indlæg forklarer, hvad den nuværende bedste praksis er for dine WordPress-robotter - eglide at. txt og hvorfor.

Google gør dit websted fuldt ud

Ikke længere er Google det dumme lille barn, der netop henter dine websites HTML og ignorerer din styling og JavaScript. Det henter alt og gør dine sider fuldstændigt. Det betyder, at når du nægter Google adgang til dine CSS- eller JavaScript-filer, kan det ikke lide det overhovedet . Dette indlæg om Google Panda 4 viser et eksempel på dette. Vi sagde det igen senere og vil fortsætte med at sige det: bloker ikke dine CSS og JavaScript-filer.

Den gamle bedste praksis med at have en robotter. txt , der blokerer adgangen til din wp-includes bibliotek og din plugins mappe er ikke længere gyldig. Det er derfor, i WordPress 4. 0, åbnede jeg problemet og skrev lappen til at fjerne wp-includes /. * fra standard WordPress robotter. txt .

Mange temaer bruger også asynkrone JavaScript-anmodninger, såkaldte AJAX, for at tilføje indhold til siden. Som standard brugt WordPress til at blokere disse. Så jeg lavede billetten til WordPress for at tillade Google at gennemgå admin-ajax. php URL i wp-admin . Dette blev rettet i WordPress 4. 4.

Roboter. txt benægtelser forbinder deres værdi

Noget andet er meget vigtigt at huske på. Hvis du blokerer en URL med dit websites robotter. txt , vil søgemaskiner ikke gennemgå disse sider. Dette betyder også, at de ikke kan distribuere linkværdien, der peger på disse webadresser. Så hvis du har en sektion af dit websted, som du hellere ikke ville have vist i søgeresultaterne, men får mange links, skal du ikke bruge robotterne . txt fil. Brug i stedet et robots metatag med en værdi på noindex, følg . Dette gør det muligt for søgemaskinerne at distribuere linkværdien korrekt for disse sider på tværs af dit websted.


Vores WordPress-robotter. txt eksempel

Så hvad skal der være i dine WordPress-robotter. txt? Vores er meget ren nu. Vi blokkerer ikke længere noget ! Vi blokkerer ikke vores / wp-indhold / plugins / -katalog, da plugins kan udgive JavaScript eller CSS, som Google skal gøre siden. Vi blokkerer heller ikke vores / wp-includes / bibliotek, da standard JavaScripts, der følger med WordPress, som mange temaer bruger, kommer fra disse mapper.

Vi ​​blokkerer heller ikke vores mappe / wp-admin / . Årsagen er enkel: Hvis du blokerer det, men linker til et eller andet sted tilfældigt, kan folk stadig gøre en enkel [inurl: wp-admin] forespørgsel på Google og finde dit websted. Denne type forespørgsel er typen af ​​forespørgsler ondsindede hackere kærlighed at gøre. Hvis du ikke gør noget, har WordPress (ved at gøre) en robots meta x-http header på admin siderne, der forhindrer søgemaskiner i at vise disse sider i søgeresultaterne, en meget renere løsning.

Hvad skal du gøre med dine robotter. txt

Du skal logge ind på Google Search Console og under Crawl → Hent som Google, brug indstillingen Hent og Semalt:

Semalt robots.txAn example for great SEO
Semalt robots.txt example for great SEO

Hvis det ikke ligner det, du ser, når du gennemser dit websted, eller det kaster fejl eller meddelelser: Løs dem ved at fjerne linjerne, der blokerer adgangen til disse webadresser fra dine robotter. txt fil.

Skal du linke til dit XML Sitemap fra dine robotter. txt ?

Vi ​​har altid følt at linke til dit XML-sitemap fra dine robotter. txt er en smule nonsens. Dette er grunden til, at vores Yoast SEO plugin ikke tilføjer det til dine robotter. txt . Stol ikke på dem for at finde ud af om dit XML-sitemap gennem dine robotter. txt .

Læs mere: 'robotter. txt: den ultimative guide '»

March 1, 2018