Back to Question Center
0

Semalt: robots.txt: Bloker alle websider undtagen et par antal websider?

1 answers:

Jeg har et par tvivl om robotter. txt . Sig, mit domæne er stackoverflow. com ,

A) Vil koden nedenfor gøre følgende for alle crawlere?

     Brugeragent: *Tillade: /Tillad: / $
Tillad: / a / $
Tillad: / a / login. php
Tillad: / a / login. php? returnere = / Pligg /    
  1. Accept http: // stackoverflow - производители sfp модулей. com / vil acceptere http: // stackoverflow. com også?

  2. Accept http: // stackoverflow. com / a /

  3. Accept http: // stackoverflow. dk / a / login. php

  4. Accept http: // stackoverflow. dk / a / login. php? return = / pligg /

  5. Accepterer ikke nogen anden side på http: // stackoverflow. com

B) Hvilket er rigtigt: robotter. txt eller robot. txt ?

February 13, 2018