Robots en sitemap.xml

  • Loek1

    (@loek1)


    11 jaren, 7 maanden geleden

    Hoi,

    Na met een SEO man te hebben gesproken komen de volgende vragen.

    In de hoofdroot staat mijn robots.txt daarin staat vermeld:
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    De SEO man zei dat hier ook een verwijzing naar de sitemap.xml moet staan. Nooit van gehoord maar wellicht wel waar.

    Maar nu komt het probleem.

    De website is met Yoast WordPress SEO geoptimaliseerd.
    En dan zit er geen sitemap.xml in. Google vraagt er wel om en zegt doodleuk 404 page, foutje dus.

    De inhoud kan gevonden worden onder sitemap_index.xml
    die dan weer een verwijzing geeft naar

    This XML Sitemap Index file contains 4 sitemaps.

    Sitemap Last Modified
    http://www.mijn.nl/post-sitemap.xml 2013-04-17 08:36
    http://www.mijn.nl/page-sitemap.xml 2013-04-23 07:48
    http://www.mijn.nl/category-sitemap.xml 2013-04-17 08:36
    http://www.mijn.nl/post_tag-sitemap.xml 2013-04-17 08:36

    Zou allemaal in orde moeten zijn, alleen heb ik zelf die sitemap_index.xml in de webmastertools moeten aanbieden. Lijkt erop dat Google die niet automatisch ziet en blijft zoeken naar de sitemap.xml, die er niet is.

    Wat mis ik of moet ik aanpassen??

    Loek

6 reacties aan het bekijken - 1 tot 6 (van in totaal 6)
  • nielsvanrenselaar

    (@nielsvanrenselaar)

    11 jaren, 7 maanden geleden

    Gewoon zelf aanmelden bij Google Webmasters en Bing Webmasters, het is inderdaad sitemap_index.xml omdat er meerdere referenties in staan. Is verder prima.

    In je robots.txt kan je eventueel:
    Sitemap: sitemap_index.xml
    opnemen.

    Thread starter Loek1

    (@loek1)

    11 jaren, 7 maanden geleden

    Kan niet vinden waar de robots.txt te vinden is. Zou denken dat ie in de eerste root zou staan maar daar zie ik ‘m niet??

    Nog een vraagje. Heb Google webmastertools, is het zo belangrijk om Bing Webmasters erbij te nemen??

    Loek

    Thomas

    (@thomasvanderbeek)

    11 jaren, 7 maanden geleden

    WordPress maakt het bestand niet automatisch en fysiek voor je aan. Als /robots.txt wordt aangeroepen en het bestand bestaat niet, dan geeft WordPress antwoord met het volgende:
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    Als je dit wil overschrijven kun je gebruik maken van een filter (zie voorbeeld hieronder) of je maakt zelf een robots.txt bestand aan die je vanaf dan gebruikt. Die plaats je vanzelfsprekend in de root van je site.

    function custom_robots() {
	$robots  = 'User-agent: *'."\n";
	$robots .= 'Disallow: /wp-admin/'."\n";
	$robots .= 'Disallow: /wp-includes/'."\n";
	$robots .= 'Sitemap: /sitemap_index.xml'."\n";

	return $robots;
}
add_filter( 'robots_txt', 'custom_robots' );
    Thread starter Loek1

    (@loek1)

    11 jaren, 7 maanden geleden

    Wouw, weer een stukje verder.

    Stel ik ga de robots.txt maken. En die zier er dan als volgt uit:

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Sitemap: http://www.mijnsite.nl/sitemap_index.xml
    of beter?
    Sitemap: /sitemap_index.xml

    Deze plaats ik dan in de root. ben ik dan klaar of moet dat overschrijf ding erbij dus:

    function custom_robots() {
    $robots = ‘User-agent: *’.”\n”;
    $robots .= ‘Disallow: /wp-admin/’.”\n”;
    $robots .= ‘Disallow: /wp-includes/’.”\n”;
    $robots .= ‘Sitemap: /sitemap_index.xml’.”\n”;

    return $robots;
    }
    add_filter( ‘robots_txt’, ‘custom_robots’ );

    En deze onder robots.txt plaatsen in de root.

    Vooral dat laatste is voor mij een beetje hogere wp-kunde. Ik hoop dat je mij wilt bijstaan.

    Loek

    Thomas

    (@thomasvanderbeek)

    11 jaren, 7 maanden geleden

    Het code gedeelte is een nette oplossing als je alles via je Theme wil regelen. Hoeft niet, dus denk dat je beter voor optie 1 kunt gaan:

    Maak robots.txt aan in de root van je site met deze inhoud:

    User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: /sitemap_index.xml

    Dan ben je “good to go”.

    Aanmelden bij Google Webmaster Tools is belangrijk. Die van Bing is natuurlijk niet verplicht, maar kan zeker geen kwaad.

    Thread starter Loek1

    (@loek1)

    11 jaren, 7 maanden geleden

    Bedankt, gedaan

6 reacties aan het bekijken - 1 tot 6 (van in totaal 6)
  • Het onderwerp ‘Robots en sitemap.xml’ is gesloten voor nieuwe reacties.