Ondersteuning » Overige » Robots.txt blokkeert alles

  • Opgelost APK keuring

    (@apk-keuring)


    Hallo,

    Gisteren heb ik een nieuwe website opgezet.
    Ik heb een XML sitemap aangemaakt en heb deze aangemeld bij Google Webmaster Tools.

    Ik krijg vanuit Google Webmaster Tools de melding:
    Er zijn ernstige statusproblemen op uw site gevonden.
    Als ik dan klik op “Sitestatus controleren” zie ik:

    Een belangrijke pagina wordt geblokkeerd door robots.txt

    De pagina die geblokkeerd is o.a. de index.
    Ik heb een statische voorpagina aangemaakt.
    Ook categorieën worden geblokkeerd en de onderliggende berichten.

    In de robots.txt staat het volgende:

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    Ik heb talloze WordPress websites opgezet en heb dit nog nooit meegemaakt.
    Als ik middels DirectAdmin of FTP ga kijken zie ik de robots.txt niet.

    Ik heb op dezelfde server hetzelfde probleem, met SMF, Simple Machines Forum, alleen zag ik daar wel de robots.txt wel middels DirectAdmin.
    Na het verwijderen van het robots.txt bestand bleef het probleem zich voortdoen.

    Wat gaat er mogelijk fout?
    Als iemand een idee heeft, laat het me ajb weten, ik ben er een hele avond mee zoet geweest en snap er nog niets van…

    @toevoeging, ook na het uploaden van een lege robots.txt krijg ik dezelfde foutmeldingen.

5 reacties aan het bekijken - 1 tot 5 (van in totaal 5)
  • Thread starter APK keuring

    (@apk-keuring)

    @Toevoeging;’

    Ik heb de robots.txt leeg gemaakt.
    Nu krijg ik vanuit Google Webmaster Tools geen foutmeldingen meer.
    Dit lijkt me echter niet de bedoeling…
    Wat is een standaard robots.txt voor een WordPress website?

    Thread starter APK keuring

    (@apk-keuring)

    @toevoeging, mijn host heeft enige tijd geleden de websites verhuist van het ene IP naar een ander.
    Zou het te maken kunnen hebben met de .htaccess?
    Ik zit hier nu al dagen mee, een elke vorm van hulp is welkom.

    Dit is meestal wanneer je het vinkje “Blokkeer zoekmachines deze site te indexeren” aangevinkt hebt staan bij instellingen -> lezen.

    Even uitvinken en het probleem zal opgelost zijn. Het duurt nog wel 1-2 dagen meestal voordat Google dit doorheeft.

    Thread starter APK keuring

    (@apk-keuring)

    Bedankt voor je reactie.

    Dat is het probleem niet, was het maar zo simpel.

    Thread starter APK keuring

    (@apk-keuring)

    Lag aan mijn host, ik heb inmiddels een andere, probleem verholpen.

5 reacties aan het bekijken - 1 tot 5 (van in totaal 5)
  • Het onderwerp ‘Robots.txt blokkeert alles’ is gesloten voor nieuwe reacties.