Robots.txt angeblich nicht erreichbar

  • Gelöst moinjdrk

    (@moinjdrk)


    vor 1 Monat

    Moin Leute,

    ich benötige Hilfe.

    Die Google Search Console sagt, dass ein Crawling unserer Webseite nicht möglich sei, da die Robots.txt nicht erreichbar ist.

    Crawling

    Zeit

    01.07.2024, 08:04:11

    Gecrawlt über

    Google-Prüftool (Smartphone)

    Crawling erlaubt?

    Ja

    Seitenabruf

    error

    Fehler: Robots.txt nicht erreichbar

    Indexierung zulässig?

    Nicht zutreffend

    Extern habe ich die Seite nochmal überprüft:

    https://technicalseo.com/tools/robots-txt/ – hier scheint alles ok /allowed

    https://de.ryte.com/website-checker/ – hier „ist indexierbar“ „none“

    Die Webseite war lange korrekt indexiert – aufgefallen ist es mir, als Google plötzlich anfing im Rahmen einer Kampagne „Richlinienverstöße“ wegen einer „nicht erreichbaren URL“ auszugeben – selbstverständlich habe ich alles 3x mal auf Tippfehler u.s.w geprüft. Ja, ich habe die Webseite umstrukturiert – aber warum es deswegen nicht mehr gehen sollte ist mir völlig unklar.

    Wäre mega, wenn sich das jemand mal angucken würde, der sich damit auskennt.

    Ich danke euch für euer Engagement und eure Geduld!

    ` wp-core

    version: 6.5.5
    site_language: de_DE
    user_language: de_DE
    timezone: Europe/Berlin
    permalink: /%postname%/
    https_status: true
    multisite: false
    user_registration: 0
    blog_public: 1
    default_comment_status: open
    environment_type: production
    user_count: 2
    dotorg_communication: true wp-paths-sizes

    wordpress_path: /home/jleisman/new.medizin-und-didaktik.de
    wordpress_size: 193,47 MB (202865825 bytes)
    uploads_path: /home/jleisman/new.medizin-und-didaktik.de/wp-content/uploads
    uploads_size: 144,51 MB (151527587 bytes)
    themes_path: /home/jleisman/new.medizin-und-didaktik.de/wp-content/themes
    themes_size: 18,68 MB (19585811 bytes)
    plugins_path: /home/jleisman/new.medizin-und-didaktik.de/wp-content/plugins
    plugins_size: 233,66 MB (245009215 bytes)
    database_size: 123,52 MB (129515520 bytes)
    total_size: 713,83 MB (748503958 bytes) wp-dropins (4)

    advanced-cache.php: true
    db.php: true
    maintenance.php: true
    object-cache.php: true wp-active-theme

    name: Hello Elementor (hello-elementor)
    version: 3.1.0
    author: Elementor Team
    author_website: https://elementor.com/?utm_source=wp-themes&utm_campaign=author-uri&utm_medium=wp-dash
    parent_theme: none
    theme_features: core-block-patterns, widgets-block-editor, menus, post-thumbnails, automatic-feed-links, title-tag, html5, custom-logo, editor-style, align-wide, woocommerce, wc-product-gallery-zoom, wc-product-gallery-lightbox, wc-product-gallery-slider
    theme_path: /home/jleisman/new.medizin-und-didaktik.de/wp-content/themes/hello-elementor
    auto_update: Deaktiviert wp-mu-plugins (1)

    burst_rest_api_optimizer.php: author: (undefined), version: (undefined) wp-plugins-active (14)

    Complianz - Terms and Conditions: version: 1.2.8, author: Really Simple Plugins, Automatische Aktualisierungen deaktiviert
    Complianz Privacy Suite (GDPR/CCPA) premium: version: 7.1.1, author: Really Simple Plugins, Automatische Aktualisierungen deaktiviert
    Elementor: version: 3.22.3, author: Elementor.com, Automatische Aktualisierungen deaktiviert
    Elementor Pro: version: 3.22.1, author: Elementor.com, Automatische Aktualisierungen deaktiviert
    Kutego: version: 1.0, author: Kutego, Automatische Aktualisierungen deaktiviert
    Local Google Fonts: version: 0.22.0, author: EverPress, Automatische Aktualisierungen deaktiviert
    Rank Math SEO: version: 1.0.222, author: Rank Math, Automatische Aktualisierungen aktiviert
    Rank Math SEO PRO: version: 3.0.65, author: Rank Math, Automatische Aktualisierungen deaktiviert
    Really Simple SSL Shell Add on: version: 2.0.0, author: Really Simple Plugins, Automatische Aktualisierungen deaktiviert
    Site Kit by Google: version: 1.129.1, author: Google, Automatische Aktualisierungen aktiviert
    SVG Support: version: 2.5.5, author: Benbodhi, Automatische Aktualisierungen deaktiviert
    UpdraftPlus - Backup/Restore: version: 1.24.3, author: UpdraftPlus.Com, DavidAnderson, Automatische Aktualisierungen deaktiviert
    W3 Total Cache: version: 2.7.3, author: BoldGrid, Automatische Aktualisierungen deaktiviert
    WP Consent API: version: 1.0.7, author: RogierLankhorst, Automatische Aktualisierungen deaktiviert wp-plugins-inactive (6)

    AMP: version: 2.5.3, author: AMP Project Contributors, Automatische Aktualisierungen deaktiviert
    Burst Statistics - Privacy-Friendly Analytics for WordPress: version: 1.6.1, author: Burst Statistics B.V., Automatische Aktualisierungen deaktiviert
    Image Optimizer by Elementor – Compress, Resize and Optimize Images: version: 1.4.0, author: Elementor.com, Automatische Aktualisierungen deaktiviert
    My Private Site: version: 3.1.0, author: David Gewirtz, Automatische Aktualisierungen deaktiviert
    Really Simple SSL: version: 8.1.5, author: Really Simple Plugins, Automatische Aktualisierungen deaktiviert
    Yoast Duplicate Post: version: 4.5, author: Enrico Battocchi & Team Yoast, Automatische Aktualisierungen deaktiviert wp-media

    image_editor: WP_Image_Editor_GD
    imagick_module_version: Nicht verfügbar
    imagemagick_version: Nicht verfügbar
    imagick_version: Nicht verfügbar
    file_uploads: 1
    post_max_size: 64M
    upload_max_filesize: 32M
    max_effective_size: 32 MB
    max_file_uploads: 20
    gd_version: 2.3.3
    gd_formats: GIF, JPEG, PNG, WebP, BMP, XPM
    ghostscript_version: 9.54.0 wp-server

    server_architecture: Linux 5.14.0-427.18.1.el9_4.x86_64 x86_64
    httpd_software: LiteSpeed
    php_version: 7.4.33 64bit
    php_sapi: litespeed
    max_input_variables: 1000
    time_limit: 600
    memory_limit: 256M
    max_input_time: 300
    upload_max_filesize: 32M
    php_post_max_size: 64M
    curl_version: 7.76.1 OpenSSL/3.0.7
    suhosin: false
    imagick_availability: false
    pretty_permalinks: true
    htaccess_extra_rules: true
    current: 2024-07-01T06:26:31+00:00
    utc-time: Monday, 01-Jul-24 06:26:31 UTC
    server-time: 2024-07-01T08:26:29+02:00 wp-database

    extension: mysqli
    server_version: 8.0.37-cll-lve
    client_version: 8.0.31
    max_allowed_packet: 268435456
    max_connections: 1000 wp-constants

    WP_HOME: undefined
    WP_SITEURL: undefined
    WP_CONTENT_DIR: /home/jleisman/new.medizin-und-didaktik.de/wp-content
    WP_PLUGIN_DIR: /home/jleisman/new.medizin-und-didaktik.de/wp-content/plugins
    WP_MEMORY_LIMIT: 40M
    WP_MAX_MEMORY_LIMIT: 256M
    WP_DEBUG: false
    WP_DEBUG_DISPLAY: true
    WP_DEBUG_LOG: false
    SCRIPT_DEBUG: false
    WP_CACHE: true
    CONCATENATE_SCRIPTS: undefined
    COMPRESS_SCRIPTS: undefined
    COMPRESS_CSS: undefined
    WP_ENVIRONMENT_TYPE: Nicht definiert
    WP_DEVELOPMENT_MODE: undefined
    DB_CHARSET: utf8
    DB_COLLATE: undefined wp-filesystem

    wordpress: writable
    wp-content: writable
    uploads: writable
    plugins: writable
    themes: writable
    mu-plugins: writable google-site-kit

    version: 1.129.1
    php_version: 7.4.33
    wp_version: 6.5.5
    reference_url: https://www.medizin-und-didaktik.de
    amp_mode: no
    site_status: connected-site
    user_status: authenticated
    verification_status: verified-non-site-kit
    connected_user_count: 1
    active_modules: site-verification, search-console, ads, analytics-4, pagespeed-insights
    recoverable_modules: none
    required_scopes:
    openid: ✅
    https://www.googleapis.com/auth/userinfo.profile: ✅
    https://www.googleapis.com/auth/userinfo.email: ✅
    https://www.googleapis.com/auth/siteverification: ✅
    https://www.googleapis.com/auth/webmasters: ✅
    https://www.googleapis.com/auth/analytics.readonly: ✅
    https://www.googleapis.com/auth/tagmanager.readonly: ✅
    capabilities:
    googlesitekit_authenticate: ✅
    googlesitekit_setup: ✅
    googlesitekit_view_posts_insights: ✅
    googlesitekit_view_dashboard: ✅
    googlesitekit_manage_options: ✅
    googlesitekit_update_plugins: ✅
    googlesitekit_view_splash: ✅
    googlesitekit_view_authenticated_dashboard: ✅
    googlesitekit_view_wp_dashboard_widget: ✅
    googlesitekit_view_admin_bar_menu: ✅
    googlesitekit_view_shared_dashboard: ⭕
    googlesitekit_read_shared_module_data::["search-console"]: ⭕
    googlesitekit_read_shared_module_data::["analytics-4"]: ⭕
    googlesitekit_read_shared_module_data::["pagespeed-insights"]: ⭕
    googlesitekit_manage_module_sharing_options::["search-console"]: ✅
    googlesitekit_manage_module_sharing_options::["analytics-4"]: ✅
    googlesitekit_manage_module_sharing_options::["pagespeed-insights"]: ✅
    googlesitekit_delegate_module_sharing_management::["search-console"]: ✅
    googlesitekit_delegate_module_sharing_management::["analytics-4"]: ✅
    googlesitekit_delegate_module_sharing_management::["pagespeed-insights"]: ⭕
    enabled_features:
    adsPax: ⭕
    audienceSegmentation: ⭕
    consentModeSwitzerland: ⭕
    conversionInfra: ⭕
    gm3Components: ⭕
    rrmModule: ⭕
    consent_mode: enabled
    consent_api: detected
    search-console_shared_roles: none
    search-console_management: owner
    analytics-4_shared_roles: none
    analytics-4_management: owner
    pagespeed-insights_shared_roles: none
    pagespeed-insights_management: all_admins
    search_console_property: https://www.medizin-und-didaktik.de/
    ads_conversion_tracking_id: none
    analytics_4_account_id: 1966•••••
    analytics_4_property_id: 3792639••
    analytics_4_web_data_stream_id: 5286••••••
    analytics_4_measurement_id: G-S7••••••••
    analytics_4_use_snippet: yes
    analytics_4_ads_conversion_id: none
    analytics_4_available_custom_dimensions: none
    analytics_4_ads_linked: true
    analytics_4_ads_linked_last_synced_at: 1719729348

    Die Seite, für die ich Hilfe brauche: [Anmelden, um den Link zu sehen]

Ansicht von 8 Antworten – 1 bis 8 (von insgesamt 8)
  • Moderator Bego Mario Garde

    (@pixolin)

    vor 1 Monat

    Die ganzen Online-Checker sind immer mit ein wenig Abstand zu betrachten. Ich verlasse mich lieber auf eine eigene Prüfung und sehe, dass ich https://www.med...tik.de/robots.txt (Domain anonymisiert) ohne Fehlermeldungen aufrufen kann.

    Im Quelltext der Startseite steht

    <meta name="robots" content="follow, index, max-snippet:-1, max-video-preview:-1, max-image-preview:large">

    … womit eine Indexierung funktionieren sollte. Tut sie ja auch. Wäre die Indexierung der kompletten Website nicht möglich, würde die Website auch nicht bei Google auftauchen – tut sie aber.

    Zur kostenpflichtigen Version deines SEO-Plugins RankMath SEO Pro können wir hier nicht weiterhelfen. Vielleicht gibt es da noch Einstellungen, die du optimieren kannst. Wende dich bei Fragen dazu bitte an den Entwickler.

    hupe13

    (@hupe13)

    vor 1 Monat

    Fehler: Robots.txt nicht erreichbar

    Woher kommt das große „R“?

    Thread-Starter moinjdrk

    (@moinjdrk)

    vor 1 Monat

    Unachtsamkeit beim Erstellen des Beitrags hier.

    Thread-Starter moinjdrk

    (@moinjdrk)

    vor 1 Monat

    Leider ist das Thema immer noch nicht abschließend für mich geklärt. Der Hoster sagt er habe alles durchgeprüft und es gäbe kein Problem. Der SEO-Anbieter Rank-Math sagt auch, dass alles funktioniert wie es soll. Anfrage an Google selbst ist raus.

    Hat jemand noch eine Idee? ggf. konzentriert sich der Fehler auf Android-Smartphones – zumindest habe ich das irgendwo flüchtig gelesen…

    Freue mich auf weiteren Input. 🙂

    threadi

    (@threadi)

    vor 1 Monat

    Lass die Google Search Console das Problem nochmal prüfen. Kann ggfs. einige Tage dauern. Vermutlich siehst Du keine Live-Daten sondern irgendetwas veraltetes.

    Moderator Torsten Landsiedel

    (@zodiac1978)

    vor 1 Monat

    Wenn Google Search Console weiterhin behauptet, dass kein Abruf möglich ist, dann kann es auch ein Problem zwischen Hoster und Google sein. Strato war mal auf der (temporären) Blocklist gelandet (oder umgekehrt?). Dann wurden alle Anfragen von der Google Search Console zu Strato geblockt.

    Das würde erklären, dass ein lokaler Aufruf möglich ist, aber Google sich weigert.

    Ebenfalls selten aber möglich: Durch eine Firewall/Security-Einstellung wurde Google ausgesperrt. Einfach mal beim Hoster nachfragen bzw. eigene Einstellungen prüfen.

    Aber mein erster Versuch wäre auch der Live-Check in GSC, wie von @threadi vorgeschlagen.

    Thread-Starter moinjdrk

    (@moinjdrk)

    vor 3 Wochen, 4 Tage

    Moin Leute,

    ich konnte schlussendlich das Problem nur lösen in dem ich manuell eine robots.txt erstellt und ins root geladen habe. Aus irgendeinem Grund hat Google die durch das SEO-Plugin verwaltete robots.txt nicht erkannt. Nun habe ich eine robots.txt in quasi gleichem Inhalt. Die Sitemap wird weiterhin zuverlässig von RankMath konfiguriert.

    Der Fehler kam aus dem Nichts. Ich bin diesbezüglich weiter ratlos, aber natürlich froh eine Lösung gefunden zu haben. Dank für eure aller Hilfe.

    Beste Grüße!

    Thread-Starter moinjdrk

    (@moinjdrk)

    vor 3 Wochen, 4 Tage

    Damit würde ich es mal als gelöst markieren?

Ansicht von 8 Antworten – 1 bis 8 (von insgesamt 8)