Was ist mit dem Board los?

    Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

    • Neu

      Wir haben gerade halt "nur" ~15.000 Gäste im Forum. Die Seite schmiert immer ab, sobald es jenseits der 25k werden. Weiß nicht, ob die Gäste im Forum zu bestimmten Uhrzeiten rausgekickt werden und sich das dann im Laufe des Tages wieder stapelt?
      We don't call it spam exactly,
      it's more like "tactical addition to our post counters !"
    • Neu

      Bitmap Brother schrieb:

      @Skydancer: da hab ich auch schon mal dran gedacht, allerdings könnten sich dann legitime Nutzer nicht mehr anmelden, wenn hier beispielsweise schon 15.000 Bots unterwegs sind und 15.001 Gäste nicht mehr zugelassen werden
      Wir sind eh nur noch ne private truppe.
      im grunde könnte man dicht machen und wir bleiben unter uns :lol:
      “Tell people there's an invisible man in the sky who created the universe, and the vast majority will believe you. Tell them the paint is wet, and they have to touch it to be sure.”
    • Neu

      Ich würde hier erst mal den einfachsten Schritt gehen und eine robots.txt anlegen.
      Momentan wird hier ja jedem Crawler einfach alles erlaubt und das nehmen sie natürlich dankend an.

      Hier mal zwei Beispielseiten, die Crawler untersagen:
      stackoverflow.com/robots.txt
      reddit.com/robots.txt

      Man könnte das dann feinjustieren und nur die bekannten KI Crawler verweigern

      Quellcode

      1. User-agent: AlphaAI
      2. User-agent: OpenAI
      3. Disallow: /
      Ist jetzt ein Beispiel mit zwei bekannten Crawlern.
      Im Zugriffslog kann man dann bestimmt genauer sehen, welche Firma hier gerade crawlt und diese dann eintragen.

      Wundert mich, dass das hier noch nicht gemacht wurde.

      Kann natürlich sein, dass es keine seriöse Firma ist und ihren Namen/User-Agent nicht wahrheitsgemäß angibt.
      Die müsste man sich dann genauer im Zugriffslog anschauen.

      Dieser Beitrag wurde bereits 5 mal editiert, zuletzt von Claude ()