Wir haben gerade halt "nur" ~15.000 Gäste im Forum. Die Seite schmiert immer ab, sobald es jenseits der 25k werden. Weiß nicht, ob die Gäste im Forum zu bestimmten Uhrzeiten rausgekickt werden und sich das dann im Laufe des Tages wieder stapelt?
Skydancer: da hab ich auch schon mal dran gedacht, allerdings könnten sich dann legitime Nutzer nicht mehr anmelden, wenn hier beispielsweise schon 15.000 Bots unterwegs sind und 15.001 Gäste nicht mehr zugelassen werden
Skydancer: da hab ich auch schon mal dran gedacht, allerdings könnten sich dann legitime Nutzer nicht mehr anmelden, wenn hier beispielsweise schon 15.000 Bots unterwegs sind und 15.001 Gäste nicht mehr zugelassen werden
Wir sind eh nur noch ne private truppe.
im grunde könnte man dicht machen und wir bleiben unter uns 
klar, nur wenn du dich mal von nem anderen Gerät anmeldest, beispielsweise auf der Arbeit (was hat man da sonst besseres zu tun), bist du hier auch erst einmal nur Gast und tummelst dich unter 5 weiteren legitimen Gästen, und natürlich 20k+ Bot-Gästen
Ich würde hier erst mal den einfachsten Schritt gehen und eine robots.txt anlegen.
Momentan wird hier ja jedem Crawler einfach alles erlaubt und das nehmen sie natürlich dankend an.
Hier mal zwei Beispielseiten, die Crawler untersagen:
https://stackoverflow.com/robots.txt
https://www.reddit.com/robots.txt
Man könnte das dann feinjustieren und nur die bekannten KI Crawler verweigern
User-agent: AlphaAI
User-agent: OpenAI
Disallow: /Ist jetzt ein Beispiel mit zwei bekannten Crawlern.
Im Zugriffslog kann man dann bestimmt genauer sehen, welche Firma hier gerade crawlt und diese dann eintragen.
Wundert mich, dass das hier noch nicht gemacht wurde.
Kann natürlich sein, dass es keine seriöse Firma ist und ihren Namen/User-Agent nicht wahrheitsgemäß angibt.
Die müsste man sich dann genauer im Zugriffslog anschauen.
Seit ich hier reingucke ca 6:30uhr läuft das Nexgam Forum ohne Probleme 
Kurzes Update (-;
Ich hatte vorgestern Abend etwas Zeit, mir das Ganze genauer anzuschauen. Leider waren es nicht nur die bekannten AI-Bots – zusätzlich gab es auch DDoS-Angriffe auf das Forum, die für weitere Probleme gesorgt haben.
Wir haben mittlerweile Maßnahmen ergriffen, um den Traffic zu reduzieren. Das zeigt auch bereits spürbare Wirkung.
Es kann allerdings passieren, dass normale Nutzer vorübergehend blockiert werden, wenn sie zu schnell durch das Forum surfen – ihre IP wird dann kurzzeitig gesperrt. Die meisten DDoS-Anfragen werden inzwischen jedoch frühzeitig erkannt und direkt abgewiesen. Die Serverlast ist aktuell unter Kontrolle.
Die alte Forensoftware verursacht sehr langsame SQL-Abfragen, was den SQL-Server bei hoher Last überfordert. In Kombination mit Bot- und DDoS-Traffic hat das das Forum in die Knie gezwungen.
Dass auch die Hauptwebseite betroffen war, liegt daran, dass dort bei abgelaufenem Cache auf die Forum-API zugegriffen wird – der Fehler lag also indirekt ebenfalls beim Forum.
Wir beobachten weiter, ob der Botnetz-Traffic wieder zunimmt
Aktuell sind ca. 400.000 Botnetz-IP-Adressen blockiert
- Currently banned: 399.217
- Total banned : 488.641
Ich schaffe es leider nicht hier regelmäßig rein zu schauen ...
@Mistercinema und @CD-i sagen aber bescheid wenn was ist...
@Claude
Danke für den Hinweis, allerdings betrifft das Problem nur Crawler, die sich nicht an die robots.txt halten. Die, die das tun, verursachen keine relevante Last. Insofern bringt das in diesem Fall leider nichts.
Danke trotzdem für dein Angebot zur Mithilfe.
Wenn du Lust und Zeit hast, wäre eine dauerhafte Unterstützung in Sachen Forensoftware sehr willkommen. Aktuell arbeiten wir im Hintergrund an einem Update des WBB auf die neueste Version. Danach wäre es hilfreich, wenn jemand aus der Community die regelmäßige Wartung übernehmen könnte. Derzeit versuchen wir, das über einen Azubi zu lösen, Kapazitäten sind, wie immer, begrenzt.
Waren die DDoS tatsächlich zielgerichtet auf das Forum, oder nur ein "Nebenschauplatz"? Mich würde da wirklich interessieren, welchen Grund da jemand für hätte.
"Konkurrenz ausmerzen" 
Vielen Dank für die ganze Arbeit @mor_dark
@mor_dark
Ist doch egal ob du oft schaust solange du bei einer Meldung rein schaust und dann zusammen mit Leuten aus dem Forum eine Lösung findest.
Ist denn die neue Software besser was die Last auf wegen SQL Datenbank angeht? Ist ein Update geplant und was soll das Teil kosten oder was müsst passieren das es wirklich lohnt ein Update zu fahren? Das geht auch an all.
[size=14]Vielen vielen dank an dich fürs Flicken und Anpassen des Forums oder was auch immer du gemacht hast das es nun hoffentlich besser ist.[/size]
Das was FliegenTod gefragt hat wäre echt interessant zu wissen.
@FliegenTod
Uns ärgern könnte ein Grund sein oder wir haben User gesperrt und das zurecht und nun kommt der mit der Kanone und schießt auf Spatzen oder so. Keine Ahnung ob es daher kommt oder wieder mal einfach von bösen oder blöden Gruppen das Netz versucht dicht zu machen.
Komisch oder seltsam ist es schon, dass es dann nur hier auftrat und nicht mehrere IP Bereich betraf so das mehrere Service ausgefallen oder gestört waren.
@RetroJaeger Also das Circuit-Board mal wieder 
Glaube nicht das gesperrte User das Forum ärgern wollen,die Erklärung mit Crawlern klingt für mich plausibel.
@BlackLion
Das war nur ein weitere Idee was hätte sein können weil mir das so massiv wie hier bei keinem andern Forum aufgefallen ist in den letzten Tagen.
Also ich kann nur mal laut geben, wie schön das Forum endlich wieder flutscht.
Jetzt müsst ihr alle wieder meine geistigen Ergüsse ertragen.
Muharharhar!
Das war ein Scherz, da das Circuit-Board wohl das größte andere "unabhängige" Forum sein dürfte.
@Claude
Danke für den Hinweis, allerdings betrifft das Problem nur Crawler, die sich nicht an die robots.txt halten. Die, die das tun, verursachen keine relevante Last. Insofern bringt das in diesem Fall leider nichts.
Danke trotzdem für dein Angebot zur Mithilfe.
Alles klar!
Ich hab nur die fehlende robots.txt gesehen. Du bist da schon viel weiter. 
Ist echt kacke, wenn man es hier mit einem bad actor zu tun hat. Da ist man natürlich gezwungen aktiv an der Abwehr zu arbeiten. 
Wenn du Lust und Zeit hast, wäre eine dauerhafte Unterstützung in Sachen Forensoftware sehr willkommen. Aktuell arbeiten wir im Hintergrund an einem Update des WBB auf die neueste Version. Danach wäre es hilfreich, wenn jemand aus der Community die regelmäßige Wartung übernehmen könnte. Derzeit versuchen wir, das über einen Azubi zu lösen, Kapazitäten sind, wie immer, begrenzt.
Sehr gerne. Ich bin jetzt zwar kein Netzwerkexperte, aber dafür Webentwickler, der täglich mit Servern und Datenbanken zu tun hat, inklusive Bereitschaftsdienst falls Server streiken.
Bin da denk ich mal nicht die schlechteste Person dafür.
Waren die DDoS tatsächlich zielgerichtet auf das Forum, oder nur ein "Nebenschauplatz"? Mich würde da wirklich interessieren, welchen Grund da jemand für hätte.
Ich finde die KI-Crawler Erklärung immer noch am plausibelsten.
Von Menschen verfasste Texte sind doch heute richtiges Gold wert. Es sind bestimmt Firmen, die Foren Daten sammeln, um sie später als KI-Trainingsdaten zu verkaufen.
Alles klar!Ich hab nur die fehlende robots.txt gesehen. Du bist da schon viel weiter.
Ist echt kacke, wenn man es hier mit einem bad actor zu tun hat. Da ist man natürlich gezwungen aktiv an der Abwehr zu arbeiten.
Sehr gerne. Ich bin jetzt zwar kein Netzwerkexperte, aber dafür Webentwickler, der täglich mit Servern und Datenbanken zu tun hat, inklusive Bereitschaftsdienst falls Server streiken.Bin da denk ich mal nicht die schlechteste Person dafür.
Das klingt ziemlich nützlich, indeed! Ich bin zwar als Job Product Owner, aber eben kein Dev, so dass ich da halt auch nutzlos bin. Aber da könntest du uns echt helfen! Ich schreib mal ne PN!
Vielleicht könnte man ab einer bestimmten Anzahl nur noch registrierte User reinlassen.
Die letzten 3 Tage waren jedenfalls Horror.
Und nochmals vielen Dank an @mor_dark
Das du deine Zeit geopfert hast.
Smileys laden nicht alle bei der Auswahl werden nicht alle angezeigt bzw nur Text
Hin und wieder laden andere Teile des Forums auch nicht richtig. Dann auf ein Mal geht es dann.
