Hilfe! Was legt unser Forum lahm?

[Sprotte]

Oh, wäre das fein, wenn sie wirklich die Wurzel besiegt haben! Bislang finde ich das Forum turboflott.
Danke fürs Dranbleiben und Durchbeißen, Maja! (Und die Info über die Wartungsarbeiten via FB.)

[Layka]

Ich weiß nicht, ob das schon besorgniserregend lang ist, aber ich hatte eben 45.085 Sekunden mit 14 Abfragen, was mir lang vorkam. Irgendwann heute Mittag hatte ich das schonmal so ähnlich, da habe ich dann allerdings nicht auf die Sekundenzahl geachtet.

[Maja]

Ich hatte heute drei Ressourcenalarmmails, und die CPU-Werte sind wieder da, wo sie vor zwei Wochen waren. Kundendienst ist informiert, ich hoffe, die bekommen das jetzt schneller (und dauerhaft!) in den Griff, sonst muss ich wirklich umziehen.

[Prometheus]

Dumme Frage... aber hast du immer noch das gleiche Serverpaket wie 2003? Sind ja sowieso nur virtuelle Server.
Ich hatte mir 2009 ein Paket geholt und wollte bei mir 2014 ein Nachfolgesystem aufziehen. Bin dann drauf gekommen, dass ein "neuer Server" mittlerweile für den gleichen Preis die vierfachen Ressourcen geboten hat. Ich hab den dann einfach virtuell upgraden lassen und nicht mehr bezahlt.

[Ary]

Hier hat's gerade mal wieder erbärmlich geschneckt.

[Kaeptn]

Ich würde auf die Suche tippen. Habe gerade vorhin versucht einen Begriff global zu suchen und danach war die Seite komplett tot. Eine Minute später hat es wieder funktioniert. Checkt mal die Auslastung bei einem simplen Suchbegriff quer über alle Foren.

Das kann man reproduzieren. Eben diese Seite in 0.178 Sekunden aufgebaut. Dann suche gestartet (die gerade mal 13 Ergebnisse zurücklieferte), die Suche brauchte 208 Sekunden und ein kurz danach gestarteter Reloaf dieser Seite 179.944 Sekunden mit 21 Abfragen - und Aryanas Meldung fiel auch in diesen Zeitraum.

Würde mich sehr wundern, wenn es da keinen Zusammenhang gibt. Ich würde an deiner Stelle die Suche mal für 2-3 Tage abklemmen und schauen was passiert.

WARUM die Suche das ganze Forum lahmlegt, ist dann ne andere Frage. Da sind vermutlich einige Indizes im Eimer oder die Such-Abfragen der Forensoftware sind einfach schlecht bzw nicht für so eine Datenmenge ausgelegt.

Nachtrag aus dem SMF-Manual:

If you are going to enable search, and are not or cannot use Sphinx, use a Large Custom Index

SMF's custom index works by taking a hash of every available word, and then building an index of which words point to which messages. 'Small' means this is a 16 bit hash, 'Moderate' is 24 and 'Large' is a 32 bit hash. 'Large' is thus only two bytes larger per record than small is, plus an additional number of records based on the average number of unique words per post you have - which is not going to be a significant increase. The speed improvement you get for the additional ~40% space usage is well worth it.

Hast du einen Search-Index und steht der auf "Large"?

[Maja]

Dumme Frage... aber hast du immer noch das gleiche Serverpaket wie 2003? Sind ja sowieso nur virtuelle Server.
Ich hatte mir 2009 ein Paket geholt und wollte bei mir 2014 ein Nachfolgesystem aufziehen. Bin dann drauf gekommen, dass ein "neuer Server" mittlerweile für den gleichen Preis die vierfachen Ressourcen geboten hat. Ich hab den dann einfach virtuell upgraden lassen und nicht mehr bezahlt.

Nein, 2003 hatte ich nur ein hundsnormales Webpack. Der Tintenzirkel ist gewachsen und gewachsen und ich habe entsprechen aufgesrüstet. 2011 habe ich den ersten (kleineren) Virtual Server bekommen und bin dann 2014 auf den aktuellen Server gewachselt, mit einem damals aktuellen Angebot. Ich überlege im Moment, nochmal aufzurüsten, weil ich für etwas mehr Geld mal wieder deutlich mehr Leistung bekomme, entsprechend den Entwicklungen am Hardwaremarkt. Früher waren Speicherplatz und Traffic ein Thema, heute spricht da ja keiner mehr von (mit Platz kann ich euch totschmeißen), aber RAM und CPU sind halt so eine Sache.

Ich würde auf die Suche tippen. Habe gerade vorhin versucht einen Begriff global zu suchen und danach war die Seite komplett tot. Eine Minute später hat es wieder funktioniert. Checkt mal die Auslastung bei einem simplen Suchbegriff quer über alle Foren.

Das kann man reproduzieren. Eben diese Seite in 0.178 Sekunden aufgebaut. Dann suche gestartet (die gerade mal 13 Ergebnisse zurücklieferte), die Suche brauchte 208 Sekunden und ein kurz danach gestarteter Reloaf dieser Seite 179.944 Sekunden mit 21 Abfragen - und Aryanas Meldung fiel auch in diesen Zeitraum.

Würde mich sehr wundern, wenn es da keinen Zusammenhang gibt. Ich würde an deiner Stelle die Suche mal für 2-3 Tage abklemmen und schauen was passiert.

WARUM die Suche das ganze Forum lahmlegt, ist dann ne andere Frage. Da sind vermutlich einige Indizes im Eimer oder die Such-Abfragen der Forensoftware sind einfach schlecht bzw nicht für so eine Datenmenge ausgelegt.

Nachtrag aus dem SMF-Manual:

If you are going to enable search, and are not or cannot use Sphinx, use a Large Custom Index

SMF's custom index works by taking a hash of every available word, and then building an index of which words point to which messages. 'Small' means this is a 16 bit hash, 'Moderate' is 24 and 'Large' is a 32 bit hash. 'Large' is thus only two bytes larger per record than small is, plus an additional number of records based on the average number of unique words per post you have - which is not going to be a significant increase. The speed improvement you get for the additional ~40% space usage is well worth it.

Hast du einen Search-Index und steht der auf "Large"?

Die Suche legt den Server nicht lahm. Ich kann anhand der Serverdaten sehen, dass schlagartig die CPU-Aufnahme sämtlicher Programme hochschnellt und dann da auch bleibt, und das, ohne dass sich etwas am Forum verändert hatte. Die Suche hat immer schon lang gedauert, und ich habe mich jetzt nach dem Suchindex umgeschaut - ich hatte bislang noch keinen, und ich lege jetzt einen benutzerdefinierten Index an (den allgemeinen kann ich nicht nehmen, weil wir keine Längenbegrenzung für Beiträge haben). Ich hoffe, dass sich damit die Suche beschleunigen lässt.

Mit dem aktuellen Problem hat das aber nichts zu tun. Der HE-Kundendienst hat heute, wieder, am Server rumgeschraubt, und die Werte sind wieder alle im normalen Bereich. Letztes Mal haben sie mir geschrieben, es wäre ein Hardwareproblem gewesen, allerdings sind die Lags ja nach einer Woche wieder aufgetreten. Ich hoffe, dass die Lösung diesmal dauerhaft ist.

[Kaeptn]

Ich kann anhand der Serverdaten sehen, dass schlagartig die CPU-Aufnahme sämtlicher Programme hochschnellt und dann da auch bleibt, und das, ohne dass sich etwas am Forum verändert hatte.

Verstehe nicht ganz, was du mit "verändern" meinst. Nur nochmal zur Klarstellung mein Versuchsaufbau:
Wenn ich mehrere Tintenzirkel-Browsertabs öffne und in einem eine Suche starte und in allen anderen beliebige Beiträge anzuzeigen versuche, hängen diese Tabs so lange, bis die Suche beendet ist . Das gilt auch, wenn ich den Tintenzirkel in einem zweiten Browser öffne und dort einen Beitrag lade, hängt also nicht mit der Browser-Session zusammen.

Übirgens: Die Suche ist deutlich schneller geworden, immer noch 25 Sekunden aber gegenüber 208 sind das ja Welten.

[Maja]

Verstehe nicht ganz, was du mit "verändern" meinst.

Ich meinte, dass das Problem schlagartig auftritt, unabhängig davon, was gerade im Forum passiert, und ohne dass ich Änderungen an Forensoftware oder Datenbank vorgenommen hätte. Und auch, ohne dass jemand die Forensuche bemüht hätte - das war einer meiner ersten Verdächtigen, eben weil ich weiß, dass sie temporär das System ausbremsen kann. Aber ich habe um drei Uhr in der Nacht allein, ohne Gäste oder auch nur Bots, in einem laggenden Forum gesessen, dessen Seiten minutenlang zum Reinladen brauchten. Und, wenn die Suche schuld wäre, hätte sich das Problem über einen längeren Zeitraum aufgebaut, statt von einem Tag auf den anderen einzusetzen und umgekehrt auch von einem Moment auf den anderen wieder zu verschwinden, nachdem die HE-Techniker das System neu gestartet hatten.

Übirgens: Die Suche ist deutlich schneller geworden, immer noch 25 Sekunden aber gegenüber 208 sind das ja Welten.

Am Search Index kann das nicht liegen. Der ist nämlich noch in Arbeit und steht gerade bei 56%, das wird noch ein Weilchen dauern, ehe der für Suchanfragen genutzt werden kann. Ich hoffe aber, dass danach die Suche wirklich schneller ablaufen wird.

[Maja]

So, ab jetzt kann über den neuen Suchindex gesucht werden. Er hat anderthalb GB, und das Forum hat den ganzen Tag dran gerechnet, aber dafür fluppen die Suchabfragen jetzt nur so - "Seite erstellt in 0.052 Sekunden mit 26 Abfragen." Danke @Kaeptn für den Tipp!

[Klecks]

Wow, das ist ja wirklich super schnell! Vielen Dank! 

[Kaeptn]

Und auch, ohne dass jemand die Forensuche bemüht hätte - das war einer meiner ersten Verdächtigen, eben weil ich weiß, dass sie temporär das System ausbremsen kann. Aber ich habe um drei Uhr in der Nacht allein, ohne Gäste oder auch nur Bots, in einem laggenden Forum gesessen, dessen Seiten minutenlang zum Reinladen brauchten.

Ok, das ist dann eindeutig was anderes. Na immerhin fluppen die Suchen nun, gern geschehen.

[Maja]

Ich wusste echt nicht, dass der Suchindex existiert. Zehn Jahre  SMF, und man learnt immer noch was Neues dazu.

[Eluin]

Ich wusste echt nicht, dass der Suchindex existiert. Zehn Jahre  SMF, und man learnt immer noch was Neues dazu.

Das hab ich aber auch schon ziemlich am Anfang vom Thread gemeint  Vermutlich hab ich mich nicht klar genug ausgedrückt. 

[Maja]

Ich wusste echt nicht, dass der Suchindex existiert. Zehn Jahre  SMF, und man learnt immer noch was Neues dazu.

Das hab ich aber auch schon ziemlich am Anfang vom Thread gemeint  Vermutlich hab ich mich nicht klar genug ausgedrückt. 

Manchmal muss man mir was mehrmals sagen, bis es ankommt.