Seltsame Last und iowait

[rotalever]

Auf meinem Linux/Ubuntu Virtual Server steigt seit einigen Tagen jedes mal um ca 12:45 die Last rapide an, und iowait geht auf 80%, das ganze dauert nur kurze Zeit. Normalerweise sind sowohl Last als auch iowait sehr niedrig und diese Lastspitze und iowait kommt immer ungefähr zu dieser Uhrzeit (so genau kann ich das in den Graphen nicht sehen). Es ist keine anderen Werte in diesem Zeitraum erhöht, also weder die Last des Internetservers, der Traffics, der RAM, laufende Prozesse etc, keine SWAP-Nutzung, also alles wie immer. Nur die Last steigt an und iowait steigt an.

Zur Diagnose des Problems habe ich auch in die Logs geschaut und nichts finden können. Es laufen zu dieser Zeit auch keine daily-cronjobs, die laufen nämlich nachts. Da ich mir nicht erklären kann woran das liegt, wollte ich mich heute in den Server einloggen um zu sehen, welche Prozesse da gerade laufen aber ich war schon zu spät und ich konnte mich aufgrund der Last erst über SSH einloggen, als es schon vorbei war. Über das Virtuozzo Control Panel konnte ich mir aber die laufenden Prozesse anschauen, aber die Liste sah wie immer aus. Ich kann mir einfach überhaupt nicht erklären woher diese Lastspitzen kommen.

Also Programme hab ich laufen: lighttpd mit php, postfix, postgresql, munin (rddtool logger), cron, sshd, syslogd und mehr nicht.

Wie könnte ich feststellen, wo der Fehler liegt? Ich habe nämlich überhaupt keine Anhaltspunkte.


Nochwas: in den Statistiken kann man sehen, dass zu diesem Zeitpunkt die "open files" ein bisschen höher sind als normal. Hängt vermutlich mit dem iowait zusammen.

[rotalever]

Keiner ne idee?

Ich habe noch folgendes experimentiert:
Normalerweise habe ich ca 90MB RAM-Verbrauch. Ich habe jetzt postfix und postgresql deaktiviert, der RAM-Verbrauch ist auf 50MB gesunken. Dann habe ich ein kleines Programm gestartet, das einfach mal 100MB RAM schluckt, sodass jetzt insgesamt 150MB verbraucht werden. Heute war es dann wieder so weit, diesmal vielleicht so um 12:10 Uhr: iowait steigt auf 96% und die Last auf 2.0, so hoch war es bisher noch nie. Bei Number-of-open-files ging es jetzt sogar auf 28k files (normalerweise sind 22k files offen, keine Ahnung warum..) und verbleibt jetzt seltsamerweise bei 24k. Auch der RAM-Verbrauch stieg zu diesem Zeitpunkt um ein paar MB um danach wieder abzufallen.

Ich habe also postgresql und postfix definitiv ausgeschlossen und festgestellt, dass es irgendwie mit dem RAM-Verbrauch zusammenhängt (vielleicht habe ich deshalb den Fehler auch früher nie bemerkt, da ich einfach weniger RAM verbraucht habe?). Schlau werde ich daraus aber immer noch nicht.

[Arcanoxer]

Verwendest du einen aktuellen Kernel?

[rotalever]

Verwendest du einen aktuellen Kernel?
Mein Kernel nennt sich "2.6.9-023stab046.2-enterprise" das System ist ein Ubuntu Dapper LTS. Da es sich um einen virtuellen Server (Virtuozzo) handelt kann ich den Kernel nicht verändern.

[rotalever]

Das wird immer verrückter. Zum testen habe ich jetzt diesen 100MB-Programm wieder beendet, sodass 57MB RAM insgesamt verbraucht werden und das ganze wieder beobachtet:
Kein erhöhtes Iowait (okay vll. ein pixel mehr im graph, aber das ist nicht wirklich erkennbar...) mehr.
Dafür geht die Last wieder hoch und zwar auf ungefähr 1.4 um 12 Uhr etwa.
Scheinbar verlagert sich die Zeit immer weiter nach vorn, wo diese Ereignisse passieren.
Open-Files ging sogar auf 32k hoch!
Memory-Auslastung war konstant bei 57MB-Ram.

Ich werde da einfach nicht schlau draus.

[Gast]

Vielleicht liegt das Problem bei der Virtualisierung. Dann könntest du das Problem "von innen" evtl. gar nicht diagnostizieren.
Was passiert zB, wenn eine andere VM auf dem Server, die Festplatten um diese Uhrzeit zu 100% auslastet?

Btw, hast du mal versucht, mit 'top' das Phänomen zu beobachten?

[rotalever]

Vielleicht liegt das Problem bei der Virtualisierung. Dann könntest du das Problem "von innen" evtl. gar nicht diagnostizieren.
Was passiert zB, wenn eine andere VM auf dem Server, die Festplatten um diese Uhrzeit zu 100% auslastet?

Btw, hast du mal versucht, mit 'top' das Phänomen zu beobachten?
Ich wollte mich einmal einloggen und kam wie gesagt nicht ins System, weil es überlastet war. Über das Control-Panel konnte ich aber die laufenden Prozesse anschauen (also sowas änhliches wie top) und habe nichts ungewöhnliches erkennen können.

Ich dachte auch schon, dass das von außen kommt, da ich meine, dass es erst anfing, nachdem der Server mal kurz durch einen Hardwaredefekt (wurde RAM ausgetauscht) ausgefallen war. Im Laufe dieses Ausfalls kam es einmal zu einer sehr hohen Systemlast und die Ethernet-Verbindung wurde stark belastet. Ich weiß aber nicht wodurch. Als ich den Support fragte, ob dies mit dem Ausfall zusammenhinge, wurde das bejaht. Dann merkte ich in den folgenden Tagen das beschriebene Problem mit iowait und Last in der Mittagszeit. Ich schrieb daraufhin den Support ein weiteres Mal an, ob da irgendwelche Zusammenhänge mit dem Ausfall bestehen könnten, ob vll. ein paar Dateien verändert wurden, aber dies wurde verneint, es wäre nichts verändert worden. Sehr seltsam das ganze. Vorher hatte ich nie Probleme.

[rotalever]

Ein weiterer Tag ist vergangen. Scheinbar hat es doch nichts mit RAM-Auslastung zu tun, da heute auch wieder mächtig iowait zu sehen war.

Ich habe allerdings herausgefunden, dass die Messung von Open-Files, die ich bisher mache falsch ist. /proc/sys/fs/file-nr gibt viel zu viele Files aus. Der richtige Wert steht in /proc/user_beancounters, ca. 810 offene Dateien. Das ist auch realistischer.

[Lokadamus]

mmm...

Was ist auf der Kiste jetzt eigentlich installiert?
Irgendwas virtuelles und irgendwas, wo PHP, Postfix usw. laufen.

Was läuft jetzt wo und wer ist virtuell? Treten die Probs nur in der virtuellen oder auch auf der nativen Maschine auf?

[rotalever]

mmm...

Was ist auf der Kiste jetzt eigentlich installiert?
Irgendwas virtuelles und irgendwas, wo PHP, Postfix usw. laufen.

Was läuft jetzt wo und wer ist virtuell? Treten die Probs nur in der virtuellen oder auch auf der nativen Maschine auf?
Das ist ein Virtueller Server, auf die Hardware habe ich keinen Zugriff. Das ganze ist mit Virtuozzo virtualisiert.

In dem Bereich, wo ich Zugriff habe, laufen zur Zeit folgende Programme:
init, lighttpd, php5-cgi*11, sshd, cron, syslogd, munin-node

[Gast]

Das ist ein Virtueller Server, auf die Hardware habe ich keinen Zugriff. Das ganze ist mit Virtuozzo virtualisiert.


Genau daran dürfte es wahrscheinlich auch liegen.
Es ist halt ein vServer, andere Leute benutzen die Hardware auch nicht nur du allein.

[rotalever]

Genau daran dürfte es wahrscheinlich auch liegen.
Es ist halt ein vServer, andere Leute benutzen die Hardware auch nicht nur du allein.
Aber man hat mir soweit ich weiß garantierte CPU und RAM-Ressourcen versprochen. Da läuft vermutlich irgendwas mit der Virtualisierung falsch.

[Gast]

Aber man hat mir soweit ich weiß garantierte CPU und RAM-Ressourcen versprochen. Da läuft vermutlich irgendwas mit der Virtualisierung falsch.

Ja hier wird dir dazu niemand wirklich helfen könen, beschwer dich bei deinem Anbieter.

[rotalever]

Ja hier wird dir dazu niemand wirklich helfen könen, beschwer dich bei deinem Anbieter.
Das habe ich auch jetzt getan. Vorher war es mir nur nicht ganz klar, dass es nicht an mir liegt. Hätte ja auch irgendwas bekanntes sein können.

[The_Invisible]

es kann auch sein das um diese zeiten ein globar cronjob gestartet wird der daten sammelt und auswertet. der wirt bekommt da natürlich den großteil der ressourcen zugesprochen.

genaueres kann dir da natürlich nur der anbieten sagen. zb könnte es auch sein das gesamt mehr ressourcen vergeben wurden als der rechner überhaupt hat, nennt sich überbuchung, was in den meisten fällen eigentlich auch gut geht.

natürlich sollte man sich wenn man nur ein paar euro bezahlt nicht übermäßig aufregen -> bringt nix.

mfg

[rotalever]

So. Es war wohl tatsächlich ein Fehler vom Serverbetreiber :| Nach einigen "Optimierungen" seitens des Betreibers läuft es jetzt wieder wie vorher.