Hilfe! Was legt unser Forum lahm?

Maja · 02. November 2016, 18:25:37

Weil der Hosteurope-Kundendienst mir gerade nicht weiterhelfen kann, weil außerstande, das Problem nachzuvollziehen, hoffe ich, dass vielleicht einer unserer lieben IT'ler im Forum noch eine Idee hat.

Ihr habt es vermutlich alle schon mitbekommen: Der Server läuft völlig normal, ohne Auffälligkeiten, dann, von einem Augenblick auf den anderen, bricht die Performance ein. Statische Webseiten lassen sich weiterhin aufrufen, aber das Forum, das auf MySQL-Basis läuft, kann keine Seiten mehr aufbauen.

Wartet man ca. 4-5 Minuten, ist die Seite dann hereingeladen, die typische Meldung am Seitenfuß sieht dann so aus: "Seite erstellt in 290.029 Sekunden mit 13 Abfragen." Danach läuft wieder alles normal, mit den üblichen Zugriffszeiten von 0,2 Sekunden. Dieser Spuk wiederholt sich vier, fünf Mal pro Stunde, immer aus heiterem Himmel, so dass an einen normalen Forenbetrieb nicht zu denken ist, und das zur besucherreichsten Zeit des Jahres.

Das unangekündigte Auftreten macht den Fehler schwer reproduzierbar, trotzdem bekomme ich im Fünf-Minuten-Takt Alarm-Mails, die so aussehen:

Code Auswählen

Server: mail.gottfabrik.de.

Server health parameter "Services > MySQL CPU usage" changed its status from "green" to "red".

top - 23:22:20 up 1 day,  8:06,  0 users,  load average: 1.40, 1.26, 0.82
Tasks: 228 total,   2 running, 226 sleeping,   0 stopped,   0 zombie
%Cpu(s):  3.1 us,  3.0 sy,  6.2 ni, 87.6 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem:  16777216 total,  3860868 used, 12916348 free,        0 buffers
KiB Swap:  8388608 total,    92260 used,  8296348 free.  2752308 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
  604 mysql     20   0 2295680  92416   5328 S  94.0  0.6 102:54.83 mysqld
16898 popuser   20   0   17208   1796   1064 R  31.3  0.0   0:00.53 imapd
16903 root      20   0   19952   1408    944 R  15.7  0.0   0:00.08 top
    1 root      20   0   33324   1716   1032 S   0.0  0.0   0:05.64 init
    2 root      20   0       0      0      0 S   0.0  0.0   0:00.00 kthreadd/1+
    3 root      20   0       0      0      0 S   0.0  0.0   0:00.00 khelper/12+
    4 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
    5 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
    6 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
    7 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
    8 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
    9 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   10 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   11 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   12 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   13 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   14 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   15 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   16 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   17 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   18 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   19 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   20 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   21 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   22 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   23 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   24 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   25 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   26 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   27 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   28 root      20   0       0      0      0 S   0.0  0.0   0:00.00 nfsiod/124+
  179 root      20   0   19424    400    396 S   0.0  0.0   0:00.32 upstart-ud+
  198 root      20   0   49212    712    708 S   0.0  0.0   0:00.05 systemd-ud+
  214 root      20   0  316656   5960   4068 S   0.0  0.0   0:01.82 smbd
  268 root      20   0  308704   2344    776 S   0.0  0.0   0:00.00 smbd
  271 root      20   0  316656   2712    832 S   0.0  0.0   0:01.34 smbd
  342 syslog    20   0  184384   8652    828 S   0.0  0.1   0:28.26 rsyslogd
  388 root      20   0   15472    324    320 S   0.0  0.0   0:00.34 upstart-so+
  390 root      20   0   15224    316    312 S   0.0  0.0   0:00.35 upstart-fi+
  407 root      20   0  231396   1656   1276 S   0.0  0.0   0:14.57 nmbd
  542 root      20   0  274520  18632  17700 S   0.0  0.1   0:08.97 sw-engine
  573 root      20   0   23600    980    764 S   0.0  0.0   0:00.88 cron
  653 root      20   0  177660   1476   1200 S   0.0  0.0   0:18.76 monit
  680 root      20   0   14940    916    816 S   0.0  0.0   0:01.48 xinetd
  759 root      20   0    4288    352    348 S   0.0  0.0   0:00.00 courierlog+
  760 root      20   0   25952    832    764 S   0.0  0.0   0:00.04 authdaemond
  763 root      20   0   34512   1560   1296 S   0.0  0.0   0:00.78 authdaemond
  764 root      20   0   34512   1560   1296 S   0.0  0.0   0:00.76 authdaemond
  765 root      20   0   34512   1552   1288 S   0.0  0.0   0:00.84 authdaemond
  766 root      20   0   34512   1600   1308 S   0.0  0.0   0:00.79 authdaemond
  767 root      20   0   34512   1560   1296 S   0.0  0.0   0:00.83 authdaemond
  791 root      20   0    4288    416    352 S   0.0  0.0   0:00.46 courierlog+
  792 root      20   0   12116    864    768 S   0.0  0.0   0:01.05 couriertcpd
  822 root      20   0    4288    432    348 S   0.0  0.0   0:00.01 courierlog+
  823 root      20   0   12116    864    768 S   0.0  0.0   0:00.04 couriertcpd
  862 root      20   0    4288    436    356 S   0.0  0.0   0:00.00 courierlog+
  864 root      20   0   12116    848    768 S   0.0  0.0   0:00.00 couriertcpd
  905 root      20   0    4288    276    272 S   0.0  0.0   0:00.00 courierlog+
  906 root      20   0   12116    752    748 S   0.0  0.0   0:00.00 couriertcpd
  953 bind      20   0  247616  14768   2328 S   0.0  0.1   0:07.93 named
 1039 postfix   20   0  402616   1844   1124 S   0.0  0.0   0:30.51 psa-pc-rem+
 1073 root      20   0   61328   2512   2376 S   0.0  0.0   0:05.42 sshd
 1316 root      20   0   25288   1508   1352 S   0.0  0.0   1:03.58 master
 1330 postfix   20   0   27520   1368   1276 S   0.0  0.0   0:00.43 qmgr
 1333 postfix   20   0   27520   1648   1424 S   0.0  0.0   0:43.36 qmgr
 1461 root      20   0  372700   2572    428 S   0.0  0.0   0:00.02 sw-engine-+
 1597 root      20   0   31376    388    196 S   0.0  0.0   0:00.00 sw-cp-serv+
 1598 sw-cp-s+  20   0   31916   2204   1680 S   0.0  0.0   0:00.09 sw-cp-serv+
 2759 root      20   0  286440  13708   5744 S   0.0  0.1   0:30.21 sw-engine
 2821 root      20   0  561876   2636    920 S   0.0  0.0   4:12.09 sw-collectd
 3009 root      20   0   12732    672    668 S   0.0  0.0   0:00.00 getty
 3015 root      20   0   12732    676    672 S   0.0  0.0   0:00.00 getty
 3914 postfix   20   0   40384   2388   1972 S   0.0  0.0   0:02.10 tlsmgr
 8473 popuser   20   0  143632  57596   2952 S   0.0  0.3   2:52.37 spamd child
10568 postfix   20   0   27352   1640   1328 S   0.0  0.0   0:00.06 pickup
15985 www-data  30  10  504684  44820  21292 S   0.0  0.3   0:02.46 /usr/sbin/+
16049 www-data  30  10  504380  42020  18760 S   0.0  0.3   0:02.62 /usr/sbin/+
16063 www-data  30  10  508964  45064  21608 S   0.0  0.3   0:01.38 /usr/sbin/+
16064 www-data  30  10  505180  43636  19816 S   0.0  0.3   0:01.02 /usr/sbin/+
16066 www-data  30  10  496744  25500   8140 S   0.0  0.2   0:00.68 /usr/sbin/+
16067 www-data  30  10  499056  40176  16804 S   0.0  0.2   0:00.61 /usr/sbin/+
16116 www-data  30  10  495736  25068   7308 S   0.0  0.1   0:00.18 /usr/sbin/+
16118 www-data  30  10  495236  34048  14420 S   0.0  0.2   0:00.45 /usr/sbin/+
16119 www-data  30  10  492928  23912   6764 S   0.0  0.1   0:00.17 /usr/sbin/+
16135 www-data  30  10  492808  23140   6012 S   0.0  0.1   0:00.12 /usr/sbin/+
16139 www-data  30  10  492852  23316   6256 S   0.0  0.1   0:00.12 /usr/sbin/+
16141 www-data  30  10  492784  22964   5936 S   0.0  0.1   0:00.10 /usr/sbin/+
16143 www-data  30  10  492808  23140   6012 S   0.0  0.1   0:00.13 /usr/sbin/+
16144 www-data  30  10  504656  42300  18888 S   0.0  0.3   0:01.11 /usr/sbin/+
16147 www-data  30  10  498560  25408   8272 S   0.0  0.2   0:00.27 /usr/sbin/+
16148 www-data  30  10  496528  24748   7560 S   0.0  0.1   0:00.40 /usr/sbin/+
16150 www-data  30  10  498640  25456   8228 S   0.0  0.2   0:00.32 /usr/sbin/+
16151 www-data  30  10  499328  39780  18292 S   0.0  0.2   0:00.66 /usr/sbin/+
16161 www-data  30  10  497384  35260  15492 S   0.0  0.2   0:01.07 /usr/sbin/+
16164 www-data  30  10  496520  24792   7616 S   0.0  0.1   0:00.34 /usr/sbin/+
16167 www-data  30  10  493204  24160   6836 S   0.0  0.1   0:00.32 /usr/sbin/+
16189 www-data  30  10  496504  24764   7408 S   0.0  0.1   0:00.37 /usr/sbin/+
16194 www-data  30  10  492992  23700   6532 S   0.0  0.1   0:00.24 /usr/sbin/+
16197 www-data  30  10  496512  24844   7476 S   0.0  0.1   0:00.33 /usr/sbin/+
16201 www-data  30  10  496568  24268   7076 S   0.0  0.1   0:00.29 /usr/sbin/+
16205 www-data  30  10  492876  23136   6084 S   0.0  0.1   0:00.11 /usr/sbin/+
16206 www-data  30  10  496756  37744  16672 S   0.0  0.2   0:00.62 /usr/sbin/+
16207 www-data  30  10  496728  24860   7612 S   0.0  0.1   0:00.34 /usr/sbin/+
16208 www-data  30  10  494948  24116   7040 S   0.0  0.1   0:00.12 /usr/sbin/+
16209 www-data  30  10  501252  37968  15928 S   0.0  0.2   0:00.79 /usr/sbin/+
16222 www-data  30  10  496748  24856   7340 S   0.0  0.1   0:00.30 /usr/sbin/+
16227 www-data  30  10  492852  23256   6208 S   0.0  0.1   0:00.11 /usr/sbin/+
16232 www-data  30  10  492876  23124   6072 S   0.0  0.1   0:00.12 /usr/sbin/+
16234 www-data  30  10  492808  23008   5944 S   0.0  0.1   0:00.09 /usr/sbin/+
16235 www-data  30  10  492816  23088   6016 S   0.0  0.1   0:00.11 /usr/sbin/+
16237 www-data  30  10  494948  24096   7032 S   0.0  0.1   0:00.12 /usr/sbin/+
16238 www-data  30  10  492808  22900   5880 S   0.0  0.1   0:00.08 /usr/sbin/+
16245 www-data  30  10  492808  23036   5960 S   0.0  0.1   0:00.09 /usr/sbin/+
16248 www-data  30  10  494856  24208   7104 S   0.0  0.1   0:00.12 /usr/sbin/+
16249 www-data  30  10  499400  26584   8556 S   0.0  0.2   0:00.40 /usr/sbin/+
16263 www-data  30  10  492852  23276   6216 S   0.0  0.1   0:00.11 /usr/sbin/+
16266 www-data  30  10  492876  23216   6148 S   0.0  0.1   0:00.12 /usr/sbin/+
16269 www-data  30  10  494924  24076   7020 S   0.0  0.1   0:00.13 /usr/sbin/+
16271 www-data  30  10  492852  23260   6212 S   0.0  0.1   0:00.11 /usr/sbin/+
16274 www-data  30  10  492852  23104   6056 S   0.0  0.1   0:00.15 /usr/sbin/+
16280 www-data  30  10  492892  23412   6324 S   0.0  0.1   0:00.15 /usr/sbin/+
16283 www-data  30  10  492928  22560   5588 S   0.0  0.1   0:00.12 /usr/sbin/+
16287 www-data  30  10  496716  24496   7168 S   0.0  0.1   0:00.26 /usr/sbin/+
16291 www-data  30  10  494924  24204   7132 S   0.0  0.1   0:00.11 /usr/sbin/+
16292 www-data  30  10  492852  23264   6216 S   0.0  0.1   0:00.11 /usr/sbin/+
16299 www-data  30  10  495008  24276   7184 S   0.0  0.1   0:00.14 /usr/sbin/+
16300 www-data  30  10  492852  23108   6064 S   0.0  0.1   0:00.11 /usr/sbin/+
16302 www-data  30  10  494924  24036   6988 S   0.0  0.1   0:00.11 /usr/sbin/+
16304 www-data  30  10  496488  24868   7720 S   0.0  0.1   0:00.32 /usr/sbin/+
16305 www-data  30  10  502588  40900  17516 S   0.0  0.2   0:00.77 /usr/sbin/+
16310 www-data  30  10  492808  23020   5944 S   0.0  0.1   0:00.10 /usr/sbin/+
16341 www-data  30  10  494924  24120   7056 S   0.0  0.1   0:00.13 /usr/sbin/+
16342 www-data  30  10  493204  24224   6908 S   0.0  0.1   0:00.30 /usr/sbin/+
16377 www-data  30  10  492936  23328   6260 S   0.0  0.1   0:00.14 /usr/sbin/+
16403 www-data  30  10  494924  24252   7188 S   0.0  0.1   0:00.11 /usr/sbin/+
16427 www-data  30  10  495280  25152   7820 S   0.0  0.1   0:00.34 /usr/sbin/+
16431 www-data  30  10  494948  24128   7060 S   0.0  0.1   0:00.11 /usr/sbin/+
16439 www-data  30  10  499116  33504  15872 S   0.0  0.2   0:00.53 /usr/sbin/+
16443 www-data  30  10  494940  24048   6996 S   0.0  0.1   0:00.11 /usr/sbin/+
16451 www-data  30  10  492852  22044   5132 S   0.0  0.1   0:00.08 /usr/sbin/+
16599 www-data  30  10  492852  21976   5064 S   0.0  0.1   0:00.07 /usr/sbin/+
16601 www-data  30  10  496748  23656   6416 S   0.0  0.1   0:00.12 /usr/sbin/+
16602 www-data  30  10  492852  21976   5064 S   0.0  0.1   0:00.07 /usr/sbin/+
16604 www-data  30  10  496988  23776   6308 S   0.0  0.1   0:00.16 /usr/sbin/+
16605 www-data  30  10  492808  21868   4948 S   0.0  0.1   0:00.06 /usr/sbin/+
16606 www-data  30  10  496712  23704   6444 S   0.0  0.1   0:00.16 /usr/sbin/+
16608 www-data  30  10  493128  23132   6000 S   0.0  0.1   0:00.10 /usr/sbin/+
16617 www-data  30  10  495256  24392   7176 S   0.0  0.1   0:00.14 /usr/sbin/+
16623 www-data  30  10  492852  22032   5120 S   0.0  0.1   0:00.07 /usr/sbin/+
16624 www-data  30  10  496696  23600   6356 S   0.0  0.1   0:00.13 /usr/sbin/+
16629 www-data  30  10  492856  23096   6028 S   0.0  0.1   0:00.09 /usr/sbin/+
16631 www-data  30  10  500880  28712   8972 S   0.0  0.2   0:00.66 /usr/sbin/+
16632 www-data  30  10  493128  23204   6060 S   0.0  0.1   0:00.09 /usr/sbin/+
16634 www-data  30  10  496328  23504   6396 S   0.0  0.1   0:00.09 /usr/sbin/+
16635 www-data  30  10  498748  34296  14700 S   0.0  0.2   0:00.52 /usr/sbin/+
16637 www-data  30  10  492856  23096   6028 S   0.0  0.1   0:00.10 /usr/sbin/+
16639 www-data  30  10  496464  23632   6476 S   0.0  0.1   0:00.10 /usr/sbin/+
16640 www-data  30  10  492852  22032   5120 S   0.0  0.1   0:00.06 /usr/sbin/+
16643 www-data  30  10  492808  23260   6152 S   0.0  0.1   0:00.09 /usr/sbin/+
16644 www-data  30  10  492852  22036   5124 S   0.0  0.1   0:00.06 /usr/sbin/+
16645 www-data  30  10  496984  23988   6496 S   0.0  0.1   0:00.15 /usr/sbin/+
16646 www-data  30  10  492856  23088   6020 S   0.0  0.1   0:00.11 /usr/sbin/+
16653 www-data  30  10  499640  39340  17300 S   0.0  0.2   0:01.10 /usr/sbin/+
16655 www-data  30  10  492936  22296   5324 S   0.0  0.1   0:00.11 /usr/sbin/+
16656 www-data  30  10  496696  23596   6356 S   0.0  0.1   0:00.16 /usr/sbin/+
16657 www-data  30  10  499360  25376   7392 S   0.0  0.2   0:00.28 /usr/sbin/+
16659 www-data  30  10  501104  35828  13964 S   0.0  0.2   0:00.96 /usr/sbin/+
16660 www-data  30  10  496696  23604   6364 S   0.0  0.1   0:00.14 /usr/sbin/+
16664 www-data  30  10  492856  23088   6020 S   0.0  0.1   0:00.11 /usr/sbin/+
16668 www-data  30  10  496784  37476  16428 S   0.0  0.2   0:00.52 /usr/sbin/+
16669 www-data  30  10  499360  25340   7360 S   0.0  0.2   0:00.19 /usr/sbin/+
16671 www-data  30  10  510124  48016  19440 S   0.0  0.3   0:02.00 /usr/sbin/+
16672 www-data  30  10  496328  23596   6464 S   0.0  0.1   0:00.10 /usr/sbin/+
16675 www-data  30  10  496328  23592   6460 S   0.0  0.1   0:00.10 /usr/sbin/+
16676 www-data  30  10  493128  23236   6092 S   0.0  0.1   0:00.10 /usr/sbin/+
16678 www-data  30  10  493128  23180   6036 S   0.0  0.1   0:00.10 /usr/sbin/+
16685 www-data  30  10  502372  41228  19976 S   0.0  0.2   0:01.53 /usr/sbin/+
16686 www-data  30  10  492852  22036   5124 S   0.0  0.1   0:00.07 /usr/sbin/+
16688 www-data  30  10  492856  23084   6016 S   0.0  0.1   0:00.10 /usr/sbin/+
16690 www-data  30  10  492852  21976   5064 S   0.0  0.1   0:00.06 /usr/sbin/+
16692 www-data  30  10  492852  22028   5116 S   0.0  0.1   0:00.06 /usr/sbin/+
16695 www-data  30  10  499040  27332   9584 S   0.0  0.2   0:00.34 /usr/sbin/+
16699 www-data  30  10  500940  36484  16660 S   0.0  0.2   0:01.28 /usr/sbin/+
16700 www-data  30  10  496748  23800   6348 S   0.0  0.1   0:00.15 /usr/sbin/+
16701 www-data  30  10  492876  21984   5068 S   0.0  0.1   0:00.07 /usr/sbin/+
16728 www-data  30  10  501140  28172   8188 S   0.0  0.2   0:00.68 /usr/sbin/+
16738 www-data  30  10  495008  23784   6716 S   0.0  0.1   0:00.26 /usr/sbin/+
16739 www-data  30  10  495008  24416   7308 S   0.0  0.1   0:00.17 /usr/sbin/+
16836 www-data  30  10  492868  22072   5148 S   0.0  0.1   0:00.07 /usr/sbin/+
16837 www-data  30  10  498788  24600   7336 S   0.0  0.1   0:00.14 /usr/sbin/+
16838 www-data  30  10  492876  21980   5064 S   0.0  0.1   0:00.06 /usr/sbin/+
16843 www-data  30  10  492808  21952   5036 S   0.0  0.1   0:00.05 /usr/sbin/+
16846 www-data  30  10  498516  26628   7200 S   0.0  0.2   0:00.64 /usr/sbin/+
16852 www-data  30  10  492852  22032   5120 S   0.0  0.1   0:00.09 /usr/sbin/+
16856 www-data  30  10  492264  20232   3688 S   0.0  0.1   0:00.07 /usr/sbin/+
16857 root      20   0   99676   4148   3144 S   0.0  0.0   0:00.08 sshd
16858 sshd      20   0   62748   1564    800 S   0.0  0.0   0:00.02 sshd
16859 www-data  30  10  492924  22836   5868 S   0.0  0.1   0:00.09 /usr/sbin/+
16860 www-data  30  10  492264  20188   3656 S   0.0  0.1   0:00.04 /usr/sbin/+
16861 www-data  30  10  497012  23952   6372 S   0.0  0.1   0:00.16 /usr/sbin/+
16863 www-data  30  10  492032  17456   1216 S   0.0  0.1   0:00.00 /usr/sbin/+
16864 www-data  30  10  495204  31720  12152 S   0.0  0.2   0:00.40 /usr/sbin/+
16865 www-data  30  10  496748  23812   6360 S   0.0  0.1   0:00.17 /usr/sbin/+
16866 www-data  30  10  492032  17472   1232 S   0.0  0.1   0:00.00 /usr/sbin/+
16868 popuser   20   0   15024   1440    936 S   0.0  0.0   0:00.04 imapd
16869 popuser   20   0   16244   2720    936 S   0.0  0.0   0:00.19 imapd
16870 popuser   20   0   14724   1132    912 S   0.0  0.0   0:00.01 imapd
16871 popuser   20   0   14724   1164    912 S   0.0  0.0   0:00.01 imapd
16872 popuser   20   0   15432   1924    936 S   0.0  0.0   0:00.10 imapd
16873 popuser   20   0   14724   1144    908 S   0.0  0.0   0:00.01 imapd
16874 popuser   20   0   14856   1320    936 S   0.0  0.0   0:00.02 imapd
16875 popuser   20   0   14724   1204    932 S   0.0  0.0   0:00.01 imapd
16877 root      20   0   12920   2288   1780 S   0.0  0.0   0:00.04 couriertls
16879 popuser   20   0   14724   1160    908 S   0.0  0.0   0:00.01 imapd
16880 root      20   0   12920   2288   1780 S   0.0  0.0   0:00.05 couriertls
16883 root      20   0   12920   2292   1780 S   0.0  0.0   0:00.05 couriertls
16887 root      20   0   12920   2296   1784 S   0.0  0.0   0:00.05 couriertls
16889 root      20   0   12920   2288   1780 S   0.0  0.0   0:00.05 couriertls
16891 root      20   0   12920   2292   1784 S   0.0  0.0   0:00.05 couriertls
16892 root      20   0   12920   2292   1784 S   0.0  0.0   0:00.05 couriertls
16893 root      20   0   12920   2288   1780 S   0.0  0.0   0:00.06 couriertls
16894 root      20   0   12920   2292   1780 S   0.0  0.0   0:00.05 couriertls
16895 popuser   20   0   14724   1128    908 S   0.0  0.0   0:00.01 imapd
16897 root      20   0   12920   2292   1780 S   0.0  0.0   0:00.04 couriertls
16900 root      20   0   12920   2296   1784 S   0.0  0.0   0:00.06 couriertls
21445 root      20   0  131712  25668   2316 S   0.0  0.2   0:51.92 /usr/sbin/+
25327 root      30  10  491984  33292  17080 S   0.0  0.2   0:39.80 /usr/sbin/+
25330 www-data  30  10  164052   9696    452 S   0.0  0.1   0:00.71 /usr/sbin/+

Code Auswählen


Server: mail.gottfabrik.de.

Server health parameter "Services > Apache CPU usage" changed its status from "yellow" to "red".
Server health parameter "Services > MySQL CPU usage" changed its status from "red" to "green".

top - 18:22:12 up 1 day,  3:06,  0 users,  load average: 0.36, 0.77, 0.97
Tasks: 125 total,   2 running, 122 sleeping,   0 stopped,   1 zombie
%Cpu(s):  3.2 us,  3.1 sy,  6.4 ni, 87.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem:  16777216 total,  3464468 used, 13312748 free,        0 buffers
KiB Swap:  8388608 total,   105808 used,  8282800 free.  2752080 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
20016 www-data  30  10  494704  24232   7196 R  11.5  0.1   0:03.37 /usr/sbin/+
20830 www-data  30  10  496096  30232   9812 S  11.5  0.2   0:00.55 /usr/sbin/+
20848 root      20   0   19816   1320    944 R  11.5  0.0   0:00.05 top
    1 root      20   0   33324   2048   1364 S   0.0  0.0   0:05.11 init
    2 root      20   0       0      0      0 S   0.0  0.0   0:00.00 kthreadd/1+
    3 root      20   0       0      0      0 S   0.0  0.0   0:00.00 khelper/12+
    4 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
    5 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
    6 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
    7 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
    8 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
    9 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   10 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   11 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   12 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   13 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   14 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   15 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   16 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   17 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   18 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   19 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   20 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   21 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   22 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   23 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   24 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   25 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   26 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   27 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rpciod/124+
   28 root      20   0       0      0      0 S   0.0  0.0   0:00.00 nfsiod/124+
  179 root      20   0   19424    552    548 S   0.0  0.0   0:00.32 upstart-ud+
  198 root      20   0   49212    728    724 S   0.0  0.0   0:00.05 systemd-ud+
  214 root      20   0  316656   6544   4652 S   0.0  0.0   0:01.61 smbd
  268 root      20   0  308704   2344    776 S   0.0  0.0   0:00.00 smbd
  271 root      20   0  316656   2712    832 S   0.0  0.0   0:01.13 smbd
  342 syslog    20   0  184188   7016    920 S   0.0  0.0   0:23.90 rsyslogd
  388 root      20   0   15472    460    456 S   0.0  0.0   0:00.34 upstart-so+
  390 root      20   0   15224    452    448 S   0.0  0.0   0:00.35 upstart-fi+
  407 root      20   0  231396   1656   1276 S   0.0  0.0   0:12.49 nmbd
  542 root      20   0  274520  19264  18332 S   0.0  0.1   0:07.76 sw-engine
  573 root      20   0   23600    980    764 S   0.0  0.0   0:00.76 cron
  604 mysql     20   0 2289212  77652   7992 S   0.0  0.5  75:12.04 mysqld
  653 root      20   0  177660   1832   1568 S   0.0  0.0   0:15.95 monit
  680 root      20   0   14940    916    816 S   0.0  0.0   0:01.07 xinetd
  759 root      20   0    4288    352    348 S   0.0  0.0   0:00.00 courierlog+
  760 root      20   0   25952   1160   1092 S   0.0  0.0   0:00.04 authdaemond
  763 root      20   0   34512   1656   1392 S   0.0  0.0   0:00.56 authdaemond
  764 root      20   0   34512   1664   1400 S   0.0  0.0   0:00.62 authdaemond
  765 root      20   0   34512   1656   1392 S   0.0  0.0   0:00.63 authdaemond
  766 root      20   0   34512   1704   1412 S   0.0  0.0   0:00.63 authdaemond
  767 root      20   0   34512   1664   1400 S   0.0  0.0   0:00.64 authdaemond
  791 root      20   0    4288    416    352 S   0.0  0.0   0:00.35 courierlog+
  792 root      20   0   12116    864    768 S   0.0  0.0   0:00.80 couriertcpd
  822 root      20   0    4288    436    352 S   0.0  0.0   0:00.01 courierlog+
  823 root      20   0   12116    864    768 S   0.0  0.0   0:00.03 couriertcpd
  862 root      20   0    4288    276    272 S   0.0  0.0   0:00.00 courierlog+
  864 root      20   0   12116    752    748 S   0.0  0.0   0:00.00 couriertcpd
  905 root      20   0    4288    276    272 S   0.0  0.0   0:00.00 courierlog+
  906 root      20   0   12116    752    748 S   0.0  0.0   0:00.00 couriertcpd
  953 bind      20   0  247616  14432   2328 S   0.0  0.1   0:07.27 named
 1039 postfix   20   0  402616   1824   1136 S   0.0  0.0   0:26.40 psa-pc-rem+
 1073 root      20   0   61328   2512   2376 S   0.0  0.0   0:03.83 sshd
 1316 root      20   0   25288   1512   1356 S   0.0  0.0   0:53.90 master
 1330 postfix   20   0   27520   1368   1276 S   0.0  0.0   0:00.37 qmgr
 1333 postfix   20   0   27520   1648   1424 S   0.0  0.0   0:36.73 qmgr
 1461 root      20   0  372700   2572    428 S   0.0  0.0   0:00.01 sw-engine-+
 1597 root      20   0   31376    392    200 S   0.0  0.0   0:00.00 sw-cp-serv+
 1598 sw-cp-s+  20   0   31916   1596   1248 S   0.0  0.0   0:00.04 sw-cp-serv+
 2759 root      20   0  286440  13808   5864 S   0.0  0.1   0:25.84 sw-engine
 2821 root      20   0  561876   2644    920 S   0.0  0.0   3:23.94 sw-collectd
 3009 root      20   0   12732    672    668 S   0.0  0.0   0:00.00 getty
 3015 root      20   0   12732    676    672 S   0.0  0.0   0:00.00 getty
 3914 postfix   20   0   40384   2792   2376 S   0.0  0.0   0:01.80 tlsmgr
 8473 popuser   20   0  142312  55660   2876 S   0.0  0.3   0:54.03 spamd child
10190 popuser   20   0   16288   2832    960 S   0.0  0.0   0:18.34 imapd
10192 root      20   0   12920   2308   1796 S   0.0  0.0   0:00.10 couriertls
10977 www-data  30  10  511736  41612  11324 S   0.0  0.2   1:00.01 /usr/sbin/+
19709 postfix   20   0   27352   1640   1328 S   0.0  0.0   0:00.01 pickup
20370 www-data  30  10  501724  39060  18424 S   0.0  0.2   0:04.01 /usr/sbin/+
20384 www-data  30  10  499060  28528  10656 S   0.0  0.2   0:02.17 /usr/sbin/+
20518 www-data  30  10  496508  34652  13928 S   0.0  0.2   0:00.70 /usr/sbin/+
20527 www-data  30  10  492032  17456   1216 S   0.0  0.1   0:00.00 /usr/sbin/+
20529 www-data  30  10  492032  17456   1216 S   0.0  0.1   0:00.00 /usr/sbin/+
20530 www-data  30  10  492032  17456   1216 S   0.0  0.1   0:00.00 /usr/sbin/+
20532 www-data  30  10  492032  17456   1216 S   0.0  0.1   0:00.00 /usr/sbin/+
20534 www-data  30  10  492032  17456   1216 S   0.0  0.1   0:00.00 /usr/sbin/+
20536 www-data  30  10  492032  17456   1216 S   0.0  0.1   0:00.00 /usr/sbin/+
20537 www-data  30  10  492032  17456   1216 S   0.0  0.1   0:00.00 /usr/sbin/+
20540 www-data  30  10  492032  17456   1216 S   0.0  0.1   0:00.00 /usr/sbin/+
20541 www-data  30  10  492032  17456   1216 S   0.0  0.1   0:00.00 /usr/sbin/+
20617 www-data  30  10  504428  40940  17820 S   0.0  0.2   0:02.38 /usr/sbin/+
20674 postfix   20   0   27352   1540   1244 S   0.0  0.0   0:00.00 anvil
20676 postfix   20   0   27496   2116   1664 S   0.0  0.0   0:00.02 trivial-re+
20717 www-data  30  10  506004  41308  16652 S   0.0  0.2   0:03.25 /usr/sbin/+
20796 www-data  30  10  499416  27028   8936 S   0.0  0.2   0:00.53 /usr/sbin/+
20798 www-data  30  10  492264  18568   2128 S   0.0  0.1   0:00.01 /usr/sbin/+
20799 www-data  30  10  492400  20492   3740 S   0.0  0.1   0:00.08 /usr/sbin/+
20800 www-data  30  10  496440  24436   7152 S   0.0  0.1   0:00.28 /usr/sbin/+
20802 www-data  30  10  501876  38656  16096 S   0.0  0.2   0:01.01 /usr/sbin/+
20803 www-data  30  10  504044  36620  13768 S   0.0  0.2   0:00.78 /usr/sbin/+
20804 www-data  30  10  496516  32708  11976 S   0.0  0.2   0:00.56 /usr/sbin/+
20805 www-data  30  10  498544  26412   9072 S   0.0  0.2   0:00.50 /usr/sbin/+
20806 www-data  30  10  492072  18320   2048 S   0.0  0.1   0:00.01 /usr/sbin/+
20808 www-data  30  10  492256  19504   3004 S   0.0  0.1   0:00.02 /usr/sbin/+
20809 www-data  30  10  492072  18320   2048 S   0.0  0.1   0:00.00 /usr/sbin/+
20812 www-data  30  10  492072  18320   2048 S   0.0  0.1   0:00.01 /usr/sbin/+
20817 www-data  30  10  492072  18320   2048 S   0.0  0.1   0:00.00 /usr/sbin/+
20818 www-data  30  10  492072  18320   2048 S   0.0  0.1   0:00.01 /usr/sbin/+
20819 www-data  30  10  492072  18324   2048 S   0.0  0.1   0:00.01 /usr/sbin/+
20820 www-data  30  10  492072  18328   2052 S   0.0  0.1   0:00.00 /usr/sbin/+
20821 www-data  30  10  496708  24820   7580 S   0.0  0.1   0:00.18 /usr/sbin/+
20822 www-data  30  10  492272  18688   2148 S   0.0  0.1   0:00.03 /usr/sbin/+
20823 www-data  30  10       0      0      0 Z   0.0  0.0   0:00.07 /usr/sbin/+
20825 www-data  30  10  492072  18324   2048 S   0.0  0.1   0:00.01 /usr/sbin/+
20826 www-data  30  10  492072  18320   2044 S   0.0  0.1   0:00.01 /usr/sbin/+
20827 www-data  30  10  497136  31320   9876 S   0.0  0.2   0:00.50 /usr/sbin/+
20828 www-data  30  10  492072  18324   2048 S   0.0  0.1   0:00.01 /usr/sbin/+
20829 www-data  30  10  492072  18316   2044 S   0.0  0.1   0:00.01 /usr/sbin/+
20831 www-data  30  10  492072  18328   2052 S   0.0  0.1   0:00.00 /usr/sbin/+
20841 root      20   0   99676   4140   3144 S   0.0  0.0   0:00.09 sshd
20842 sshd      20   0   62752   1556    800 S   0.0  0.0   0:00.02 sshd
21445 root      20   0  131712  25664   2316 S   0.0  0.2   0:42.41 /usr/sbin/+
28767 root      30  10  491984  33292  17080 S   0.0  0.2   1:24.24 /usr/sbin/+
28770 www-data  30  10  164064   9860    612 S   0.0  0.1   0:01.97 /usr/sbin/+

bzw. die dazugenhörigen Entwarnungen. Betroffen sind immer die Apache- und die MySQL-CPU-Auslastung. Der Hosteurope-Support vermutete, dass der Server Opfer eines Angriffs geworden ist. Gegen einen DDOS-Angriff spricht in meinen Augen, dass der Server selbst immer noch antwortet, Mails und statische Seiten problemlos funktionieren, nur die MySQL-Datenbanken nicht mehr antworten. Ich habe versucht, das Problem zu recherchieren, finde aber keine Hinweise auf Angreifer, die gezielt MySQL zum Absturz bringen.

Ist jemandem von euch schon mal so etwas untergekommen? Es fällt zeitlich ziemlich genau mit dem Abschluss geplanter Wartungsarbeiten zusammen, wobei ich nicht weiß, was genau dort gemacht worden ist. Ich habe die Serverpakete aktualisiert und in der Forensoftware den Overhead aus den Tabellen gelöscht, was jedoch keinen Effekt nach sich gezogen hätte. Die mangelnde Reproduzierbarkeit macht es nicht leichter, aber unser Forum ist im Moment ein gutes Drittel der Zeit nicht erreichbar, und ich würde viel lieber einen Nano schreiben, als mich damit rumschlagen zu müssen.

Eluin · 02. November 2016, 18:45:38

Hast du Statistiken zu Aufrufen? Also wie viele in einem gewissen Zeitraum? Vor allem im Bereich MySQL? Laut meinem Freund kann es sein, dass nur MySQL gezielt angegriffen wird.

Auf welcher MySQL-Version läuft das Forum? Kannst du hier oder per Mail mir bitte alle möglichen Statistiken zukommen lassen, die dir zur Verfügung stehen?

Maja · 02. November 2016, 18:52:11

Die Eckdaten unseres Servers:
Ubuntu 14.04LTS
Apache 2.4.7-1ubuntu4.13
MySQL 5.5.53-0ubuntu0.14.04.1

Ich schicke dir gleich alles nochmal per Mail. Logfiles suche ich gerade.

Eluin · 02. November 2016, 18:53:18

Danke!

Weitere Idee: Vielleicht sind die Indices in der Datenbank kaputt. Ggf. neu generieren lassen und schauen, ob das hilft? Suchabfragen dauern definitiv zu lange und ähm vielleicht sollten die - falls möglich - für Gäste erstmal ausgeschaltet werden?

Kaeptn · 02. November 2016, 19:11:55

Hi,

würde in eine ähnliche Kerbe schlagen wie meine Vorrednerin. Im PHPMYAdmin (sofern installiert) mal gucken, ob irgendeine Tabelle nicht mehr in Ordnung ist, alle mal reparieren/optimieren lassen.

Ich hatte mal das Problem, dass der Server lahmgelegt wurde, weil das Limit der MAX_USER_CONNECTIONS erreicht wurde. Du kannst dir im PHPMyAdmin unter Prozesse ansehen, wie viele laufen (vor allem, wenn der Server anfängt zu hinken wird's interessant).

Gruß

Ary · 02. November 2016, 19:22:15

Maja, hast du das Forum in den Wartungsmodus gesetzt?

Maja · 02. November 2016, 19:31:58

Zitat von: Aryana am 02. November 2016, 19:22:15
Maja, hast du das Forum in den Wartungsmodus gesetzt?

Ja. Ich habe einmal alle Foreneinstellungen resettet, falls das Forum Schuld ist.

Eluin · 02. November 2016, 19:34:54

Ergo nun mal abwarten, wie es reagiert? Hatte dir noch eine Mail geschickt.

Maja · 02. November 2016, 19:40:21

Ich habe gerade ein bisschen auf dem Server rumgewühlt und dabei diese Graphiken gefunden, die zeigen, wie sich die CPU-Auslastung durch MySQL entwickelt - die erste Graphik zeigt den Verlauf des heutigen Tages, die zweite den Wochenverlauf. Man sieht, wie die Spitzen ab Freitag plötzlich hochgehen.

Was interessant ist: Während ich in den Einstellungen war, ist das Forum wieder abgeschmiert - aber ein paar Minuten nachdem die MySQL-Werte so hoch waren. Während mein Browser minutenlang auf den Webseitenaufbau wartete (und das, wohlgemerkt, während das Forum im Wartungsmodus war, also praktisch keinerlei MySQL-Aktivität generierte), waren laut Plesk die Ressourcenwerte im grünen Bereich.

Ich habe das Forum jetzt auf "Output Compression" gestellt, was es vorher nicht war, und hoffe, dass das vielleicht hilft. Ansonsten sehen alle Tabellen normal aus - und ich denke auch, wenn die zerschossen wären, müsste das Forum andauernd streiken und nicht nur im Brunfttakt eines Goldhamsterweibchens.

Dafür habe ich einen neuen Verdächtigen ausgemacht und tagge einmal das liebe @RockSheep. Sie hat auf unserem Server Webspace, und als ich mich wunderte, warum das Paket in der Übersicht knatschrot angezeigt wurde, ist mir aufgefallen, dass sie ein Gigabyte Webspace zur Verfügung hat, aber 32 GB belegt (was mehr als zehn Prozent unseres Servers entspricht und größer ist als der gesamte Tintenzirkel). Könnt ihr mal schauen, was da los ist, und ob ihr einen Ressourcenfresser am Start habt? Danke!

[Dateianhang durch Administrator gelöscht]

Maja · 02. November 2016, 19:59:22

So, noch ein bisschen tiefer gewühlt ...

Die Schweizer sind sehr wahrscheinlich unschuldig an dem MySQL-Problem, dafür ist ihre Datenbank viel zu klein. Aber eine Bitte @RockSheep: Würdet ihr ein paar von euren Backups löschen? Ihr speichert seit März jeden Tag zweimal euren gesamten Webspace ab - und seid inzwischen bei über 30GB Backups angekommen ...

Maja · 02. November 2016, 20:01:24

Hoffentlich letzter Beitrag für jetzt (weil ich Hunger habe und heute noch schreiben muss - stattdessen bin ich seit heute Nachmittag mit dem Server zugange): Ist jemandem nach Ausführung des Repair-Scripts und der Umstellung auf komprimierte Ausgabe noch ein Ausfall untergekommen? Bei mir läuft gerade alles so, wie es soll.

Sprotte · 02. November 2016, 20:03:47

Bislang ist es friedlich.

Eluin · 02. November 2016, 20:10:00

Bislang kein Problem, mein Freund wirft nochmal einen Blick in die Log-Files. Ich habe aber als User gerade das Gefühl, es läuft flüssiger. Selbst als in den Zeiten, wo es in den letzten Tagen lief.

Maja · 02. November 2016, 20:13:57

Ich hatte gerade nochmal 45 Sekunden für einen Seitenaufbau. Die CPU-Werte waren dabei durchgehend unauffällig.

Maja · 02. November 2016, 20:16:38

Eine Graphik habe ich noch. Das ist die CPU-Auslastung durch Apache im Verlauf der vergangenen Woche.

[Dateianhang durch Administrator gelöscht]

Hilfe! Was legt unser Forum lahm?

Kaeptn

Sprotte