[Discuss] [Wien] Aufall OLSR gestern

Mi Dez 27 14:43:12 CET 2017

[discuss only]

Hallo allerseits. Es scheint als hätte es nicht nur EdgeRouter betroffen: eine AirOS-Antenne mit der alten Custom-Firmware von v5.5.9 am Nessus ging ebenfalls offline. Interessanterweise ist auch der ToughSwitch am nessus-roof (AirOS) zwar nur pingbar, aber nicht managebar (weder https, noch ssh reagieren).

Jedenfalls gibt es aktuell den EdgeRouter-OLSRd_V1 Wizard nun mit dem Feature "watchdog", der die eingefrorene/gestürtze olsrd-Instanz neu starten sollte. Ob das den gestrigen Vorfall abgefangen hätte, kann ich leider jetzt auch nicht sagen. Der watchdog ist im Wizard optional zu aktivieren (per default nicht aktiviert).

Folgende olsr IPv4-Adressen sind gestern zwischen 11:00 und 17:15 offline gegangen und seither nicht wieder online. Vermutlich nicht alle sind direkt betroffen, aber durch den Ausfall von Transitknoten (jed99, biss, …?) vom übrigen Netzwerk abgeschnitten.

2380grilanz => 78.41.118.148
JCN => 78.41.113.99
TD1 => 78.41.113.151
baer2 => 78.41.113.162
beindl4 => 193.238.156.14
beindl4 => 78.41.118.60
benni3d => 78.41.112.6
ber13 => 193.238.158.186
ber13 => 193.238.158.53
ber13 => 193.238.159.246
ber13 => 78.41.112.213
biss => 78.41.113.43
biss => 78.41.118.174
biss => 78.41.118.194
erlachp => 78.41.112.31
es112 => 78.41.112.204
es112 => 78.41.113.127
hag10 => 78.41.113.192
jed99 => 78.41.118.189
jed99 => 78.41.118.190
ley21 => 78.41.112.211
lora => 78.41.113.236
maxbrod => 78.41.118.177
mayerhofer2 => 78.41.113.185
men10 => 78.41.113.42
metalab => 78.41.112.119
muehl => 193.238.158.121
nussberg => 193.238.159.62
put24 => 193.238.158.144
put54 => 193.238.158.230
rosen2 => 193.238.159.253
rosen2 => 78.41.118.89
sche11 => 193.238.158.15
schenkich => 193.238.156.152
schenkich => 193.238.159.44
schenkich => 193.238.159.46
schenkich => 78.41.113.61
scho33 => 78.41.118.143
siegfried28 => 78.41.112.20
silber1 => 193.238.159.42
silber1 => 193.238.159.99
silber1 => 78.41.113.179
sir => 193.238.156.205
stern => 78.41.112.28
stern => 78.41.118.18
vor203 => 78.41.118.253
vor203 => 78.41.118.254
wpaeC501 => 78.41.113.85
wpaeC501 => 78.41.113.9
wrkch => 78.41.112.22
zahnrad1 => 193.238.159.43

LG, Pocki

-----Ursprüngliche Nachricht-----
Von: Wien [mailto:(spam-protected)] Im Auftrag von Erich N. Pekarek
Gesendet: Mittwoch, 27. Dezember 2017 12:31
An: Leo KLAMMER <(spam-protected)>; (spam-protected); (spam-protected)
Betreff: Re: [Wien] Aufall OLSR gestern

Hallo Leo!

Nach akkus Meldung habe ich mit ihm gerätselt, was die Ursache sein könnte. Anschließend habe ich mit vchrizz und pocki telefoniert.
Die Knoten, die pocki erretten konnte, waren über olsrv2 noch erreichbar
- außer jenen, die hinter garten94 liegen... .

Auf diese Weise und mit diesen Infos habe ich dann auch noch weiter gesucht, und, soweit mit ein Login zur Verfügung stand (eine handvoll Knoten), den olsrv1/ipv4 neu gestartet. Dabei ist mit aufgefallen, dass einige EdgeRouter die Session kurz nach dem Login abgebrochen haben:

„ free -packet_write_wait: Connection to 2a02:61:[...] port [...]: 
Broken pipe. “

Nach erneutem Login zeigten diese Nodes nur wenig freien Speicher (10-15 MB). Dort und nur dort -etwa biss- habe ich mir erlaubt, zu rebooten.
Da ja doch ein paar Knoten betroffen waren, würde ersuchen, dies im Auge zu behalten und weitere Informationen bereitzustellen - bitte dann aber auf der Diskuss-Liste.

Darüber hinaus würde ich mir wünschen, dass wir die Erreichbarkeit von Nodes via IPv6 weiter vorantreiben, und Komponenten, die das verhindern, in einer gemeinschaftlichen Aktion auswechseln. Es ist mir bewusst, dass das nicht überall einfach möglich ist, aber mit etwas gutem Willen ist es wohl machbar.

Der Vorfall zeigt aber auch, dass wir beim protokollübergreifenden Route-/Node-Monitoring besser zusammenarbeiten sollten. Etwa auch durch Zusammenführung der Maps, ebendort durch graphische Darstellung der Veränderung von Routen im Zeitverlauf, etc. Auch auf die Aktivierung von OLSR-Watchdogs wäre zu achten.

Vielleicht können wir ja das „Neujahrstreffen“ der Gruppe Wien-Süd diesem Zweck widmen. Der Termin wird wunschgemäß noch verschoben und hernach angekündigt.

LG
Erich

Am 2017-12-27 um 05:40 schrieb Leo KLAMMER:
> Hallo!!
>
> DANKE an alle Beteiligten für die rasche Lösung!!! 👏👏👍👍 is ja 
> nicht selbstverständlich an einem Weihnachtsfeiertag 👍👍👍🔝🔝🔝
>
> LG & guten Rutsch
> LK
>
>
>
> --
> Wien mailing list
> (spam-protected)
> https://lists.funkfeuer.at/mailman/listinfo/wien

--
Wien mailing list
(spam-protected)
https://lists.funkfeuer.at/mailman/listinfo/wien