[Discuss] Google spidert mein Webinterface inkl. Firmwareupload

[Martin Mauerböck]

Für sowas gibt es robots.txt und Metatags in den HTML-Seiten.

http://www.robotstxt.org/

Sollte man auf jeden Fall einbauen in die Firmware.

lg
Martin 

> -----Ursprüngliche Nachricht-----
> Von: (spam-protected) 
> [mailto:(spam-protected)] Im Auftrag von 
> Harald Geyer
> Gesendet: Freitag, 07. März 2008 18:37
> An: (spam-protected)
> Betreff: [Discuss] Google spidert mein Webinterface inkl. 
> Firmwareupload
> 
> Hi!
> 
> Hab' gerade festgestellt, dass der googlebot das Webinterface 
> von einem meiner devices (pioneer1.haraldstestdevices) sehr 
> spannend findet.
> Vermutlich wird das bald im ganzen 0xff-Netz ein 
> Massenphänomen werden, weil die Router sind über die 
> Statusseite untereinander ja sehr gut verlinkt.
> 
> Wäre nicht weiter schlimm, wenn der googlebot nur das 
> Webinterface alle paar Tage einmal besuchen würde, aber 
> leider versucht er auch die Binärdaten zu sammeln - hab' ihn 
> gerade dabei erwischt wie er die 7te Variante der Firmware 
> geholt hat. Ist nur eine Frage der Zeit und der Bandbreite, 
> bis er auch den /dev/zero download probiert...
> 
> Für's erste hab' ich einmal den ip-Bereich der googlebots gesperrt:
> iptables -I INPUT -s 66.249.64.0/19 -j DROP davon sollte die 
> google Website nicht betroffen sein, weil die verwendet einen 
> anderen ip-Bereich. Vielleicht sollten künftige Firmwares 
> (oder ein ipkg) ein robots.txt installieren...
> 
> Liebe Grüße,
> Harald
> 
>