Page 1 of 2

Backup des AMS 150 - Wie geht ihr vor?

Posted: Sun Jan 06, 2008 10:52
by Mr. Suicid
Einen schönen Sonntag wünsche ich erstmal,

und dann auch gleich zu meinem Problem/Vorhaben :)

Langsam aber sicher sammeln sich immer mehr Daten auf meinem AMS150 und eine durchdachte Backup Lösung wird immer unausweichlicher.
Aktuell habe ich immer mal wieder einen Abzug des AMS150 auf meine lokale Festplatte gemacht, was aber aufgrund der niedrigen Datenrate und der immerhin 200Gb an Daten sehr lange dauert und als dauerhafte Lösung nicht in Frage kommt.

Aktuell experimentiere ich mit "rsync" (von AMS150 -> externe Platte), dieses Tool überträgt nur die geänderten Daten zum letzten Backup und geht schon sehr viel fixer. Leider hatte ich das Gefühl das rsync aufgrund des begrenzten Hauptspeichers des AMS150 hin und wieder abstürzt was bei einem Backup natürlich fatal ist.

Meine Frage wäre nun wie ihr euer Backup des AMS150 macht?

Hatte auch schon überegt auf ein NAS umzusteigen welches eine Raid1 Funktion besitzt, hat das wer schon gemacht?

Freue mich über Anregungen...

Posted: Fri Jan 11, 2008 16:50
by matze
Hi Suicid,

ich benutze ebenfalls rsync. Ich sichere damit aber nicht auf eine lokale Festplatte (ich gehe mal, davon aus, dass du damit eine Platte in deinem Rechner meinst) weil mir das über meine WLAN-Verbindung auch mit rsync noch zu langsam wäre. Ich mache die Sicherung einfach auf eine externe USB-Festplatte, die direkt am AMS hängt. Für den einfachen Gebrauch habe ich das usb_backup.sh Script abgeändert, welches durch den Backup-Button ausgelöst wird - dort wird jetzt rsync verwendet, um in umgekehrte Richtung zu sichern, etwa so:

Code: Select all

rsync -arv --delete --modify-window=1 /mnt/Media/Music /mnt/usbdisk3-1/AMS150 > /mnt/Log/usb_backup.log 2>&1


... und anschließend wird die USB-Platte gleich wieder unmounted.

Der Ablauf einer Sicherung ist dann ganz einfach so:
- Externe Festplatte anschalten
- Backup-Button drücken und warten bis LED das Ende des Vorgangs verkündet
- Externe Festplatte ausschalten

Geht so wirklich recht fix und läuft bisher stabil. Allerdings habe ich noch nicht allzuviel Daten drauf. Abstürze wie von dir beschrieben, habe ich noch nicht bemerkt; kann mir aber natürlich gut vorstellen, dass das passieren könnte, wenn es mehr Daten werden :-(
RAID erscheint mir für meine bescheidenen Belange etwas übertrieben. Mit der USB-rsync-Lösung kann ich ganz einfach einen Stand festgelegter Verzeichnisse auf der AMS-Platte absichern/spiegeln, und zwar je nach Bedarf, also nachdem sich bspw. viel geändert hat. Das reicht mir so erstmal vollkommen aus (falls es nicht doch noch mal irgendwann zu Abstürzen von rsync kommen sollte).

Ich hatte hier auch schonmal was zum Backup geschrieben: http://forum.ts.fujitsu.com/digit ... php?t=6669
... das war jetzt also quasi die Fortsetzung :)

Posted: Fri Jan 11, 2008 17:05
by matze
... eeehm ... obwohl, eigentlich sollte WLAN 802.11g schneller sein als USB 2.0. Vielleicht nicht unter schlechten Empfangsbedingungen, aber prinzipiell doch. Oder nicht? Hehe, warum hab ich das also eigentlich gemacht? :? Naja, wenigstens ist das ganze Procedere jetzt von meinem Rechner entkoppelt.

Re:

Posted: Wed Jan 30, 2008 9:36
by Tighty
matze wrote:

Code: Select all

rsync -arv --delete --modify-window=1 /mnt/Media/Music /mnt/usbdisk3-1/AMS150 > /mnt/Log/usb_backup.log 2>&1



servus matze.

ich suche auch noch ne gute backuplösung und das was du da hast gefält mir SEHR gut! kannste mal ein howto Backup-Button-Hack schreiben, wo alle schritte schön erklärt sind? wo liegt den die .sh datei eigentlich?

hat schon mal jemand ein backup von nem bilderordner mit ein paar 1000 Dateien gemacht? klappt das mit so vielen dateien oder hängt sich das ding dann auf?

MFG TIGHTY

Re:

Posted: Wed Jan 30, 2008 12:10
by derbermoe
matze wrote:... eeehm ... obwohl, eigentlich sollte WLAN 802.11g schneller sein als USB 2.0. Vielleicht nicht unter schlechten Empfangsbedingungen, aber prinzipiell doch. Oder nicht? Hehe, warum hab ich das also eigentlich gemacht? :? Naja, wenigstens ist das ganze Procedere jetzt von meinem Rechner entkoppelt.


Das halte ich aber für ein starkes Gerücht. Selbst USB 1.1 zaubert meiner Erfahrung nach eine stabilere Verbindung als WLAN... :wink:

Re:

Posted: Wed Jan 30, 2008 15:44
by zaphod42
Tighty wrote:
matze wrote:

Code: Select all

rsync -arv --delete --modify-window=1 /mnt/Media/Music /mnt/usbdisk3-1/AMS150 > /mnt/Log/usb_backup.log 2>&1



servus matze.

ich suche auch noch ne gute backuplösung und das was du da hast gefält mir SEHR gut! kannste mal ein howto Backup-Button-Hack schreiben, wo alle schritte schön erklärt sind? wo liegt den die .sh datei eigentlich?


Das ist doch schon mal hier beschrieben worden...

Andere Frage (ich weiß, ich könnte auch googeln... :wink: ): Was bitte hast Du für eine Firmware auf dem AMS laufen? Was bitte ist eine stino FW?

Cheers,
Zap

Posted: Thu Jan 31, 2008 10:34
by Tighty
stino=STInk NOrmal :lol:

Posted: Thu Jan 31, 2008 21:11
by lochness
Kannte ich auch noch nicht :lol: ...

Jetzt bin ich aber enttäuscht, ich dachte Du hättest die "Zap&Nessie special Edition" drauf :wink: ... Oder ist das heute schon "stinknormal" :wink: ?

Re:

Posted: Thu Jan 31, 2008 21:17
by zaphod42
Tighty wrote:stino=STInk NOrmal :lol:


ROFL der war gut... :lol:

Re:

Posted: Thu Jan 31, 2008 21:18
by zaphod42
lochness wrote:Kannte ich auch noch nicht :lol: ...

Jetzt bin ich aber enttäuscht, ich dachte Du hättest die "Zap&Nessie special Edition" drauf :wink: ... Oder ist das heute schon "stinknormal" :wink: ?


Huch Nessie, hast Du unsere Special schon auf Deinen Server gelegt...? :shock:

:wink:

Re:

Posted: Thu Jan 31, 2008 23:53
by lochness
zaphod42 wrote:Huch Nessie, hast Du unsere Special schon auf Deinen Server gelegt...? :shock:
Don't panic ;-)...
Tighty hat doch die NFS-Spezialversion getestet, die ich aus Deiner FW-Extension gebaut habe. Die Spezial-Spezialversion ist ja noch nicht fertig :oops:, sorry... Keine Zeit dafür gehabt :wink: .

Posted: Fri Feb 01, 2008 0:40
by matze
Hallo,

sorry, ich war mal etwas abgetaucht, da mächtig im Stress. Und im Anschluss musste ich erstmal meine bescheidene PC-Freizeit dazu nutzen, dem "Ruf der Pflicht" ;-) zu folgen und ein Game durchzocken.

rsync für den AMS kann man hier fertig runterladen:
http://download.dsmg600.info/

Das binary muss man nun in die selbst modifzierten FW-Extensions bzw. die Zap-Extensions aufnehmen.

Hier habe ich sogar auch noch eine - aus meiner Sicht ältere - aber ich denke doch mal einwandfrei funktionierende 2.0-Beta-FW-Ext liegen, die den Vorteil hat, dass sie an Modifikation nix außer telnet und rsync enthält - wer es mal eben ausprobieren will.
http://m1979.de/ams150/FSC_231_rsync_telnetd.tgz

Sobald man Firmware mit telnet und rsync geladen hat, auf der AMS-Kommandozeile einfach mal rsync eingeben ...

Das Backup-Skript liegt unter /etc/rc.d/usb_backup.sh. Wenn man es verändern möchte, könnte man es mittels watch_prog (FW-Extensions) ersetzen. Das habe ich aber nicht gemacht - ich denke, das kann man dann mal machen, wenn man eine schöne Lösung hat. Damit ich das Skript jederzeit einfach anpassen kann, habe ich es von der RAM-Disk auf die AMS-Platte kopiert und setze (über watch_prog) einen symbolischen Link, etwa so:

Code: Select all

# replace existing usb_backup.sh with a modified usb_backup.sh
test -x /mnt/Extensions/bin/usb_backup.sh && ln -s -f /mnt/Extensions/bin/usb_backup.sh /etc/rc.d/usb_backup.sh


Ich habe das Skript erstmal nur grob an meine Bedürfnisse "hingefuscht" und (bisher noch) keine allgemeingültige/konfigurierbare Lösung dafür. Die wird aber vielleicht noch kommen und dann hoffentlich auch in die NessieZapSuperSpecialExtensions ;-) eingebaut werden. Als Anregung hier mal mein derzeitiges usb_backup.sh

Code: Select all

#!/bin/sh

[ ! -f /tmp/usb_backup ] && {
   touch /tmp/usb_backup
   TIMEZONE=`grep TZ /etc/config | cut -d"'" -f2`
   NOW_TIME=`TZ=$TIMEZONE date +%Y_%m_%d_%H%M`
   killall copy_button_led.sh
   x=1
   while [ "$x" -le "3" ]
   do      
      ifconfig eth0 backup_on 1
#      DEVICE=`/etc/rc.d/usb_info.sh | grep PORT21 | cut -d: -f1`
#      FOLDER=`grep $DEVICE /proc/mounts | cut -d" " -f2`
            
#    [ -n "$DEVICE" ] && [ -n "$FOLDER" ] &&
    {
          rsync -arv --delete --modify-window=1 /mnt/Media/Music /mnt/usbdisk3-1/AMS150 > /mnt/Log/usb_backup.log 2>&1
          if [ $? -eq 0 ] ; then
             echo "copy success!!"
             sleep 5                    
          else
             echo "copy fail"   
             /etc/rc.d/copy_button_led.sh&
          fi
          ifconfig eth0 backup_off 1
          break
      } || x=$(($x+1))
      
      ifconfig eth0 backup_off 1
      sleep 1
      
   done

   rm -f /tmp/usb_backup
   echo "removing /mnt/usbdisk3-1"
   /etc/rc.d/remove_usb.sh usbdisk3-1
}


Es erfolgt eine Spiegelung/Synchronisierung des Verzeichnisses /mnt/Media/Music in ein Verzeichnis auf der USB-Platte, anschließend wird die USB-Platte unmounted.

Tja, eine einfache, konfigurierbare Lösung muss also noch gefunden werden ... so brauch man natürlich Unix-Kenntnisse und muss wissen, wie die FW-Extensions modifiziert werden können. Ein hilfreicher Thread ist in jedem Fall http://forum.ts.fujitsu.com/digit ... php?t=6241

Per cronjob läuft es bei mir nicht, ich mache das nur bei Bedarf. Hat jemand einen cron erfolgreich auf dem AMS zu Laufen gebracht?

Re:

Posted: Fri Feb 01, 2008 7:18
by lochness
matze wrote:rsync für den AMS kann man hier fertig runterladen:
http://download.dsmg600.info/
Ja, da findet man viele Programme. Einige laufen aber nicht, wohl wegen dem uClibc Problem.

matze wrote:Das binary muss man nun in die selbst modifzierten FW-Extensions bzw. die Zap-Extensions aufnehmen.
"Muss" man ja nicht, wenn man telnet hat, kann man es auch so einspielen. Ich wollte bei mir ein eigenes Tools-Paket machen. Die Tools werden dann aber nicht auf die RAM-Disk kopiert, ist ja nicht nötig.

matze wrote:Hier habe ich sogar auch noch eine - aus meiner Sicht ältere - aber ich denke doch mal einwandfrei funktionierende 2.0-Beta-FW-Ext liegen, die den Vorteil hat, dass sie an Modifikation nix außer telnet und rsync enthält - wer es mal eben ausprobieren will.
http://m1979.de/ams150/FSC_231_rsync_telnetd.tgz
Nett gemeint, aber sorry, Matze, das wird nicht überall laufen :wink: . Ohne root-User kein telnet-Zugang... Das "bekannte" root-Passwort ist nur in Version 1.0 drin und wird beim Update beibehalten. Wenn man einmal mit Version 2.0 einen Reset gemacht hat, dann hat man ein neues Passwort und dann funktioniert das nicht mehr. Wir legen ja daher immer einen neuen User mit root-Rechten an. Der Code ist ja in Zap's Extension drin. Weiterhin sehen wir den copy in die RAM-Disk mittlerweile als kritisch an.

matze wrote:Tja, eine einfache, konfigurierbare Lösung muss also noch gefunden werden ... so brauch man natürlich Unix-Kenntnisse und muss wissen, wie die FW-Extensions modifiziert werden können.
Das mit dem Backup-Button-Script ist doch schon mal prima, vielleicht diskutieren wir mal im Chat eine allgemeingültige Lösung, die sich in das bisherige Konzept integrieren läßt. Wenn Du mal Zeit hast...

matze wrote:Per cronjob läuft es bei mir nicht, ich mache das nur bei Bedarf. Hat jemand einen cron erfolgreich auf dem AMS zu Laufen gebracht?
Triaxman hatte schon das Problem mit der nachgehenden Uhr aus FW 1.0 selbst über cron gelöst, cron selbst ist nicht das Problem. Seit FW 2.0 ist aber auf dem AMS ein cron drauf, der NTP macht, da müssten wir schauen, wie sich der für unsere Zwecke konfigurieren lässt oder ob wir einen zweiten brauchen. In FW 1.0 läuft, meine ich, kein cron. Ich denke aber, dass die Zielplattform AMS 2.0 ausreichend ist, oder?

Re:

Posted: Fri Feb 01, 2008 17:31
by matze
lochness wrote:Weiterhin sehen wir den copy in die RAM-Disk mittlerweile als kritisch an.

Ja, das mache ich inzwischen auch nicht mehr, ich verlinke nur, die Dateien liegen unter /mnt.

Ach, das Passwort-Problem hatte ich schon wieder verdrängt. Ja, dann nehme ich das tgz mal lieber da weg, damit sich das keiner kopiert.

lochness wrote:Ich denke aber, dass die Zielplattform AMS 2.0 ausreichend ist, oder?

Na klar... obwohl... wer weiß denn schon so genau, ob es eine 2.0 geben wird? ;-)

Re:

Posted: Sat Feb 02, 2008 14:51
by zaphod42
matze wrote:
lochness wrote:Weiterhin sehen wir den copy in die RAM-Disk mittlerweile als kritisch an.

Ja, das mache ich inzwischen auch nicht mehr, ich verlinke nur, die Dateien liegen unter /mnt.


Nun, kritisch ist es deswegen, weil die RAM Disk nicht gerade groß ist. Da kann es dann schon mal zu Engpässen kommen und der ganze AMS reagiert dann sehr... sagen wir mal... seltsam... ;-)

Das Verlinken auf /mnt hat halt den Nachteil, dass dann die Disk, zum Formatieren über die Web-Oberfläche, nicht dismounted werden kann, solange noch Prozesse (wie z.B. der telndetd) laufen (d.h., ein Format schlägt fehl). Unsere Erweiterungen sind ja nicht in den start/stop Mechanismus integriert.

Hier hoffen wir aber mit Nessies modularem FW-Extension Konzept eine Lösung zu bauen, die auch dies (und andere "Kleinigkeiten") berücksichtigt.

Cheers,
Zap