Backup des AMS 150 - Wie geht ihr vor?

GRUNDLAGEN

Moderator: ModTeam

Mr. Suicid
Posts: 87
Joined: Fri Dec 17, 2004 1:00

Backup des AMS 150 - Wie geht ihr vor?

Postby Mr. Suicid » Sun Jan 06, 2008 10:52

Einen schönen Sonntag wünsche ich erstmal,

und dann auch gleich zu meinem Problem/Vorhaben :)

Langsam aber sicher sammeln sich immer mehr Daten auf meinem AMS150 und eine durchdachte Backup Lösung wird immer unausweichlicher.
Aktuell habe ich immer mal wieder einen Abzug des AMS150 auf meine lokale Festplatte gemacht, was aber aufgrund der niedrigen Datenrate und der immerhin 200Gb an Daten sehr lange dauert und als dauerhafte Lösung nicht in Frage kommt.

Aktuell experimentiere ich mit "rsync" (von AMS150 -> externe Platte), dieses Tool überträgt nur die geänderten Daten zum letzten Backup und geht schon sehr viel fixer. Leider hatte ich das Gefühl das rsync aufgrund des begrenzten Hauptspeichers des AMS150 hin und wieder abstürzt was bei einem Backup natürlich fatal ist.

Meine Frage wäre nun wie ihr euer Backup des AMS150 macht?

Hatte auch schon überegt auf ein NAS umzusteigen welches eine Raid1 Funktion besitzt, hat das wer schon gemacht?

Freue mich über Anregungen...
Activy Media Center 330 - Kabel
Firmware: 1.6.115

matze
Posts: 68
Joined: Wed Sep 19, 2007 14:56
Product(s): AMP 150 1.03.28eu

Postby matze » Fri Jan 11, 2008 16:50

Hi Suicid,

ich benutze ebenfalls rsync. Ich sichere damit aber nicht auf eine lokale Festplatte (ich gehe mal, davon aus, dass du damit eine Platte in deinem Rechner meinst) weil mir das über meine WLAN-Verbindung auch mit rsync noch zu langsam wäre. Ich mache die Sicherung einfach auf eine externe USB-Festplatte, die direkt am AMS hängt. Für den einfachen Gebrauch habe ich das usb_backup.sh Script abgeändert, welches durch den Backup-Button ausgelöst wird - dort wird jetzt rsync verwendet, um in umgekehrte Richtung zu sichern, etwa so:

Code: Select all

rsync -arv --delete --modify-window=1 /mnt/Media/Music /mnt/usbdisk3-1/AMS150 > /mnt/Log/usb_backup.log 2>&1


... und anschließend wird die USB-Platte gleich wieder unmounted.

Der Ablauf einer Sicherung ist dann ganz einfach so:
- Externe Festplatte anschalten
- Backup-Button drücken und warten bis LED das Ende des Vorgangs verkündet
- Externe Festplatte ausschalten

Geht so wirklich recht fix und läuft bisher stabil. Allerdings habe ich noch nicht allzuviel Daten drauf. Abstürze wie von dir beschrieben, habe ich noch nicht bemerkt; kann mir aber natürlich gut vorstellen, dass das passieren könnte, wenn es mehr Daten werden :-(
RAID erscheint mir für meine bescheidenen Belange etwas übertrieben. Mit der USB-rsync-Lösung kann ich ganz einfach einen Stand festgelegter Verzeichnisse auf der AMS-Platte absichern/spiegeln, und zwar je nach Bedarf, also nachdem sich bspw. viel geändert hat. Das reicht mir so erstmal vollkommen aus (falls es nicht doch noch mal irgendwann zu Abstürzen von rsync kommen sollte).

Ich hatte hier auch schonmal was zum Backup geschrieben: http://forum.ts.fujitsu.com/digit ... php?t=6669
... das war jetzt also quasi die Fortsetzung :)

matze
Posts: 68
Joined: Wed Sep 19, 2007 14:56
Product(s): AMP 150 1.03.28eu

Postby matze » Fri Jan 11, 2008 17:05

... eeehm ... obwohl, eigentlich sollte WLAN 802.11g schneller sein als USB 2.0. Vielleicht nicht unter schlechten Empfangsbedingungen, aber prinzipiell doch. Oder nicht? Hehe, warum hab ich das also eigentlich gemacht? :? Naja, wenigstens ist das ganze Procedere jetzt von meinem Rechner entkoppelt.

Tighty
Posts: 13
Joined: Mon Nov 26, 2007 11:37

Re:

Postby Tighty » Wed Jan 30, 2008 9:36

matze wrote:

Code: Select all

rsync -arv --delete --modify-window=1 /mnt/Media/Music /mnt/usbdisk3-1/AMS150 > /mnt/Log/usb_backup.log 2>&1



servus matze.

ich suche auch noch ne gute backuplösung und das was du da hast gefält mir SEHR gut! kannste mal ein howto Backup-Button-Hack schreiben, wo alle schritte schön erklärt sind? wo liegt den die .sh datei eigentlich?

hat schon mal jemand ein backup von nem bilderordner mit ein paar 1000 Dateien gemacht? klappt das mit so vielen dateien oder hängt sich das ding dann auf?

MFG TIGHTY
AMS 150 1TB WD10EARS :-)
Fritzbox 7170 Firmware 29.04.80
Samsung LE40C6540

http://sig.sysprofile.de/quicksys/sysp-138061.png

derbermoe
Posts: 83
Joined: Wed Nov 21, 2007 20:13
Product(s): AMS150 V2.00 plus FSC-Extensions V231 mit Twonky 4.4.5 und
Next FW ;-)
Fritzbox 7270
Pinnacle Soundbridge Home Music
Xbox mit XBMC
Location: Velbert
Contact:

Re:

Postby derbermoe » Wed Jan 30, 2008 12:10

matze wrote:... eeehm ... obwohl, eigentlich sollte WLAN 802.11g schneller sein als USB 2.0. Vielleicht nicht unter schlechten Empfangsbedingungen, aber prinzipiell doch. Oder nicht? Hehe, warum hab ich das also eigentlich gemacht? :? Naja, wenigstens ist das ganze Procedere jetzt von meinem Rechner entkoppelt.


Das halte ich aber für ein starkes Gerücht. Selbst USB 1.1 zaubert meiner Erfahrung nach eine stabilere Verbindung als WLAN... :wink:
-------
Es gibt 10 Sorten von Menschen. Die
einen können binär zählen, die anderen nicht.

User avatar
zaphod42
Posts: 312
Joined: Fri Aug 31, 2007 17:14
Product(s): No FSC Products any more...
Location: Nürnberg

Re:

Postby zaphod42 » Wed Jan 30, 2008 15:44

Tighty wrote:
matze wrote:

Code: Select all

rsync -arv --delete --modify-window=1 /mnt/Media/Music /mnt/usbdisk3-1/AMS150 > /mnt/Log/usb_backup.log 2>&1



servus matze.

ich suche auch noch ne gute backuplösung und das was du da hast gefält mir SEHR gut! kannste mal ein howto Backup-Button-Hack schreiben, wo alle schritte schön erklärt sind? wo liegt den die .sh datei eigentlich?


Das ist doch schon mal hier beschrieben worden...

Andere Frage (ich weiß, ich könnte auch googeln... :wink: ): Was bitte hast Du für eine Firmware auf dem AMS laufen? Was bitte ist eine stino FW?

Cheers,
Zap
Das Universum dehnt sich ständig aus und ich finde immer noch keinen Parkplatz... (Harald Lesch)

Programming is like s*e*x, one mistake and you have to support it for the rest of your life... (Mike Sinz, aus alten Commodore Zeiten...)

Tighty
Posts: 13
Joined: Mon Nov 26, 2007 11:37

Postby Tighty » Thu Jan 31, 2008 10:34

stino=STInk NOrmal :lol:
AMS 150 1TB WD10EARS :-)
Fritzbox 7170 Firmware 29.04.80
Samsung LE40C6540

http://sig.sysprofile.de/quicksys/sysp-138061.png

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Postby lochness » Thu Jan 31, 2008 21:11

Kannte ich auch noch nicht :lol: ...

Jetzt bin ich aber enttäuscht, ich dachte Du hättest die "Zap&Nessie special Edition" drauf :wink: ... Oder ist das heute schon "stinknormal" :wink: ?

User avatar
zaphod42
Posts: 312
Joined: Fri Aug 31, 2007 17:14
Product(s): No FSC Products any more...
Location: Nürnberg

Re:

Postby zaphod42 » Thu Jan 31, 2008 21:17

Tighty wrote:stino=STInk NOrmal :lol:


ROFL der war gut... :lol:
Das Universum dehnt sich ständig aus und ich finde immer noch keinen Parkplatz... (Harald Lesch)

Programming is like s*e*x, one mistake and you have to support it for the rest of your life... (Mike Sinz, aus alten Commodore Zeiten...)

User avatar
zaphod42
Posts: 312
Joined: Fri Aug 31, 2007 17:14
Product(s): No FSC Products any more...
Location: Nürnberg

Re:

Postby zaphod42 » Thu Jan 31, 2008 21:18

lochness wrote:Kannte ich auch noch nicht :lol: ...

Jetzt bin ich aber enttäuscht, ich dachte Du hättest die "Zap&Nessie special Edition" drauf :wink: ... Oder ist das heute schon "stinknormal" :wink: ?


Huch Nessie, hast Du unsere Special schon auf Deinen Server gelegt...? :shock:

:wink:
Das Universum dehnt sich ständig aus und ich finde immer noch keinen Parkplatz... (Harald Lesch)

Programming is like s*e*x, one mistake and you have to support it for the rest of your life... (Mike Sinz, aus alten Commodore Zeiten...)

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Re:

Postby lochness » Thu Jan 31, 2008 23:53

zaphod42 wrote:Huch Nessie, hast Du unsere Special schon auf Deinen Server gelegt...? :shock:
Don't panic ;-)...
Tighty hat doch die NFS-Spezialversion getestet, die ich aus Deiner FW-Extension gebaut habe. Die Spezial-Spezialversion ist ja noch nicht fertig :oops:, sorry... Keine Zeit dafür gehabt :wink: .

matze
Posts: 68
Joined: Wed Sep 19, 2007 14:56
Product(s): AMP 150 1.03.28eu

Postby matze » Fri Feb 01, 2008 0:40

Hallo,

sorry, ich war mal etwas abgetaucht, da mächtig im Stress. Und im Anschluss musste ich erstmal meine bescheidene PC-Freizeit dazu nutzen, dem "Ruf der Pflicht" ;-) zu folgen und ein Game durchzocken.

rsync für den AMS kann man hier fertig runterladen:
http://download.dsmg600.info/

Das binary muss man nun in die selbst modifzierten FW-Extensions bzw. die Zap-Extensions aufnehmen.

Hier habe ich sogar auch noch eine - aus meiner Sicht ältere - aber ich denke doch mal einwandfrei funktionierende 2.0-Beta-FW-Ext liegen, die den Vorteil hat, dass sie an Modifikation nix außer telnet und rsync enthält - wer es mal eben ausprobieren will.
http://m1979.de/ams150/FSC_231_rsync_telnetd.tgz

Sobald man Firmware mit telnet und rsync geladen hat, auf der AMS-Kommandozeile einfach mal rsync eingeben ...

Das Backup-Skript liegt unter /etc/rc.d/usb_backup.sh. Wenn man es verändern möchte, könnte man es mittels watch_prog (FW-Extensions) ersetzen. Das habe ich aber nicht gemacht - ich denke, das kann man dann mal machen, wenn man eine schöne Lösung hat. Damit ich das Skript jederzeit einfach anpassen kann, habe ich es von der RAM-Disk auf die AMS-Platte kopiert und setze (über watch_prog) einen symbolischen Link, etwa so:

Code: Select all

# replace existing usb_backup.sh with a modified usb_backup.sh
test -x /mnt/Extensions/bin/usb_backup.sh && ln -s -f /mnt/Extensions/bin/usb_backup.sh /etc/rc.d/usb_backup.sh


Ich habe das Skript erstmal nur grob an meine Bedürfnisse "hingefuscht" und (bisher noch) keine allgemeingültige/konfigurierbare Lösung dafür. Die wird aber vielleicht noch kommen und dann hoffentlich auch in die NessieZapSuperSpecialExtensions ;-) eingebaut werden. Als Anregung hier mal mein derzeitiges usb_backup.sh

Code: Select all

#!/bin/sh

[ ! -f /tmp/usb_backup ] && {
   touch /tmp/usb_backup
   TIMEZONE=`grep TZ /etc/config | cut -d"'" -f2`
   NOW_TIME=`TZ=$TIMEZONE date +%Y_%m_%d_%H%M`
   killall copy_button_led.sh
   x=1
   while [ "$x" -le "3" ]
   do      
      ifconfig eth0 backup_on 1
#      DEVICE=`/etc/rc.d/usb_info.sh | grep PORT21 | cut -d: -f1`
#      FOLDER=`grep $DEVICE /proc/mounts | cut -d" " -f2`
            
#    [ -n "$DEVICE" ] && [ -n "$FOLDER" ] &&
    {
          rsync -arv --delete --modify-window=1 /mnt/Media/Music /mnt/usbdisk3-1/AMS150 > /mnt/Log/usb_backup.log 2>&1
          if [ $? -eq 0 ] ; then
             echo "copy success!!"
             sleep 5                    
          else
             echo "copy fail"   
             /etc/rc.d/copy_button_led.sh&
          fi
          ifconfig eth0 backup_off 1
          break
      } || x=$(($x+1))
      
      ifconfig eth0 backup_off 1
      sleep 1
      
   done

   rm -f /tmp/usb_backup
   echo "removing /mnt/usbdisk3-1"
   /etc/rc.d/remove_usb.sh usbdisk3-1
}


Es erfolgt eine Spiegelung/Synchronisierung des Verzeichnisses /mnt/Media/Music in ein Verzeichnis auf der USB-Platte, anschließend wird die USB-Platte unmounted.

Tja, eine einfache, konfigurierbare Lösung muss also noch gefunden werden ... so brauch man natürlich Unix-Kenntnisse und muss wissen, wie die FW-Extensions modifiziert werden können. Ein hilfreicher Thread ist in jedem Fall http://forum.ts.fujitsu.com/digit ... php?t=6241

Per cronjob läuft es bei mir nicht, ich mache das nur bei Bedarf. Hat jemand einen cron erfolgreich auf dem AMS zu Laufen gebracht?

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Re:

Postby lochness » Fri Feb 01, 2008 7:18

matze wrote:rsync für den AMS kann man hier fertig runterladen:
http://download.dsmg600.info/
Ja, da findet man viele Programme. Einige laufen aber nicht, wohl wegen dem uClibc Problem.

matze wrote:Das binary muss man nun in die selbst modifzierten FW-Extensions bzw. die Zap-Extensions aufnehmen.
"Muss" man ja nicht, wenn man telnet hat, kann man es auch so einspielen. Ich wollte bei mir ein eigenes Tools-Paket machen. Die Tools werden dann aber nicht auf die RAM-Disk kopiert, ist ja nicht nötig.

matze wrote:Hier habe ich sogar auch noch eine - aus meiner Sicht ältere - aber ich denke doch mal einwandfrei funktionierende 2.0-Beta-FW-Ext liegen, die den Vorteil hat, dass sie an Modifikation nix außer telnet und rsync enthält - wer es mal eben ausprobieren will.
http://m1979.de/ams150/FSC_231_rsync_telnetd.tgz
Nett gemeint, aber sorry, Matze, das wird nicht überall laufen :wink: . Ohne root-User kein telnet-Zugang... Das "bekannte" root-Passwort ist nur in Version 1.0 drin und wird beim Update beibehalten. Wenn man einmal mit Version 2.0 einen Reset gemacht hat, dann hat man ein neues Passwort und dann funktioniert das nicht mehr. Wir legen ja daher immer einen neuen User mit root-Rechten an. Der Code ist ja in Zap's Extension drin. Weiterhin sehen wir den copy in die RAM-Disk mittlerweile als kritisch an.

matze wrote:Tja, eine einfache, konfigurierbare Lösung muss also noch gefunden werden ... so brauch man natürlich Unix-Kenntnisse und muss wissen, wie die FW-Extensions modifiziert werden können.
Das mit dem Backup-Button-Script ist doch schon mal prima, vielleicht diskutieren wir mal im Chat eine allgemeingültige Lösung, die sich in das bisherige Konzept integrieren läßt. Wenn Du mal Zeit hast...

matze wrote:Per cronjob läuft es bei mir nicht, ich mache das nur bei Bedarf. Hat jemand einen cron erfolgreich auf dem AMS zu Laufen gebracht?
Triaxman hatte schon das Problem mit der nachgehenden Uhr aus FW 1.0 selbst über cron gelöst, cron selbst ist nicht das Problem. Seit FW 2.0 ist aber auf dem AMS ein cron drauf, der NTP macht, da müssten wir schauen, wie sich der für unsere Zwecke konfigurieren lässt oder ob wir einen zweiten brauchen. In FW 1.0 läuft, meine ich, kein cron. Ich denke aber, dass die Zielplattform AMS 2.0 ausreichend ist, oder?

matze
Posts: 68
Joined: Wed Sep 19, 2007 14:56
Product(s): AMP 150 1.03.28eu

Re:

Postby matze » Fri Feb 01, 2008 17:31

lochness wrote:Weiterhin sehen wir den copy in die RAM-Disk mittlerweile als kritisch an.

Ja, das mache ich inzwischen auch nicht mehr, ich verlinke nur, die Dateien liegen unter /mnt.

Ach, das Passwort-Problem hatte ich schon wieder verdrängt. Ja, dann nehme ich das tgz mal lieber da weg, damit sich das keiner kopiert.

lochness wrote:Ich denke aber, dass die Zielplattform AMS 2.0 ausreichend ist, oder?

Na klar... obwohl... wer weiß denn schon so genau, ob es eine 2.0 geben wird? ;-)

User avatar
zaphod42
Posts: 312
Joined: Fri Aug 31, 2007 17:14
Product(s): No FSC Products any more...
Location: Nürnberg

Re:

Postby zaphod42 » Sat Feb 02, 2008 14:51

matze wrote:
lochness wrote:Weiterhin sehen wir den copy in die RAM-Disk mittlerweile als kritisch an.

Ja, das mache ich inzwischen auch nicht mehr, ich verlinke nur, die Dateien liegen unter /mnt.


Nun, kritisch ist es deswegen, weil die RAM Disk nicht gerade groß ist. Da kann es dann schon mal zu Engpässen kommen und der ganze AMS reagiert dann sehr... sagen wir mal... seltsam... ;-)

Das Verlinken auf /mnt hat halt den Nachteil, dass dann die Disk, zum Formatieren über die Web-Oberfläche, nicht dismounted werden kann, solange noch Prozesse (wie z.B. der telndetd) laufen (d.h., ein Format schlägt fehl). Unsere Erweiterungen sind ja nicht in den start/stop Mechanismus integriert.

Hier hoffen wir aber mit Nessies modularem FW-Extension Konzept eine Lösung zu bauen, die auch dies (und andere "Kleinigkeiten") berücksichtigt.

Cheers,
Zap
Das Universum dehnt sich ständig aus und ich finde immer noch keinen Parkplatz... (Harald Lesch)

Programming is like s*e*x, one mistake and you have to support it for the rest of your life... (Mike Sinz, aus alten Commodore Zeiten...)


Return to “Basics”

Who is online

Users browsing this forum: No registered users and 0 guests

cron