HowTo: NExtFW-Paket backupbutton auf AMS

TIPPS UND TRICKS, FAQ

Moderator: ModTeam

Deine Meinung zum NExt backupbutton Paket

Ich setze backupbutton heute ein
16
70%
Ich werde es installieren, wenn die Version nicht mehr Beta ist
3
13%
Momentan brauche ich backupbutton nicht, vielleicht später mal
3
13%
Ich habe kein Interesse an backupbutton oder habe nur einen SBLAN2
1
4%
Ich werde keine modifizierten Firmware-Extensions einsetzen
0
No votes
 
Total votes: 23

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

HowTo: NExtFW-Paket backupbutton auf AMS

Postby lochness » Sun Jul 06, 2008 21:58

==================================================================================
Download: http://mai-computerhilfe.de/NExt/Addons/
Aktuelles Paket: NEXT_backupbutton--1.01--FSC_231.tgz
Aktuelles Readme (EN): NEXT_backupbutton--1.01--readme.txt
Aktuelles Readme (DE): NEXT_backupbutton--1.01--readme_de.txt

==================================================================================

Diese Software ist ausschließlich dazu bestimmt, mit den "NExt" Firmware Extensions für AMS150 und kompatible NAS Geräte genutzt zu werden.

WICHTIG:
Um dieses Paket nutzen zu können, muss vorher das "NExtFW Base" Paket installiert werden.

INSTALLATION DES PAKETES:
Das Paket kann über das Admin-GUI des Gerätes installiert werden ("Wartung" - "Firmware-Erweiterungen laden") / ("Maintenance" - load firmware extensions") oder über ein Netzwerklaufwerk. Das Admin-GUI erreichen Sie unter http://<NAME_DES_GERÄTES> oder http://<IP_ADRESSE_DES_GERÄTES>.
Informationen zur Version des Paketes erhalten Sie auf der "NExtFW" Statusseite. Diese erreichen Sie im Admin-GUI, nachdem Sie das "NextFW Base"
Paket installiert haben. Alternativ können Sie auch das NEXT_webadmin Paket installieren, das mehr Funktionalität bietet.

WICHTIG: Bitte beachten Sie, dass eine Installation der original Firmware Extensions die "NExt" Firmware Extensions nicht vollständig deinstalliert. Bitte installieren Sie zum Entfernen der Extensions das "NExtFW cleanup" Paket, welches die Extensions vollständig löscht oder formatieren Sie die Festplatte.
(!!! dabei gehen alle Daten verloren !!!)
Einzelne Pakete können über das NEXT_webadmin Paket oder per Kommandozeile deinstalliert werden.

PAKETINHALT:
Diese Erweiterung fügt ein Backupbutton Script hinzu und ändert die Richtung des Kopiervorgangs des Backup-Knopfes. Die Daten werden von der internen
Festplatte auf die eSATA oder USB Festplatte gesichert. Wenn die Erweiterung läuft („running“, zu sehen auf der NExt Statusseite), finden die Backups in der
oben genannten Richtung statt. Wenn die Erweiterung gestoppt ist („stopped“ oder „not running“, zu sehen auf der NExt Statusseite), können externe Medien auf das Gerät gesichert werden. Das Starten und Stoppen erfolgt auf der Webadmin Statusseite. Das Script nutzt standardmäßig das rsync Tool für
Backups.

Eine neue Funktion ist die Konfigurationsdatei. Man kann, muss aber nicht ;-), die Konfiguration nach seinen Bedürfnissen anpassen. Um auf die Konfigurationsdatei zuzugreifen, kann man telnet/ssh verwenden und in der Shell arbeiten, oder man benutzt das !access_next Feature der NExt Base und editiert die Datei von einem PC aus (siehe http://forum.ts.fujitsu.com/digitalh ... 276#p45276 ).
Bitte stellen Sie sicher, dass Sie dazu einen PC-Editor verwenden, der das Linux Format unterstützt, anderenfalls wird die Konfiguration fehlschlagen.
Eine Beschreibung der Parameter befindet sich in den Kommentaren der Datei /mnt/.zap/etc/backupbutton.conf . Die Original-Einstellungen findet man
sicherheitshalber noch mal in der Datei /mnt/.zap/etc/backupbutton.conf.rsync . Diese Datei wird nicht von der Backup-Prozedur verwendet, aber damit kann die Konfiguration restauriert werden, wenn nach dem Ändern der Datei Probleme auftreten sollten.
Das standardmäßige Verhalten ist folgendermaßen:
Alle auf dem NAS freigegebenen Ordner werden auf das externe Gerät gesichert.
Die externen Geräte werden in folgender Reihenfolge abgearbeitet:
eSATA, USB ports
Der Ordner auf dem externen Gerät heisst "full_backup_<HOSTNAME>", wobei HOSTNAME der Name des NAS ist, beispielsweise "AMS150". Mit Hilfe des "rsync"
Kommandos wird eine Spiegel-Kopie angelegt, das bedeutet, dass nur neue Dateien synchronisiert werden, aber Dateien, die nicht mehr länger existieren, werden auch gelöscht. Eine Log-Datei wird nach /mnt/.zap/tmp/backuplogs geschrieben, sie heisst "full_backup_<HOSTNAME>_<TIMESTAMP>.log". Bitte schauen Sie in die Backup-Log-Datei um ein detailliertes Protokoll des Backup-Ablaufs zu erhalten.

Danke an den Benutzer "Kane" des Digital Home Forums für die erste Version des Scripts.

ÄNDERUNGEN:
Version 1.01:
- Neues Feature: Wenn der einzelne Zielordner noch nicht existiert, wird automatisch cpnext verwendet statt rsync weil es viel schneller ist. Für eine
"richtige" Synchronisation wird rsync verwendet, dieser ist langsam, aber hoffentlich sind die meisten Dateien dann schon synchronisiert.
Falls cpnext nicht installiert ist (weil die Base zu alt ist) wird wie üblich rsync verwendet.
- Zu den Standardoptionen von rsync "-l" und "-H" hinzugefügt, um Links richtig sichern zu können.
- backupbutton.conf.rsync und backupbutton.conf.cpnext werden nicht mehr länger ausgeliefert.
- Die backupbutton.conf.default Datei wird wieder mit ausgeliefert.
Version 1.00:
- final Version
- deutsches Readme, Änderungen in den Readme-Dateien
- optionalen Support von cpnext anstelle von rsync hinzugefügt
- Neu: zwei Möglichkeiten für Konfigurationsdateien, backupbutton.conf.rsync und backupbutton.conf.cpnext
- rsync Optionen waren unvollständig, die Optionen "ogp" um den Owner, die und die Zugriffsrechte zu erhalten, haben gefehlt
- die Logdateien wurden sehr groß, daher ist die Option "-v" jetzt standardmäßig ausgeschaltet, sie kann mit VERBOSE=1 in der Konfigurationsdatei wieder eingeschaltet werden
Version 0.95:
- Problem behoben, dass die Ordnerstruktur nicht erhalten geblieben ist, wenn man Unterordner in der BACKUP_FOLDER Liste konfiguriert hatte
Version 0.96:
- Problem behoben, dass aufgetreten ist, wenn die SKIP_FOLDERS oder BACKUP_FOLDERS Listen mehr als einen Eintrag hatten
Version 0.97:
- neue Konfigurationsdatei
- neue Skip-Liste, um einige freigegebene Ordner zu überspringen, und neue Positivliste, um die freigegebenen Ordner einzustellen, die gesichert werden
sollen
- Standardmäßig wird nun immer in den gleichen Ordner gesichert
- ein weiteres USB-Gerät hinzugefügt
- alle Bildschirmausgaben in eine Logdatei umgeleitet
Version 0.98:
- Problem in pkginfo Datei behoben, die Paket-Plattform wurde nicht richtig angezeigt
Version 0.99:
- erstes Beta-Release

VORAUSSETZUNGEN:
- Um cpnext nutzen zu können, muss die NExt Base 1.0.04/2.0.04 oder neuer installiert werden.

PROBLEME UND EINSCHRÄNKUNGEN:
- Stellen Sie sicher, dass die Zielfestplatte groß genug ist für die zu sichernden Daten.
- Die Speichermedien werden in folgender Reihenfolge geprüft: eSATA, USB Ports oder die Reihenfolge kann in der Konfigurationsdatei festgelegt werden.
- Die Konfigurationsdatei wird bei der Deinstallation gelöscht und bei einer Überinstallation überschrieben, bitte sichern Sie die Datei selbst wenn Sie sie noch benötigen.
- cpnext ist aufgrund von Einschränkungen zum Synchronisieren existierender Dateibäume nicht geeignet.

Diese Software wird in der vorliegenden Form, ohne Gewähr auf Funktion, bereitgestellt. Für eventuelle Schäden, die durch die Benutzung der Erweiterungen entstehen können, können wir nicht haftbar gemacht werden.
Die Benutzung der Software geschieht auf eigenes Risiko.

Viel Spaß,
lochness und das ganze NExtFW Team

==================================================================================


This software is intended to be used with the "NExt" Firmware Extensions for AMS150 and compatible NAS devices only.

IMPORTANT:
To use this package you will need to install the NExtFW base package first!

HOW TO INSTALL THIS PACKAGE:
The package can be installed via the Admin-GUI of the device ("Maintenance" - "load firmware extensions") or via network share. You can reach the Admin-GUI at http://<NAME_OF_THE_DEVICE> or http://<IP_ADDRESS_OF_THE_DEVICE>. Version information for this package is displayed via the "NExtFW" status page which you can reach via Admin-GUI right after you have installed the base package. Alternatively, you can install the NEXT_webadmin package with more functionality.

IMPORTANT: Please note that installing the original Firmware Extensions will not automatically deinstall the "NExt" Firmware Extensions completely.
Please install the NExtFW cleanup package provided by NExt or format the hard disk (loosing all data!) to get rid of the Firmware Extensions at all.
Single packages can be deinstalled via the NEXT_webadmin package or via command line.

PACKAGE CONTENTS:
This addon adds a backup button script and changes the backup button direction. Files will be copied from local disk to eSATA or USB disk. In the NExt status web page or the webadmin status page, the status "running" tells you that the backup will be done to the external disk, while "not running" or "stopped" shows you that backup can be done from the external disk. The rsync utility is used for this by default.

A new feature is the configuration file. You can, but you must not ;-), adapt the configuration to you needs. To access the configuration file, you have to
use telnet/ssh and work in the shell or you use the !access_next feature of the NExt base to edit the file from a PC (see
http://forum.ts.fujitsu.com/digitalh ... 276#p45276 ).
Please make sure that you use an PC editor that fully supports Linux file format for this, otherwise the configuration will fail. A description of the paramters is found in the comments of the configuration file /mnt/.zap/etc/backupbutton.conf . For your convenience, a file /mnt/.zap/etc/backupbutton.conf.rsync contains the original settings. This file is not used by the backup procedure, but it can be restored if you have
problems after editing the file.
The default behaviour is as follows:
All shared folders on the NAS are backed up to an external device. The external devices are scanned in this order: eSATA, USB ports
The folder on the external device will be "full_backup_<HOSTNAME>", where HOSTNAME is the name of the NAS, e.g. AMS150. A mirror copy is done via the
"rsync" command, this means that only new files are synced, but files that no longer exist will also be deleted. A log file will be written to
/mnt/.zap/tmp/backuplogs, with the name full_backup_<HOSTNAME>_<TIMESTAMP>.log
Please refer to the backup log for a detailed log of the backup process.

Thanks to the user "Kane" of the Digital Home Forum for the first version of this script and to Brevheart for the tests of the first beta version.

CHANGES:
Version 1.01:
- new feature: if each target folder does not yet exist, cpnext is used automatically instead of rsync because it is much faster. For a real sync, rsync is used, which is slow, but hopefully most files are already synced. If cpnext is not installed (because of old base version) rsync is used as usual.
- Added "-l" and "-H" to the default options of rsync, that links can be backed up correctly.
- backupbutton.conf.rsync and backupbutton.conf.cpnext no longer distributed.
- backupbutton.conf.default released again.
Version 1.00:
- final version
- german readme, changes in readme files
- added optional support of cpnext instead of rsync
- new two config file possibilites, backupbutton.conf.rsync and backupbutton.conf.cpnext
- rsync options were incomplete, options "ogp" were missing to preserve owner, group and permissions
- logfiles could grow very big, now the "-v" option is switched off by default, it can be switched on with VERBOSE=1 in the configuration file
Version 0.95:
- fixed problem that folder structure was not preserved when configuring subfolders in BACKUP_FOLDER list
Version 0.96:
- fixed problem that occurred when SKIP_FOLDERS and BACKUP_FOLDERS list had more than one entry
Version 0.97:
- new configuration file
- new skip list to skip some shared folders and new positive list to configure the shared folders to be backed up
- default is now backup in always the same folder
- added one more USB device that could be used by AMS
- redirect all screen output to log file
Version 0.98:
- fixed problem in pkginfo file, package platform was not displayed correctly
Version 0.99:
- first beta release

PREREQUISITES:
- To use cpnext, you have to install NExt base 1.0.04/2.0.04 or newer.

ISSUES AND RESTRICTIONS:
- make sure that the destination disk is big enough for all the data
- the devices are checked by default in the follwing order: eSATA, USB ports or the order can be configured in the config file
- the configuration file is deleted deinstallation and it is overwritten during reinstallation, so please backup it by yourself if you still need it
- Due to some restrictions, cpnext is not suited to synchronize existing directory trees.

This software is provided as is with no warranty of functionality. We cannot be held responsible for any damage that may occur after installing this extension.
You use this Software at your own risk.

Have fun,
lochness and the NExtFW team
Last edited by lochness on Tue Jul 12, 2011 6:39, edited 11 times in total.

ernstaugust123
Posts: 3
Joined: Sat Mar 22, 2008 17:48
Product(s): AMS150

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby ernstaugust123 » Thu Jul 10, 2008 17:40

Hi,

erst einmal ein dickes Lob für dieses tolle Paket (sowie für die NExtFW überhaupt *g*).
Ich habe dieses Paket jetzt mal installiert in der Hoffnung, es würde das Backup in der Form eines Mirroring/Synchronisierung machen - was ja grundsätzlich mit rsync ja möglich sein soll. Leider legt es für jeden Backup-Vorgang einen neuen Ordner ("date +%Y_%m_%d_%H_%M") an...

Der rsync-Befehl lautet im Paket jetzt:

Code: Select all

BACKUP_FOLDER=""$FOLDER"/full_backup_"$HOSTNAME"/"$NOW_TIME"/"
(...)
$NEXT_USRBIN/rsync -arv --delete-after --modify-window=1 --exclude "lost+found" $i "$BACKUP_FOLDER" >> $LOGFILE 2>&1

Jetzt wollte ich das Backup-Script aus diesem Paket für meine Bedürfnisse anpassen und stolpere über ein, zwei kleinere Problemchen (ähhh, Herausforderungen *g*).
Ich denke, die beiden o.g. Zeilen sind die einzigen, die ich ändern muss, oder???

Da ich mich als Windows-User zwar mit robocopy sehr gut, aber mit rsync gar nicht auskenne, bräuchte ich mal eure Hilfe. Mit robocopy würde ich meine Anforderung so lösen:

Code: Select all

robocopy.exe <source> <destination> /MIR /W:2 /R:1 /DST /FFT

/MIR spiegelt eine komplette Verzeichnisstruktur von <source> nach <destination> (also werden von <destination> auch Dateien/Ordner gelöscht, wenn sie in <source> nicht mehr vorhanden sind)
/R:n steht für n Wiederholungsversuche bei fehlerhaftem Kopieren
/W:m steht für m Sekunden warten zwischen den Wiederholungsversuchen
/DST bedeutet, dass Zeitunterschiede berücksichtigt werden, die aufgrund der Sommerzeit entstehen
/FFT bedeutet, dass eine Datei nur dann kopiert wird, wenn der Zeitstempel 2 Sekunden unterschiedlich ist (wird u.a. benötigt, wenn man mit FAT-Dateisystemen als <source> arbeitet)

Wer könnte mir das jezt in rsync-Syntax übersetzen???

Oder gibt es vielleicht sogar im Rahmen des NExt-Projektes bereits eine ähnliche Backup-Lösung, die meine Bedürfnisse erfüllt?

Vielen Dank und beste Grüße,
ErnstAugust123 :wink:

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby lochness » Thu Jul 10, 2008 18:36

Ich schaue nachher mal nach.

Grundsätzlich halte ich dieses Vorgehen mit den neuen Ordnern (das ist genauso gemacht wie das Original von FSC, das in die andere Richtung kopiert) auch nicht für gut. Damit ist die Platte recht schnell voll, und eigentlich möchte ich auch einen Mirror auf der USB Disk haben, wenn ich etwa gleich große Platten verwende. Daher fände ich es gut, wenn wir Deine Änderung in das Paket einfliessen lassen könnten. Müsste man natürlich noch den Autor zu befragen, vielleicht kann man das später irgendwie einstellbar machen, wie gesichert werden soll.

Die von Dir identifizierten Stellen sind richtig.

Es gibt noch andere Backup-Pakete, und ich kenne Deine Anforderung nicht so genau. Es gibt noch was mit rsync und rsyncd und cron (aber nicht auf USB), die Pakete sollen jetzt bald rauskommen. Es gibt aber noch nichts mit cron und rsync, das lässt sich aber bestimmt aus beiden Paketen zusammenstellen. Vielleicht findet sich ja ein "Pate" für so ein NExt-Paket :wink:...

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby lochness » Fri Jul 11, 2008 6:54

Schau Dir mal die Infos zu rsync an. Ich hatte gestern keine Zeit dafür.

Code: Select all

# rsync --help
rsync  version 2.6.8  protocol version 29
Copyright (C) 1996-2006 by Andrew Tridgell, Wayne Davison, and others.
<http://rsync.samba.org/>
Capabilities: 64-bit files, no socketpairs, hard links, symlinks, batchfiles,
              inplace, IPv6, 64-bit system inums, 64-bit internal inums

rsync comes with ABSOLUTELY NO WARRANTY.  This is free software, and you
are welcome to redistribute it under certain conditions.  See the GNU
General Public Licence for details.

rsync is a file transfer program capable of efficient remote update
via a fast differencing algorithm.

Usage: rsync [OPTION]... SRC [SRC]... DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
  or   rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
  or   rsync [OPTION]... [USER@]HOST:SRC [DEST]
  or   rsync [OPTION]... [USER@]HOST::SRC [DEST]
  or   rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
The ':' usages connect via remote shell, while '::' & 'rsync://' usages connect
to an rsync daemon, and require SRC or DEST to start with a module name.

Options
 -v, --verbose               increase verbosity
 -q, --quiet                 suppress non-error messages
 -c, --checksum              skip based on checksum, not mod-time & size
 -a, --archive               archive mode; same as -rlptgoD (no -H)
     --no-OPTION             turn off an implied OPTION (e.g. --no-D)
 -r, --recursive             recurse into directories
 -R, --relative              use relative path names
     --no-implied-dirs       don't send implied dirs with --relative
 -b, --backup                make backups (see --suffix & --backup-dir)
     --backup-dir=DIR        make backups into hierarchy based in DIR
     --suffix=SUFFIX         set backup suffix (default ~ w/o --backup-dir)
 -u, --update                skip files that are newer on the receiver
     --inplace               update destination files in-place (SEE MAN PAGE)
     --append                append data onto shorter files
 -d, --dirs                  transfer directories without recursing
 -l, --links                 copy symlinks as symlinks
 -L, --copy-links            transform symlink into referent file/dir
     --copy-unsafe-links     only "unsafe" symlinks are transformed
     --safe-links            ignore symlinks that point outside the source tree
 -k, --copy-dirlinks         transform symlink to a dir into referent dir
 -K, --keep-dirlinks         treat symlinked dir on receiver as dir
 -H, --hard-links            preserve hard links
 -p, --perms                 preserve permissions
 -E, --executability         preserve the file's executability
     --chmod=CHMOD           change destination permissions
 -o, --owner                 preserve owner (super-user only)
 -g, --group                 preserve group
     --devices               preserve device files (super-user only)
     --specials              preserve special files
 -D                          same as --devices --specials
 -t, --times                 preserve times
 -O, --omit-dir-times        omit directories when preserving times
     --super                 receiver attempts super-user activities
 -S, --sparse                handle sparse files efficiently
 -n, --dry-run               show what would have been transferred
 -W, --whole-file            copy files whole (without rsync algorithm)
 -x, --one-file-system       don't cross filesystem boundaries
 -B, --block-size=SIZE       force a fixed checksum block-size
 -e, --rsh=COMMAND           specify the remote shell to use
     --rsync-path=PROGRAM    specify the rsync to run on the remote machine
     --existing              ignore non-existing files on receiving side
     --ignore-existing       ignore files that already exist on receiving side
     --remove-sent-files     sent files/symlinks are removed from sending side
     --del                   an alias for --delete-during
     --delete                delete files that don't exist on the sending side
     --delete-before         receiver deletes before transfer (default)
     --delete-during         receiver deletes during transfer, not before
     --delete-after          receiver deletes after transfer, not before
     --delete-excluded       also delete excluded files on the receiving side
     --ignore-errors         delete even if there are I/O errors
     --force                 force deletion of directories even if not empty
     --max-delete=NUM        don't delete more than NUM files
     --max-size=SIZE         don't transfer any file larger than SIZE
     --min-size=SIZE         don't transfer any file smaller than SIZE
     --partial               keep partially transferred files
     --partial-dir=DIR       put a partially transferred file into DIR
     --delay-updates         put all updated files into place at transfer's end
 -m, --prune-empty-dirs      prune empty directory chains from the file-list
     --numeric-ids           don't map uid/gid values by user/group name
     --timeout=TIME          set I/O timeout in seconds
 -I, --ignore-times          don't skip files that match in size and mod-time
     --size-only             skip files that match in size
     --modify-window=NUM     compare mod-times with reduced accuracy
 -T, --temp-dir=DIR          create temporary files in directory DIR
 -y, --fuzzy                 find similar file for basis if no dest file
     --compare-dest=DIR      also compare destination files relative to DIR
     --copy-dest=DIR         ... and include copies of unchanged files
     --link-dest=DIR         hardlink to files in DIR when unchanged
 -z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
 -C, --cvs-exclude           auto-ignore files the same way CVS does
 -f, --filter=RULE           add a file-filtering RULE
 -F                          same as --filter='dir-merge /.rsync-filter'
                             repeated: --filter='- .rsync-filter'
     --exclude=PATTERN       exclude files matching PATTERN
     --exclude-from=FILE     read exclude patterns from FILE
     --include=PATTERN       don't exclude files matching PATTERN
     --include-from=FILE     read include patterns from FILE
     --files-from=FILE       read list of source-file names from FILE
 -0, --from0                 all *-from/filter files are delimited by 0s
     --address=ADDRESS       bind address for outgoing socket to daemon
     --port=PORT             specify double-colon alternate port number
     --sockopts=OPTIONS      specify custom TCP options
     --blocking-io           use blocking I/O for the remote shell
     --stats                 give some file-transfer stats
 -8, --8-bit-output          leave high-bit chars unescaped in output
 -h, --human-readable        output numbers in a human-readable format
     --progress              show progress during transfer
 -P                          same as --partial --progress
 -i, --itemize-changes       output a change-summary for all updates
     --log-format=FORMAT     output filenames using the specified format
     --password-file=FILE    read password from FILE
     --list-only             list the files instead of copying them
     --bwlimit=KBPS          limit I/O bandwidth; KBytes per second
     --write-batch=FILE      write a batched update to FILE
     --only-write-batch=FILE like --write-batch but w/o updating destination
     --read-batch=FILE       read a batched update from FILE
     --protocol=NUM          force an older protocol version to be used
 -4, --ipv4                  prefer IPv4
 -6, --ipv6                  prefer IPv6
     --version               print version number
(-h) --help                  show this help (-h works with no other options)

Use "rsync --daemon --help" to see the daemon-mode command-line options.
Please see the rsync(1) and rsyncd.conf(5) man pages for full documentation.
See http://rsync.samba.org/ for updates, bug reports, and answers
#

ernstaugust123
Posts: 3
Joined: Sat Mar 22, 2008 17:48
Product(s): AMS150

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby ernstaugust123 » Sat Jul 12, 2008 10:18

Hi Lochness,

vielen Dank für deine Unterstützung.
Ich habe mich jetzt mal für folgende Parameter entschieden:

Code: Select all

$NEXT_USRBIN/rsync -rvt --delete-after --modify-window=2 --exclude "lost+found" $i "$BACKUP_FOLDER" >> $LOGFILE 2>&1

Das scheint bisher ganz gut zu funktionieren (zumindest für meine Zwecke)... ;o)

Danke und Gruß,
ErnstAugust123

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby lochness » Sat Jul 12, 2008 10:50

Und wie hast Du BACKUP_FOLDER gesetzt?
Würde Dein Script auch Dateien oder Ordner löschen (Mirror)? Ist so 'ne Sache, vielleicht löscht man dann gerade aus dem Backup das, was man verloren hat, raus.

Ich könnte mir eine Steuerung/Konfiguration des Scripts über den NExtAddons (und später über das Web-Interface) vorstellen. Dass man dort hinterlegt, ob man Mirror möchte oder nicht und in welchen Folder. Der Default sollte natürlich für die Allgemeinheit sinnvoll sein. Was meinst Du?

ernstaugust123
Posts: 3
Joined: Sat Mar 22, 2008 17:48
Product(s): AMS150

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby ernstaugust123 » Sat Jul 19, 2008 9:40

Den BACKUP_FOLDER habe ich so gesetzt:

Code: Select all

BACKUP_FOLDER=""$FOLDER"/full_backup_"$HOSTNAME"/"

Und ja: ich mache ein Mirroring (also die Quelle wird komplett auf das Ziel synchronisiert), was natürlich auch ein Löschen am Ziel zur Folge hat, sobald Dateien in der Quelle gelöscht wurden. Aber das ist genau das, was ich wollte... :D

Wenn ich mal wieder ein bisschen mehr Zeit habe, werde ich mal schauen, ob und wie man das eventuell parametrisieren kann... Wo kann man denn die Parameter speichern, ohne dass der User über Telnet irgendwelche Dateien modifizieren muss??? Schön wäre ja - wie du geschrieben hast - eine Web-Oberfläche, wo man bestimmte Addons konfigurieren kann. Aber das ist sicher nicht ganz ohne... 8) Gibt es schon "Best-Practices" im NeXT-Projekt, wie Parameter (vom User) gesetzt werden sollen/können? Dann würde ich mich natürlich an diese Vorgehensweise halten...

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby lochness » Sat Oct 11, 2008 13:49

Und, noch mal eine Bitte in eigener Sache. Brevheart und ich arbeiten momentan recht viel an NExt, also daran, euch neue Funktionen zur Verfügung zu stellen und die gemeldeten Fehler zu finden. Es macht uns eine Menge Spaß, keine Frage, aber wir haben überhaupt kein Gefühl dafür, d.h. wie viele Benutzer wir haben und wie viele Geräte wir damit etwas "aufpeppen" können. Leider haben wir keinen Download-Zähler auf der Webseite. Daher werde ich mal Umfragen zu den Paketen ins Forum stellen. Unsere Bitte ist, dass jeder, der das Paket verwendet, dort mit abstimmt.

Und, während die Pakete im öffentlichen Beta-Status sind, möchten wir auch um Feedback der Beta-Tester hier im Thread bitten.

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby lochness » Sun Nov 16, 2008 17:06

Hat etwas gedauert, aber das neue Paket ist nun fertig. Ich habe die Beschreibung oben aktualisert.
Der Betatest startet jetzt, bitte bei mir melden.

csganz
Posts: 19
Joined: Mon Oct 08, 2007 8:35

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby csganz » Mon Nov 17, 2008 21:12

Hallo Nessie,

zuerst einmal :D SUPER ARBEIT :D
wie versprochen hab ich einige Test's gemacht und es ist genau das was ich gesucht habe, es funktioniert sehr gut. Eine Frage hätte ich zu den Einträgen "Backup_Folder" und "Skip_Folder". Reicht es, wenn ich jeweils nur eine Option ausfülle oder muss ich, wenn ich nicht die default Werte nehme, beide Optionen eintragen? Ich frage deshalb, weil ich in "Skip_Folder" 3 Ordner eingetragen habe, diese wurden aber trotzdem syncronisiert. "Backup_Folder" hab ich auf default gelassen. Anbei mal der Anfang der Log Datei

Gruss Carsten

    usb_backup.sh: /mnt/esata_disk not found...
    usb_backup.sh: Backup for AMS150

    usb_backup.sh: Backup Device: /dev/sdb1


    /dev/sdb1 /mnt/usbdisk3-1 ext3 rw 0 0
    *** smb.conf success checked!!! ***>>

    usb_backup.sh: Mount Point for Device: /mnt/usbdisk3-1

    usb_backup.sh: Backup folder: /mnt/usbdisk3-1//full_backup_AMS150/

    usb_backup.sh: Creating backup folder: /mnt/usbdisk3-1//full_backup_AMS150/

    usb_backup.sh: Folders found to backup:
    /mnt/Share /mnt/Web /mnt/Bilder /mnt/Music /mnt/Video /mnt/Filme

    usb_backup.sh: Folders to skip:
    /mnt/Web /mnt/Share /mnt/usbdisk1-1

    usb_backup.sh: Backup of /mnt/Share starts using rsync
    usb_backup.sh: command is /mnt/.zap/usr/bin/rsync -rvt --delete-after --modify-window=2 --exclude lost+found /mnt/Share /mnt/usbdisk3-1//full_backup_AMS150/
    building file list ... done
    Share/
    deleting Share/Neuer Ordner/Neu Textdokument.txt
    deleting Share/Neuer Ordner/
    deleting Share/full_backup_AMS150_2008_11_17_12_02.log

    sent 46 bytes received 26 bytes 144.00 bytes/sec
    total size is 0 speedup is 0.00

    usb_backup.sh: Full backup of /mnt/Share successful!

    usb_backup.sh: Backup of /mnt/Web starts using rsync
    usb_backup.sh: command is /mnt/.zap/usr/bin/rsync -rvt --delete-after --modify-window=2 --exclude lost+found /mnt/Web /mnt/usbdisk3-1//full_backup_AMS150/
    building file list ... done

    sent 38 bytes received 20 bytes 116.00 bytes/sec
    total size is 0 speedup is 0.00

    usb_backup.sh: Full backup of /mnt/Web successful!

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby lochness » Mon Nov 17, 2008 21:57

Das Script hatte noch einen Fehler :oops: . Danke, dass Du ihn gefunden hast :). Sowohl die Positivliste als auch die Skip-Liste gingen nicht richtig, wenn man mehr als einen Eintrag drin hatte. Bitte neue Version 0.96 laden (Nummern während der Beta werden runtergezählt), kann einfach überinstalliert werden.

Zur Frage, nein, man muss nicht beides konfigurieren. Macht eigentlich Sinn, entweder das eine oder das andere zu nutzen. Elemente der Skip-Liste müssen Shares sein. Elemente der Positivliste können alles sein.
Last edited by lochness on Tue Nov 18, 2008 8:39, edited 1 time in total.

csganz
Posts: 19
Joined: Mon Oct 08, 2007 8:35

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby csganz » Tue Nov 18, 2008 8:38

lochness wrote:Das Script hatte noch einen Fehler :oops: . Danke, dass Du ihn gefunden hast :).

:wink: kein Problem :wink:
Lade heut abend die 0.96 und werde es mir nochmal anschauen

csganz
Posts: 19
Joined: Mon Oct 08, 2007 8:35

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby csganz » Tue Nov 18, 2008 20:25

so, gesagt - getan, ich hab die 0.96 drüberinstalliert und was soll ich sagen? :D PERFECT

Einen kleinen Schönheitsfehler hab ich noch gesehen, in der Backupbutton.conf steht oben noch die Version 0.99. Ansonsten arbeitet das Script, soweit ich das beurteilen kann, fehlerlos.

Achso, als kleine Anregung vielleicht noch, die Log Dateien sollten evtl. so nach jedem 10 Backup automatisch gelöscht werden, da ja der "normale" Anwender keinen Zugriff auf /.zap/tmp hat oder?

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby lochness » Tue Nov 18, 2008 23:07

csganz wrote:so, gesagt - getan, ich hab die 0.96 drüberinstalliert und was soll ich sagen? :D PERFECT


csganz wrote:Einen kleinen Schönheitsfehler hab ich noch gesehen, in der Backupbutton.conf steht oben noch die Version 0.99.
Kommt drauf an, wie man zählt, ist ja die erste Version dieser Datei, und sie wurde ja auch nicht für die 0.96 angefasst. Ist aber egal, denn mit der Final des Paketes setze ich alles auf 1.0.

csganz wrote:Ansonsten arbeitet das Script, soweit ich das beurteilen kann, fehlerlos.
Prima. derbermoe hatte gestern etwas Probleme mit dem Formatieren der USB-Disk am AMS. Wäre vielleicht gut, auch mal die Erfahrungen zu posten, ob es da Einschränkungen gibt und wie man am besten formatiert (FAT32 will ein Windows PC nicht, der AMS wollte auch nicht, usw...).

csganz wrote:Achso, als kleine Anregung vielleicht noch, die Log Dateien sollten evtl. so nach jedem 10 Backup automatisch gelöscht werden, da ja der "normale" Anwender keinen Zugriff auf /.zap/tmp hat oder?
Einmal kann man mit !access_next arbeiten, ich muss aber gestehen, dass ich die Zugriffsrechte der logs und des Ordners nicht geprüft habe, die müssten dann ja für alle schreibbar sein. Alternativ kann man natürlich in der Config-Datei den Pfad zu den Logs umsetzen, so dass man vom PC aus drankommt. Deshalb habe ich den Parameter noch mit rausgezogen.

So, dann bin ich gespannt, ob noch mehr Feedback kommt. Bitte auch die rudimentäre Doku anschauen, ob da noch was unklar ist.

derbermoe
Posts: 83
Joined: Wed Nov 21, 2007 20:13
Product(s): AMS150 V2.00 plus FSC-Extensions V231 mit Twonky 4.4.5 und
Next FW ;-)
Fritzbox 7270
Pinnacle Soundbridge Home Music
Xbox mit XBMC
Location: Velbert
Contact:

Re: HowTo: NExtFW-Paket backupbutton (Beta) auf AMS

Postby derbermoe » Wed Nov 19, 2008 22:54

Hallöchen zusammen,

ja ich hab mich gestern etwas mit der Formatierung meiner Testplatte rumgeschlagen, das ist ein bisschen tricky.
NTFS ist ja nur lesbar für den AMS, FAT32 kann man über die Befehlszeile von Windows nur dann verwenden, wenn man höchstens 32 GB zur Verfügung hat und über das AMS-Webinterface hat die Format-Funktionalität leider gar nicht erst funktioniert.

Ich habe dann mit Knoppix gebootet und meine USB-Platte mit Hilfe von qparted mit ext3 formatiert. Kleiner Tipp für alle, die sonst kein Linux-System einsetzen.

Habe dann das Skript einmal ausprobiert und folgendes festgestellt:
Verwendet man als Backup Folder ein einzelnes Share, funktioniert alles problemlos, auch die Ordnerstrukturen der Quelle werden anstandslos übernommen.

Trägt man aber mehr als einen Share bzw. konkret gesagt mehrere Unterpfade eines gemeinsamen Shares ein (weil man zum Beispiel nicht jedes Unterverzeichnis gesichert haben möchte), wird die Ordnerstruktur nicht mehr übernommen und das Skript klatscht einfach alle Ordner in einen Pott.

Positiv- und Skip-Liste kann man leider nicht miteinander kombinieren, d.h. ich kann nicht einen Share eintragen und über die Skip-Liste bestimmen, welche Unterverzeichnisse übersprungen werden sollen. Hängt sicherlich damit zusammen, dass man in der Skip-Liste grundsätzlich keine Unterverzeichnisse, sondern nur Shares der obersten Ebene eintragen kann.

Ansonsten finde ich es total prima, dass der Backup-Button nun in die andere Richtung funktioniert und somit endlich einen Sinn hat. Daumen hoch!
-------
Es gibt 10 Sorten von Menschen. Die
einen können binär zählen, die anderen nicht.


Return to “Hints, FAQ”

Who is online

Users browsing this forum: No registered users and 2 guests

cron