Wohin mit den ganzen Daten?

GRUNDLAGEN

Moderator: ModTeam

Chrissi
Posts: 185
Joined: Sat Apr 22, 2006 13:25

Wohin mit den ganzen Daten?

Postby Chrissi » Mon May 14, 2007 15:34

Hallo,

da ich inzw. seit Monaten dabei bin mein privates VHS-Archiv zu digitalisieren, bekomme ich so langsam Speicherprobleme.

Also die Sachen auf DVD zu brennen dauert viel zu lange. Da habe ihc mich entschlossen einen Server aufzusetzen und das Material via Netzwerk dort auf Festplatten zu speichern.
Inzw. stecken in dem Server 4 TB Festplattenplatz für Nutzdaten (also 8* 500 GB) und es reicht noch nicht. Am Ende benötige ich wohl so um die 10 TB, um alles weggespeichert zu bekommen. Also der Server ist jedenfalls rein vom Gehäuse betrachtet komplett voll. Hat jemand eine Idee, wie ich weitere Festplatten zum Laufen bringen kann?

Ich hatte schon an diese 19" Gehäuse von Chenbro gedacht, die mal eben 24 Festplatten fressen, aber da kommt so ein Gehäuse samt zugehöriger Stromversorgung für die 24 Platten auch gewaltig teuer in der Anschaffung und solche Sachen wie Hot-Swap Fähigkeit etc. benötige ich nicht.

Hat jemand da Ideen? :roll:


Gruß Chrissi

PS: Hoffentlich stimmen die Prognosen von Seagate und Hitachi. Seagate will jährlich die Festplattenkapazität um 40% steigern können und Hitachi hat für das Jahr 2013 die 50 TB Festplatte als Fernziel in Aussicht gestellt.
--> Dann würde mein komplettes Archiv also locker auf eine Platte passen... nur die Zeit zu warten habe ich nicht mehr, die VHS-Bänder zerfallen mir. :(
activy 570 Kabel
Server: FSC Primergy tx 150 s5 sata
Server OS: Windows Home Server pp1
Router: smc barricade 7008 abr v2
Switch: Level One GSW-2472TGX

User avatar
Brevheart
Posts: 461
Joined: Wed Feb 21, 2007 9:23
Product(s): Synology DS211j

Postby Brevheart » Wed May 16, 2007 9:55

Verstehe ich das richtig, du nimmst alle VHS unkomprimiert auf?

Grüße

triaxman
Posts: 70
Joined: Wed Jan 10, 2007 23:04
Location: München

Postby triaxman » Wed May 16, 2007 10:09

Da hat jemand wohl unglaublich viel Kohle für all diese TBytes! :roll:

@Chrissi
Brenn die Filme mal auf DVD weg! Dann hast du deine TB Platten wieder frei.
Fujitsu Siemens StorageBird LAN2 500GB / V1.00(08-31-2006)
Router: Fritz!Box WLAN Fon 7170
Switch: D-LINK DGS 1008D

User avatar
svbeagle
Posts: 1816
Joined: Tue Apr 06, 2004 0:00
Location: Frankfurt / Main

Re:

Postby svbeagle » Wed May 16, 2007 10:23

triaxman wrote:Da hat jemand wohl unglaublich viel Kohle für all diese TBytes! :roll:

@Chrissi
Brenn die Filme mal auf DVD weg! Dann hast du deine TB Platten wieder frei.


Naja, dann braucht er grob gerechnet 2500 DVDs. Das dauert schon, bis man da durch ist.

Ich denke auch, daß eine Kompremierung in DivX oder ähnliches unumgänglich ist.
Danke & ciao
Georg


AMC 530 (2x DVB-C) - 3.2.419 + VZD
AMC 350 (1x Analog) - 1.6.116 + VZD

Chrissi
Posts: 185
Joined: Sat Apr 22, 2006 13:25

Re:

Postby Chrissi » Wed May 16, 2007 10:39

Brevheart wrote:Verstehe ich das richtig, du nimmst alle VHS unkomprimiert auf?

Grüße


Ich hab meinen activy einfach ans Netzwerk angeschlossen und schaufel dann die mpeg2-Dateien aus dem activy auf die Festplatten des kleinen Servers. Die Daten sind also schon komprimiert, auch wenn man da sicherlich mit divx noch mehr rausholen könnte. Aber wenn ich das alles in divx komprimieren wollte, bräuchte ich einen sehr leistungsfähigen Rechner, der rund um die Uhr nichts weiter macht als MPEG --> Divx Wandlung.

Auf eine 500GB Festplatte passen so in mpeg2 also ca. 250 Stunden Film (Ich zeichne alles im activy in SP auf, sind ja auch Kopien von S-VHS Bändern dabei.)

was das Wegbrennen auf DVD angeht: Damit habe ich angefangen, bevor ich dazu übergegangen bin alles auf Festplatte zu lagern. Das Brennen der DVDs dauert einfach ewig und wirklich billiger ist das auch nicht.

Gehen wir mal davon aus, daß man jede DVD mit 3 GB füllt. Die Filme sind ja nicht alle 2 Stunden lang und der Rest ist dann Verschnitt. (Überlange Filme und der Griff zur Dual Layer DVD lassen wir mal außen vor.)

Bei den 500GB Festplatten zahle ich z.Z. runtergerechnet auf's GB 0,18€/GB. D.h., daß ein DVD-Rohling maximal 0,60€ kosten darf, damit das günstiger wird als meine Festplattenlösung.
activy 570 Kabel
Server: FSC Primergy tx 150 s5 sata
Server OS: Windows Home Server pp1
Router: smc barricade 7008 abr v2
Switch: Level One GSW-2472TGX

triaxman
Posts: 70
Joined: Wed Jan 10, 2007 23:04
Location: München

Re:

Postby triaxman » Wed May 16, 2007 11:00

Chrissi wrote:Bei den 500GB Festplatten zahle ich z.Z. runtergerechnet auf's GB 0,18€/GB. D.h., daß ein DVD-Rohling maximal 0,60€ kosten darf, damit das günstiger wird als meine Festplattenlösung.


geht sogar billiger: ~ 0,48€
siehe hier!
Fujitsu Siemens StorageBird LAN2 500GB / V1.00(08-31-2006)

Router: Fritz!Box WLAN Fon 7170

Switch: D-LINK DGS 1008D

Chrissi
Posts: 185
Joined: Sat Apr 22, 2006 13:25

Re:

Postby Chrissi » Wed May 16, 2007 11:29

triaxman wrote:geht sogar billiger: ~ 0,48€
siehe hier!


Und die DVDs da halten auch mindestens 5 (besser 10) Jahre? Bisher habe ich immer auf Verbatim Rohlinge gebrannt. Mir wird es halt jetzt schon schlecht, wenn ich dran denke, daß ich da dann in 5 Jahren 3ooo DVDs umkopieren darf. Da wären mir dann einige Festplatten schon lieber. Da muß man nämlich nicht Disk-Jockey spielen.

Mir geht es hier auch eher um die Frage, wie ihr so an die 20 Festplatten an einen Rechner anschließen würdet? :?:
activy 570 Kabel
Server: FSC Primergy tx 150 s5 sata
Server OS: Windows Home Server pp1
Router: smc barricade 7008 abr v2
Switch: Level One GSW-2472TGX

triaxman
Posts: 70
Joined: Wed Jan 10, 2007 23:04
Location: München

Re:

Postby triaxman » Wed May 16, 2007 11:45

Chrissi wrote:Und die DVDs da halten auch mindestens 5 (besser 10) Jahre? Bisher habe ich immer auf Verbatim Rohlinge gebrannt. Mir wird es halt jetzt schon schlecht, wenn ich dran denke, daß ich da dann in 5 Jahren 3ooo DVDs umkopieren darf.


Es ist allgemein bekannt, dass sehr oft Rohlinge vom gleichem Produktionsband stammen, aber im Handel unter verschiedenen Markennamen auftauchen...je nachdem wer sie eingekauft hat. Dazu könntest du mal im Internet suchen.


Da wären mir dann einige Festplatten schon lieber. Da muß man nämlich nicht Disk-Jockey spielen.


Festplatten sind gut. Ich bin auch der Festplatten-Liebhaber wenn man das so sagen kann, aber aus Erfahrung kann ich dir nur sagen, dass Festplatten auch kaputt gehen können...die geben den Geist von heute auf morgen einfach so auf. Was machst du dann? Dann hast du unter Umständen alle Filme von der Festplatte weg. Wenn mal ein Rohling nicht lesbar ist, dann ist es nur ein Film der verloren geht.

Da ich nicht so wahnsinnig viele Daten habe wie du, habe 2 x 500GB Platten auf die ich gespiegelt schreibe. Der Speicherplatz reicht mir aus für 'ne Weile. Ist z.Z. halb voll. Wenn es mal voll werden sollte, miste ich mal alte Sachen aus und/oder hole mir dann 2 neue Platten, die in 3-4 Jahren bestimmt über 1TB gross sein werden und dazu auch noch vom Preis her günstig.


Mir geht es hier auch eher um die Frage, wie ihr so an die 20 Festplatten an einen Rechner anschließen würdet? :?:


Vielleicht über mehrere S-ATA Controller im Rechner. Da ein solcher Controller meines Wissens nach max. 4 Ports hat, müsstest du dir bei 20 Platten, 5 Controller kaufen.
LINK zum Controller
Dazu wären aber auch 5 PCIe Slots notwendig. Ob dein Mainboard das hat, ist fraglich.

Sollte machbar sein...wird schon lustig sein wenn man ausser A, C (boot) und D (dvd-rom/writer) auch noch weitere 20 Buchstaben bis Z alles voll hat! :lol:

Hast du etwa das Filmarchiv von PRO7 eingekauft? :lol: 8)
Fujitsu Siemens StorageBird LAN2 500GB / V1.00(08-31-2006)

Router: Fritz!Box WLAN Fon 7170

Switch: D-LINK DGS 1008D

triaxman
Posts: 70
Joined: Wed Jan 10, 2007 23:04
Location: München

Postby triaxman » Wed May 16, 2007 11:50

Etwas solltest du noch bedenken:

Viele Platten fressen auch einiges an Strom.
Daher:
--> Stromrechnung in Voraus machen
--> Stromverbrauch der Platten samt Mainboard und alles drumherum aufsummieren damit du siehst ob dein Netzteil dies packt!
--> Gehäuse des Rechners: Womöglich 19" Serverschrank
--> Hast du einen klimatisierten Raum? So viele Festplatten produzieren auch reichlich viel Wärme

ODER:
Du teilst die Platten auf mehrere PCs auf!
Fujitsu Siemens StorageBird LAN2 500GB / V1.00(08-31-2006)

Router: Fritz!Box WLAN Fon 7170

Switch: D-LINK DGS 1008D

Chrissi
Posts: 185
Joined: Sat Apr 22, 2006 13:25

Re:

Postby Chrissi » Wed May 16, 2007 11:57

triaxman wrote:Sollte machbar sein...wird schon lustig sein wenn man ausser A, C (boot) und D (dvd-rom/writer) auch noch weitere 20 Buchstaben bis Z alles voll hat! :lol:

Hast du etwa das Filmarchiv von PRO7 eingekauft? :lol: 8)


Na, ich kaufe die Festplatten ja auch nicht auf einmal. Immer, wenn wieder eine 500er voll ist, kommt die nächste her. Gleichzeitig hoffe ich, daß auch die größeren Kapazitäten erschwinglich werden, damit man nicht mehr so viele Laufwerke braucht.
Deine Rechnung mit den S-ATA-Controllern habe ich auch gemacht. Sie geht sogar auf. Allerdings hast du dabei eins vergessen: Die Stromversorgung!

Mit meinen 8 Festplatten mußte ich schon von einem 500 Watt auf ein 700 Watt Netzteil umsteigen. Die S-ATA-Platten legen sich zwar alle nacheinander schlafen, wenn sie nicht benötigt werden, aber beim Hochfahren des PCs fahren auch erstmal lle Platten gleichzeitig hoch. Da flißet dann ein enormer Strom. Zudem zieht ein Elektromotor beim Anlaufen nochmal einiges mehr an Strom als im Betrieb nachher, so daß sich die Spitzenlast (auch wenn sie für weniger als 1 Sekunde benötigt wird) gewaltig wird. :(

Was das Filmarchiv angeht: Papa hat 1980 seinen ersten VHS-Rekorder gekauft und zwischen 1980 und 2006 sind da immer mehr Bänder dazu gekommen. Drum sagte ich ja, daß ich nciht warten kann, bis die Festplatten bei 50 TB / Stück sind, weil mir die alten Bänder einfach zerfallen. Wobei ich festgestellt habe, daß sich die ganz alten Bänder aus den 1980ern besser gehalten haben als die Bänder aus den 1990ern (da war der Kostendruck wohl schon zu groß und die Hersteller haben am falschen Ende gespart). Die Bänder ab 2000 bis 2006 sind noch zu neu, als das es da schon Ausfälle gibt.
activy 570 Kabel
Server: FSC Primergy tx 150 s5 sata
Server OS: Windows Home Server pp1
Router: smc barricade 7008 abr v2
Switch: Level One GSW-2472TGX

User avatar
Dieter59
Posts: 781
Joined: Sat Jan 20, 2007 12:05
Product(s): AMC 570 Sat (3.2.419) am Devolo
MP 150 (1.03.28eu)
Western Digital TV Live
Vollzugriff deluxe 2.70
P4 640 HT Prozessor 1GB RAM 500GB Festplatte
Router Speedport W723V
Samsung UE55C6000 55" LED Backlight
Samsung UE32C6700 32" LED Backlight
Samsung UE32ES5700 32" LED Backlight
Yamaha RXV 1400 RDS
Location: Saarbrücken

Postby Dieter59 » Wed May 16, 2007 14:01

Hallo Chrissi.

bei Deinem Speicherplatzbedarf kommst Du um eine semi-professionelle Lösung nicht herum! Außerdem würde ich auf keinen Fall die Filme einfach nur auf einer Platte speichern. Wenn Dir einen Platte abraucht, sind mindesten 150 Filme für immer im Nirvana.
Mir ist vor ein paar Wochen eine nagelneue Western Digital 500 GB in meinem Activy in die ewigen Jagdgründe gegangen und hat alle (Gott sei Dank nur 20) Filme mitgenommen.
Also müsstest Du entweder einen Backup auf Band machen oder zumindest die Platten in einem RAID-Verbund fahren. Bandbackup ist definitiv zu teuer und Du hast wieder Bänder, die man umkopieren muß.

Also bleibt RAID. EIn einigermaßen günstiges und zuverlässiges System findest z.B. hier:
http://www.transtec.de/D/D/products/Storage/raids/PROVIGO_500.html

Oder doch DVD: wenn da eine mal kaputt ist ist hlt auch "nur" ein Film weg!

Alles andere würde ich nicht machen, wenn ich an den Filmen hängen würde.

Gruß
Dieter

User avatar
lochness
Posts: 3224
Joined: Sat Feb 04, 2006 20:42
Product(s): Myrica TV P42-2H
AMC 570 SAT (3.2.419 + VZD2)
AMC 370 SAT (1.6.115+VZD2)
AMP 150 (1.03.28eu)
3 x AMS 150 (V2.00 + NExt V2.0.06)
SBLAN2 R1.0 (V2.00 + NExt V2.0.06)
SBLAN2 R1.1 (V2.00 + NExt V2.0.06)
Storagebird DUO 35-LR (V1.03)
SB-L V1 (80GB, NetHDD007-0802)
Celvin Q800 4x2TB
Celvin Q700 2x1TB
Celvin Q600 1x2TB
Location: Bad Lippspringe

Postby lochness » Thu May 17, 2007 9:08

Nur mal so gefragt: Warum müssen denn die ganzen Platten die ganze Zeit über am Server laufen? Man könnte die Platten ja - rein theoretisch - auch - ensprechend pfleglich und ESD-gerecht behandelt - in den Schrank legen und dann bei Bedarf anschliessen und dann auf den Film zugreifen.
Oder, USB-Platten verwenden und bei Bedarf anschliessen, vielleicht die SATA-Variante, da das die aktuelle Technologie ist. Für die Variante mit internen Platten könnte man auch eine Lösung mit Wechselplattenrahmen nehmen, oder es gibt auch Adapter von SATA/IDE auf USB... (Letzteres ist dann aber weniger professionell, sondern eher ein Gebastel.)
Nachteil bei den Festplatten ist, dass sie ggf. nach Lagerung nicht mehr anlaufen (müsste man mal nachlesen, ob das Risiko des Datenverlustes bei eingesetzten Platte oder bei gelagerten Platten größer ist, meines Wissens nach ist aber dieser Betrieb mit Anlauf und Schlafen legen am schlimmsten für eine Platte).
Daher würde ich dann jede Aufnahme auf zwei Platten speichern und die Platten ab und zu mal in Betrieb nehmen. Müsstest Du mal rechnen, ab wann sich ein professionelles RAID5-Speichersubsystem rechnet und wie lange Du mit der anderen Variante billiger kommst.

Chrissi
Posts: 185
Joined: Sat Apr 22, 2006 13:25

Postby Chrissi » Fri May 18, 2007 9:00

Bei den Preisen für die Storrage Arrays da kostet mich das Array (ohne Festplatten) genau soviel, wie ein Satz Festplatten für das komplette Backup (Spiegelung). Für 3ooo,- € bekommt man heute ja gut 30 Festplatten zu je 500 GB. Das sind 15 TB.

Ich bin am Überlegen, ob ich bei ebay billigst alte FibreChannel StorageArrays zu schießen, um sie zu entkernen. Also raus mit der kompletten Elektrik (Backplane) und darin dann die Festplatten zu montieren. Ich brauche nur das Gehäuse und das Netzteil.

Anschließend bau ich in jedes StorageArray einen 7fach USB-Hub und dann wird das alles per usb verkabelt.

Was meinst du? Kann diese Methode funktionieren?
Das Backup landet dann auf einer zweiten Maschine mit identischer Konfiguration. DasVerfahren dürfte, obwohl es mehr Festplatten benötigt, günstiger kommen als das 3ooo,- € StorageArray mitsamt des Backplanes.

Ok, mein Traum wäre sowas da:
Image

Aber da ist das Gehäuse samt Netzteil so teuer, daß man da auch schon wieder 15 Festplatten für bekommt.
activy 570 Kabel
Server: FSC Primergy tx 150 s5 sata
Server OS: Windows Home Server pp1
Router: smc barricade 7008 abr v2
Switch: Level One GSW-2472TGX

Chrissi
Posts: 185
Joined: Sat Apr 22, 2006 13:25

neuer Zwischenstand

Postby Chrissi » Mon Nov 05, 2007 14:07

Hallo zusammen,

ich habe jetzt an die 1ooo VHS-Bänder durchgenuldet und komischerweise funktioniert das Duo aus S-VHS Rekorder und activy 570 Kabel noch zuverlässig. Mit der ältesten Firmware (mit dem das Gerät ausgeliefert wurde) läuft es sehr viel zuverlässiger als mit allen anderen Versionen. :)

So langsam wird das mit'm Speicherplatz interessant. Z.Z. benutze ich Wechselrahmen, um schnell neue Festplatten am PC nachladen zu können.


Chris Benjamin
activy 570 Kabel
Server: FSC Primergy tx 150 s5 sata
Server OS: Windows Home Server pp1
Router: smc barricade 7008 abr v2
Switch: Level One GSW-2472TGX

Chrissi
Posts: 185
Joined: Sat Apr 22, 2006 13:25

Re: Wohin mit den ganzen Daten?

Postby Chrissi » Mon Apr 28, 2008 15:27

Moin,
es ist vollbracht. :D
Insg. sind es doch 1400 VHS-Bänder geworden... alle digitalisiert.
Das Wettrennen gegen den Verfall der z.T. 30 Jahre alten Magnet-Bänder ist gewonnen. :mrgreen:

Jetzt kommen noch die Tonbänder (auf Wickel und als Musik-Kassetten), sind aber nur so 80 Bänder wovon schon 30 fertig sind. Dann noch die 15 Schallplatten.
Am Ende dann die ganzen alten Dias. Gottseidank gibt es für Dias inzw. bezahlbare Scanner, die gleich ein ganzes Magazin a 100 Bilder automatisch via Batchverarbeitung scannen können, so daß man nicht dauernd daneben sitzen muß, um das nächste Bild in den Scanner zu stopfen.

Allerdings ist der Festplattenberg inzw. größer als erwartet. Also an Video-Daten liegen hier 12 TB auf externen Festplatten rum. Also laßt uns mal sagen, daß am Ende so 15 TB Nutzdaten zusammenkommen. Mit Folder-Duplication braucht der Windows Home Server dann 30 TB Festplattenplatz. :shock:

Naja, hätte ich nicht versucht die alten Magnetbänder vorm Verfall zu retten und einen harten Schnitt gemacht, käme ich auch mit 2 TB im Home Server aus. :roll:

Ciao
activy 570 Kabel
Server: FSC Primergy tx 150 s5 sata
Server OS: Windows Home Server pp1
Router: smc barricade 7008 abr v2
Switch: Level One GSW-2472TGX


Return to “Basics”

Who is online

Users browsing this forum: No registered users and 1 guest

cron