Alternativer EPG-Import auf XMLTV Basis

Moderators: brainside, ModTeam

chefinen
Posts: 247
Joined: Fri Feb 17, 2006 10:07
Product(s): Activy Media Center 330 mit 2xSAT und CI
Activy Media Center 300 mit 1xSAT
Location: Straubing

Alternativer EPG-Import auf XMLTV Basis

Postby chefinen » Mon Jul 13, 2009 10:48

Hallo,

der ein oder andere hats bestimmt schon gemerkt, dass der Thread "EPG-Daten von Microsoft Importieren" gelöscht wurde.
Dass hatte seine Richtigkeit, da es Lizenztechnische Schwierigkeiten mit Microsoft geben hätte können.

Ich will dass Projekt dennoch nicht sterben lassen.

Also neuer Gedanke:
Einen Universal EPG-Import der verschiedene EPG-Grabber "unterstützen kann".
Hier wird nur der EPG-Import selbst behandelt werden.
Ich bitte euch Fragen über die EPG-Grabber selbst hier aussen vor zu lassen.
Hier sollen nur die zu Importierenden File-Formate und der Import selbst besprochen werden.
Für die nutzung eines bestimmten EPG-Grabbers ist jeder selbst verantwortlich.
Fragen und Links zu EPG-Grabbern werden von FTS gelöscht!

Beispiele dieser Grabber: (Lizenztechnisch muss jeder selbst prüfen ob dass legal ist und verwenden will!)
  • XMLTV
  • mc2xml
  • NexTView
  • MegaEPG
  • ...

Ich würde vorschlagen, dass wir als erstes dass Standard "XMLTV File format" verwenden.


Vorgehensweise:
  • EPG-Daten werden im XMLTV File Format angeliefert.
  • Eine Sender-AMC / Sender-EPG mapping muss erfolgen (ob die vom jeweiligen Grabber selbst übernommen werden kann ist zu Prüfen.)
  • Neue EPG-Daten im AMC-XML Format erstellen und der Activy zum Import geben.

Ob sich der letzte Punkt verwirklichen lässt ist noch zu Prüfen.
Da hatte aber s_mario schon einige Erkenntnisse, die leider mit gelöscht wurden.

Also lasst uns mit der Analyse beginnen.

Gruß Dominik
Last edited by chefinen on Wed Sep 09, 2009 16:52, edited 1 time in total.
Activy 330 (2x SAT; Produktivsystem)
Software: 1.6.115 SR4 mit Vollzugriff Deluxe, Parallel laufend Gen2VDR 2.0 (mittels Grub Bootmanager auswählbar)
Hardware: 2x Original FSI-SAT (Budget) und Original Common Interface; 250GB HDD

Activy 300 (1x SAT; Testsystem)
Software: 1.6.115 SR5 mit Vollzugriff Deluxe
Hardware: Celeron 800 Mhz, 128MB SDRAM, 150GB, 1x Original FSI-SAT (Budget) und Original Common Interface

User avatar
Jürgen FTS
Moderator
Posts: 86
Joined: Wed Apr 09, 2008 14:15
Product(s): *

Re: Alternativer EPG-Import

Postby Jürgen FTS » Mon Jul 13, 2009 11:12

Hallo Dominik,

wir haben den Thread nicht wirklich gelöscht sondern lediglich versteckt. :wink:
Hier ist der Eintrag von Mario:

s_mario wrote:Hallo Dominik,

gute Idee, eine alternative EPG-Quelle einzubinden.
Das AMC überwacht ja lt. den LOGs bekanntlich 3 Verzeichnisse auf irgendwelche Veränderungen.

Code: Select all

AddWatchDirectory("D:\Update\Epg", "xml", 1)
AddWatchDirectory("d:\update\Software", "cab", 2)
AddWatchDirectory("E:\AMC-Share\Cmd", "bin", 5)


Wenn ich mich recht erinnere, kommen die TvTv Daten im Verzeichnis e:\persist\TVTV\storage an und werden dann als .xml Datei nach D:\Update\Epg geschoben.
Wenn man das erwartete Format der .xml Datei wüsste, könnte man dem AMC ja quasi jede externe EPG-Quelle unterschieben und wäre auch nicht auf den MCE-EPG beschränkt.
Es gibt ja für Win oder VDR auch zahlreiche Tools, welche EPG-Daten von verschiedenen Quelle, Anbietern sammeln und dann über eine .xml Datei auf dem Zielsystem importiert werden können.

Um zu sehen, was das AMC mit den TvTv Daten so treibt, müsste man vielleicht mal den Inhalt der EPG.log o.ä. anschauen.

Gruß
Mario

chefinen
Posts: 247
Joined: Fri Feb 17, 2006 10:07
Product(s): Activy Media Center 330 mit 2xSAT und CI
Activy Media Center 300 mit 1xSAT
Location: Straubing

Re: Alternativer EPG-Import

Postby chefinen » Mon Aug 03, 2009 11:16

Hallo Leute,

ich bin nun schon ein paar Schritte weiter gekommen.
Mein Ansatz war folgender:
Da das EPG von XMLTV (bzw. mc2xml) eh im XML-Format vorliegt, sollte diese doch recht einfach in das XML-Format der Activy gebracht werden können.
Am einfachsten geht dass über XSLT.

Als Datenbasis hab ich mal das MC2XML Tool verwendet (da extrem schneller Download und sehr gut Konfigurierbar).

Also ne kleine EXE, die aus der XMLTV-XML und einer XSLT eine neue XML für das Activy-Format bastelt.
Gesagt getan:
1. ein kleines VB-Progrämmchen gebastelt, die mittels MSXML 3.0 Parser (muss installiert sein evtl. im Standard schon auf dem Rechner) die XML erstellt.
2. die XSLT erstellt, die das XML-Format der Activy erstellt.
3. erste testläufe (nur erstellen der XML für Activy-Import) sehen gut aus.

Das Ausgabeformat passt schon mal zur Activy.

Ich hab da aber noch ein paar hänger!
1. Den Channelnamen kann ich bisher nur manuell über If-Abfragen in der XSLT filtern.
2. Dasselbe gilt für die "provider_id" (siehe 1.)
3. id_broadcast_internal="" epgid="" merge_text="" fehlen mir noch.

Es können derzeit nur die Kanäle verarbeitet werden die in der XSLT als If-Abfragen hinterlegt sind.
Bei unbekannten Kanälen werden die werte (Kannalname und Provider_ID) einfach nicht gefüllt.


Kennst sich jemand näher mit XSLT aus?
Ich brauche hilfe bei den 3 Punkten.
Evtl. lässt sich dass über "Übersertzungstabellen" lösen.
(Wenn wert XY dann setze 12 oder so.)

Ich häng mal meine Sourcen dran.
Die EXE lässt sich über die INI Parametrisieren (für die EXE muss "MSXML 3.0 Parser" installiert sein evtl. im Standard schon auf dem Rechner).
die VB-Sourcen, Beispieldateien und die XSLT sind auch mit dabei.

Noch keinen Import in die Activy machen!!!
Es ist alles noch sehr rudimentär!!!


Es gilt dann auch noch die Frage zu klären " Wie werden die EPG-Daten vor einem Import wieder gelöscht?"

Würd mich freuen wenn mich jemand unterstützen kann.

Gruß Dominik
Attachments
AMC-EPG-XML-Convert.zip
(19.91 KiB) Downloaded 237 times
Last edited by chefinen on Wed Aug 05, 2009 15:45, edited 1 time in total.
Activy 330 (2x SAT; Produktivsystem)
Software: 1.6.115 SR4 mit Vollzugriff Deluxe, Parallel laufend Gen2VDR 2.0 (mittels Grub Bootmanager auswählbar)
Hardware: 2x Original FSI-SAT (Budget) und Original Common Interface; 250GB HDD

Activy 300 (1x SAT; Testsystem)
Software: 1.6.115 SR5 mit Vollzugriff Deluxe
Hardware: Celeron 800 Mhz, 128MB SDRAM, 150GB, 1x Original FSI-SAT (Budget) und Original Common Interface

chefinen
Posts: 247
Joined: Fri Feb 17, 2006 10:07
Product(s): Activy Media Center 330 mit 2xSAT und CI
Activy Media Center 300 mit 1xSAT
Location: Straubing

Re: Alternativer EPG-Import

Postby chefinen » Wed Aug 05, 2009 15:45

Hi,

ich bin nun schon etwas weiter gekommen.

chefinen wrote:Ich hab da aber noch ein paar hänger!
1. Den Channelnamen kann ich bisher nur manuell über If-Abfragen in der XSLT filtern.
2. Dasselbe gilt für die "provider_id" (siehe 1.)
3. id_broadcast_internal="" epgid="" merge_text="" fehlen mir noch.

Es gilt dann auch noch die Frage zu klären " Wie werden die EPG-Daten vor einem Import wieder gelöscht?"


zu 1. und 2.: hat sich bisher nicht geändert.
zu 3. die beiden ID's werden jetzt generiert (jedoch nur fortlaufend von 1-x); Merge_Text ignorier ich erstmal.

Durch die vergabe der ID's kann nun auch ein Delete anhand dieser erfolgen.

Es wird nun beim erstellen der Importdatei gleichzeitig eine "forDelete.xml" erzeugt.
Diese kann dann vor dem nächsten Import ausgeführt werden. Somit werden alle alten EPG-Einträge gelöscht.
Dann kann die neue Importdatei erstellt werden.

Der Import kann ab jetzt getestet werden.

Folgendes ist jedoch zu beachten:
1. Es darf kein Mischbetrieb mit TVTV-EPG-Daten gefahren werden.
2. Daher in den Einstellungen den EPG-Download ausschalten.
3. Die EPG-Datenbank muss leer sein (Also dass Tool EPG-Datenbank zurücksetzten ausführen).
4. Es dürfen nur EPG-Daten von den Sendern gedownloaded werden die in der "tvguide_xsl.xsl" angegeben sind.
5. Der Import muss manuell ausgeführt werden.
6. Bei Problemen sollte ein erneuter Reset der EPG-Datenbank helfen.

Vorgehensweise für den Import:
1. Download des AMC-EPG Converters im obigen Post
2. anpassen der INI-Datei (sollte selbsterklärend sein)
  • xmldatei= zu convertierende XML-Datei mit EPG
  • xsltdatei= TVGuide_XSL.XSL Parameterdatei für die umwandlung des EPG
  • xmlnewdatei= EPGDATA.XML Ausgabedatei nach der Convertierung
  • xsltdelete= forDelete.xsl Parameterdatei für die umwandlung des EPG für späteren Delete
  • xmldelete= Ausgabedatei nach der Umwandlung für späteren EPG Delete
3. EPG-Daten Downloaden mit XMLTV oder MC2XML (ich hab mit MC2XML getestet, da man hier auswählen kann welche Sender gedownloaded werden sollen).
4. EPG-Daten mit dem "AMC-EPG-Converter" Tool umwandeln.
(Bis hier sollte alles auf einem Normalen Rechner getestet werden)
5. Die erzeugte EPGDATA.XML nach "D:\Update\Epg" (der Activy) kopieren.
6. Nun sollte der Import starten (kann Zeitverzögert von der Activy starten).
7. Wenn jetzt ein EPG vorhanden ist hats funktioniert.

Löschen kann man die Importierten EPG-Daten wie folgt:
1. die beim Punkt 4 der Vorgehensweise erzeugte "forDelete.xml" nach "D:\Update\Epg" (der Activy) kopieren.
2. der rest ist wie bei der Vorgehensweise des Imports.

Der Import wurde von mir noch nicht durchgeführt.
Sollte aber funktionieren.

Im Zweifelsfall kann man die EPG-Datenbank ja wieder zurücksetzten (sieh oben) und den TVTV-EPG Import wieder aktivieren.


Dass umwandeln von ca. 16000 EPG-Einträgen lief bei mir auf 42 Sec. durch.
(Ich denke mal dass ist akzeptabel!)

Würde mich über die ersten Testuser freuen.

Wenn dann alles so geht mach ich mich an eine Automatisierte geschichte und die erweiterung der Sender.


Gruß Dominik
Activy 330 (2x SAT; Produktivsystem)
Software: 1.6.115 SR4 mit Vollzugriff Deluxe, Parallel laufend Gen2VDR 2.0 (mittels Grub Bootmanager auswählbar)
Hardware: 2x Original FSI-SAT (Budget) und Original Common Interface; 250GB HDD

Activy 300 (1x SAT; Testsystem)
Software: 1.6.115 SR5 mit Vollzugriff Deluxe
Hardware: Celeron 800 Mhz, 128MB SDRAM, 150GB, 1x Original FSI-SAT (Budget) und Original Common Interface

chefinen
Posts: 247
Joined: Fri Feb 17, 2006 10:07
Product(s): Activy Media Center 330 mit 2xSAT und CI
Activy Media Center 300 mit 1xSAT
Location: Straubing

Re: Alternativer EPG-Import

Postby chefinen » Wed Aug 05, 2009 23:40

N'abend,

konnte heute selbst testen.
Die XML Datei wird vom AMC erkannt und verabreitet.
Leider schein es ein Problem beim Providermapping zu geben.
D.h. bei jeder AMC ist das Mapping anders.
Dass kriegt man aber nur in den Datenbank über die Tabelle "EPGMAPDVB" heraus.
Da ich im moment keinen direkten Zugriff auf die Tabelle hab, kann ich dass noch nicht genau bestätigen. Wenn jedoch meine Annahme stimmt, muss der EPG-Import für jede Activy manuell angepasst werden.

Ich hab da auch schon eine Idee, die erfordert jedoch extremes XML und XSLT wissen ( Programmierung) dass ich nicht habe.
(erbitte hiermit um Programmiertechnische Hilfe!)


Ich schreibe noch näheres wenn ich die entsprechenden Erkenntnisse habe.

Wünsch noch ne schöne Nacht

Gruß Dominik
Activy 330 (2x SAT; Produktivsystem)
Software: 1.6.115 SR4 mit Vollzugriff Deluxe, Parallel laufend Gen2VDR 2.0 (mittels Grub Bootmanager auswählbar)
Hardware: 2x Original FSI-SAT (Budget) und Original Common Interface; 250GB HDD

Activy 300 (1x SAT; Testsystem)
Software: 1.6.115 SR5 mit Vollzugriff Deluxe
Hardware: Celeron 800 Mhz, 128MB SDRAM, 150GB, 1x Original FSI-SAT (Budget) und Original Common Interface


Return to “Vollzugriff Deluxe”

Who is online

Users browsing this forum: No registered users and 1 guest