{"id":55000502,"date":"2020-10-01T00:00:00","date_gmt":"2020-10-01T00:00:00","guid":{"rendered":"http:\/\/access-basics.de\/502"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-30T00:00:00","slug":"Filmdatenbank_Teil_2_Daten_importieren","status":"publish","type":"post","link":"https:\/\/access-basics.de\/index.php\/Filmdatenbank_Teil_2_Daten_importieren.html","title":{"rendered":"Filmdatenbank, Teil 2: Daten importieren"},"content":{"rendered":"

\"\"<\/p>\n

Im zweiten Teil der Artikelreihe zum Thema Filmdatenbank wollen wir einen genaueren Blick auf die zu importierenden Daten der Filmdatenbank IMDB werfen. Diese kann man als Archive aus dem Internet herunterladen und dann als Textdateien entpacken. In diesem Artikel schauen wir uns an, wie die Daten aus den Textdateien aufgebaut sind und wie wir diese in die Tabellen unseres Datenmodells importieren können.<\/p>\n

Beispieldatenbank<\/h2>\n

Die Beispiele dieses Artikels finden Sie in der Datenbank 2005_Filmdatenbank.accdb<\/b>.<\/p>\n

Download der Beispieldaten<\/h2>\n

Die Beispieldaten finden Sie unter dem folgenden Link:<\/p>\n

https:\/\/datasets.imdbws.com\/<\/pre>\n
Die dort enthaltenen Dateien laden wir zunächst auf unseren lokalen Rechner herunter. Dann entpacken wir diese. Leider haben alle Dateien in den .gz<\/b>-Archiven den Dateinamen data.tsv<\/b>.<\/p>\n
Daher müssen wir diese nach dem Entpacken Stück für Stück umbenennen. Wir wählen als Dateinamen den Namen der Archivdatei und ersetzen nur die Dateiendung .tsv.gz <\/b>durch .txt<\/b>.<\/p>\n
Danach sieht unser Verzeichnis mit den zu importierenden Textdateien wie in Bild 1 aus. Hier ist unschwer zu erkennen, dass wir es mit enormen Datenmengen zu tun haben – die größte Datei ist 1,8 GB groß. Eine Access-Datenbank darf maximal 2 GB groß sein.<\/p>\n
\"Textdateien<\/a><\/p>\n
Bild 1: Textdateien mit den zu importierenden Daten<\/p>\n
Wer nun denkt, dass wir diese Datenmengen unmöglich in eine Access-Datenbank importieren können, könnte Recht haben – aber die Dateien enthalten sehr viele redundante Daten, deren Platzbedarf wir gegebenenfalls durch Anlegen von Lookuptabellen und Fremdschlüsselfeldern verringern können.<\/p>\n
Als Nächstes schauen wir uns den Inhalt der einzelnen Dateien an.<\/p>\n
Basisdaten der Filme<\/h2>\n
Die in title.basics.tsv.gz <\/b>enthaltene Datei, die wir in title.basics.txt <\/b>umbenannt haben, liefert die Basisdaten zu den Filmen. Dazu gehören unter anderen der Filmtyp, der primäre Titel, der Originaltitel, das Startjahr, die Dauer und eine kommaseparierte Liste der Genres.<\/p>\n
Die Daten sind als Liste mit je einem Eintrag pro Zeile und in Spalten, die durch das Tabulator-Zeichen getrennt sind, gespeichert (siehe Bild 2).<\/p>\n
\"Basisdaten<\/a><\/p>\n
Bild 2: Basisdaten der Filme<\/p>\n
Basisdaten in der Datenbank verfügbar machen<\/h2>\n
Das heißt, dass wir diese Dateien in der Datenbank als verknüpfte Tabelle verfügbar machen können, was wir auch direkt erledigen. Dazu wählen Sie in Access den Ribbon-Befehl Externe Daten|Neue Datenquelle|Aus Datei|Textdatei <\/b>aus.<\/p>\n
Im nun erscheinenden Dialog Externe Daten – Textdatei <\/b>wählen Sie den Dateinamen der zu verknüpfenden Textdatei aus. Dann selektieren Sie die Option Erstellen Sie eine Verknüpfung zur Datenquelle, in dem Sie eine verknüpfte Tabelle erstellen<\/b>.<\/p>\n
Nach einem Klick auf die Schaltfläche OK <\/b>erscheint der Dialog Textverknüpfungs-Assistent<\/b>. Hier klicken Sie auf der ersten Seite auf Weiter<\/b>. Auf der zweiten Seite stellen Sie sicher, dass als Trennzeichen Tabulatorzeichen <\/b>ausgewählt ist. Außerdem aktivieren Sie die Option Erste Zeile enthält Feldnamen<\/b> (siehe Bild 3).<\/p>\n
\"Textdatei<\/a><\/p>\n
Bild 3: Textdatei verknüpfen<\/p>\n
Im nächsten Schritt könnten wir noch die Feldnamen anpassen. Da wir die Daten nur temporär benötigen, wollen wir hier keine Änderungen vornehmen und klicken auf Weiter<\/b>. Im letzten Schritt ist noch der Name der verknüpften Tabelle festzulegen. Hier legen wir entsprechend dem Dateinamen den Namen tblTitleBasics <\/b>fest.<\/p>\n
Danach wird die Verknüpfung hergestellt. Wenn Sie die Verknüpfung durch einen Doppelklick auf den Eintrag tblTitleBasics<\/b> öffnen, erscheint die Tabelle aus Bild 4.<\/p>\n
\"Basisdaten<\/a><\/p>\n
Bild 4: Basisdaten der Filme in einer verknüpften Tabelle<\/p>\n
Darsteller und andere Personen<\/h2>\n
Die zweite Datei heißt nach dem Entpacken und Umbenennen name.basics.txt<\/b>. Sie enthält die Daten wie in Bild 5. Dabei handelt es sich um die Personen des Filmbusiness, die verschiedene Aufgaben ausführen. Die Datei enthält einen eindeutigen Identifizierer, den Namen, Geburts- und Todesjahr sowie zwei kommaseparierte Listen. Die erste enthält die ausgeführten Aufgaben wie soundtrack<\/b>, actor<\/b>, actress<\/b>, writer<\/b>, director <\/b>und so weiter. Die zweite enthält die eindeutigen Identifizierer der Filmtitel aus der Datei title.basics.txt<\/b>, für welche die jeweilige Person bekannt ist.<\/p>\n
\"Die<\/a><\/p>\n
Bild 5: Die Datei name.basics.txt mit den Darstellern<\/p>\n
Diese Datei binden wir genau wie die erste als verknüpfte Tabelle ein und nennen diese tblTitleBasics<\/b>.<\/p>\n
Filmbezeichnungen in verschiedenen Ländern<\/h2>\n
Die Datei title.akas.txt <\/b>enthält Informationen darüber, wie die Filme in anderen Ländern heißen (akas <\/b>steht für as known as<\/b>). Je nach Bekanntheit des Films gibt es einige wenige bis zu über 100 verschiedene Bezeichnungen in den verschiedenen Sprachen. Die Datei ist so aufgebaut, dass in der ersten Spalte der eindeutige Identifizierer des Films aus der Datei title.basics.txt <\/b>genannt wird. Die zweite enthält die Nummer der Übersetzung, die dritte den Titel in der jeweiligen Sprache. Danach folgt das Kürzel für die Region, gefolgt von der Sprache. Diese Datei verknüpfen wir unter dem Namen tblTitleAkas<\/b>.<\/p>\n
Tipp: Wenn Sie die Datei als Verknüpfung in der Datenbank verfügbar gemacht haben, versuchen Sie nicht, darin zu suchen oder die Daten zu sortieren. Bei über 24 Millionen Datensätzen blockiert das die Anwendung für längere Zeit. Besser, Sie öffnen die Verknüpfungen mit den sehr großen Dateien erst gar nicht …<\/p>\n
Regisseure und Autoren<\/h2>\n
Die Datei title.crew.txt <\/b>enthält die Regisseure und Autoren eines Films. Die Datei enthält in der ersten Spalte wieder den eindeutigen Identifizierer für den Film. Die zweite Spalte enthält eine kommaseparierte Liste mit dem oder den Regisseuren.<\/p>\n
Die dritte schließlich liefert die Autoren. Wenn kein Autor vorhanden ist, wird dies durch die Zeichenkette \\N <\/b>dargestellt (siehe Bild 6).<\/p>\n
\"Regisseure<\/a><\/p>\n
Bild 6: Regisseure und Autoren<\/p>\n
Serienepisoden<\/h2>\n
Die Datei title.episode.txt <\/b>enthält die Zuordnungen von Serienepisoden zu den jeweiligen Titeln. Titel und Episoden werden beide als Einträge der zuerst beschriebenen Datei title.basics.txt <\/b>geführt.<\/p>\n
Die Datei title.episode.txt <\/b>enthält in der ersten Spalte den eindeutigen Identifizierer der Episode und in der zweiten den des übergeordneten Serienelements. Danach folgen die Nummern der Staffel sowie der Episode (siehe Bild 7).<\/p>\n
\"Zuordnung<\/a><\/p>\n
Bild 7: Zuordnung von Episoden zu Serien<\/p>\n
Zuteilung von Personen zu Filmen<\/h2>\n
Die Datei title.principals.txt <\/b>enthält die Zuordnung der Personen aus der Datei title.crew.txt <\/b>zu den Filmen aus title.basics.txt<\/b>.<\/p>\n
Dabei nimmt die erste Spalte den Film auf, die zweite die Reihenfolge, die dritte den Namen der Person und die vierte die Aufgabe, also beispielsweise director<\/b>, composer <\/b>oder actor<\/b> (siehe Bild 8).<\/p>\n
\"Zuordnung<\/a><\/p>\n
Bild 8: Zuordnung von Personen mit Aufgabe zu den Filmen<\/p>\n
Bewertungen der Filme<\/h2>\n
Die letzte Datei heißt nach dem Entpacken und Umbenennen title.ratings.txt <\/b>und enthält die durchschnittliche Bewertung inklusive der Anzahl der Benutzer, aufgrund derer die Bewertung zustande gekommen ist (siehe Bild 9).<\/p>\n
\"Bewertungen<\/a><\/p>\n
Bild 9: Bewertungen der Filme<\/p>\n
Grundlegendes zum Import der Daten<\/h2>\n
Der Datenexport der IMDB-Filmdatenbank bietet eine sehr praktische Eigenschaft: Die Verknüpfung zwischen den verschiedenen Daten ist bereits enthalten beziehungsweise die wichtigsten Elemente wie Filme, Personen et cetera weisen bereits eine Art Primärschlüssel auf. Dieser wird sogar von anderen Dateien als Fremdschlüssel verwendet. So finden wir in der Datei title.basics.txt <\/b>eindeutige Werte wie tt000001<\/b>.<\/p>\n
In der Datei title.principals.txt <\/b>finden wir diese Werte in der Spalte tconst <\/b>wieder. Diese enthalten eindeutige Daten in der Spalte nconst<\/b>, wie zum Beispiel nm1588970<\/b>. Diese Werte können wir, wenn wir die führenden Buchstaben wie tt <\/b>oder nm <\/b>entfernen, direkt als Primärschlüsselwerte nutzen und per INSERT INTO<\/b>-Abfrage in die Zieltabellen schreiben.<\/p>\n
Filme importieren<\/h2>\n
Die Tabelle tblTitleBasics <\/b>mit den Originalfilmen können wir fast 1:1 in die Zieltabelle tblFilme<\/b> übernehmen. Die einzigen Daten, die wir aus tblTitleBasics <\/b>benötigen und die nicht in der Tabelle tblFilme <\/b>landen sollen, sind die Genres. Diese werden wir im Anschluss einzeln behandeln.<\/p>\n
Die Daten aus der verknüpften Textdatei tblTitleBasics <\/b>schreiben wir mit der INSERT INTO<\/b>-Abfrage aus Bild 10 in die Tabelle tblFilme<\/b>. Dazu erstellen Sie eine Auswahlabfrage auf Basis der Tabelle tblTitleBasics<\/b> und ändern Sie danach den Typ zu Anfügeabfrage<\/b>. Wählen Sie die Tabelle tblFilme <\/b>als Ziel aus und bestimmen Sie die Zielfelder wie in der Zeile Anfügen an <\/b>dargestellt. Für die Werte der ersten Spalte ersetzen wir die Buchstaben tt <\/b>durch eine leere Zeichenkette, damit nur der reine ID-Wert im Primärschlüsselfeld landet. Die beiden Felder startYear <\/b>und runtimeMinutes <\/b>können in der Textdatei den Wert \\N <\/b>enthalten. Diesen ersetzen wir gegebenenfalls per Replace durch den Wert 0<\/b>.<\/p>\n
\"INSERT<\/a><\/p>\n
Bild 10: INSERT INTO-Abfrage zum Füllen der Tabelle tblFilme<\/p>\n
Genres importieren und zuweisen<\/h2>\n
Möchten Sie weiterlesen? Dann lösen Sie Ihr Ticket!<\/span>
\nHier geht es zur Bestellung des Jahresabonnements des Magazins Access [basics]<\/strong>:<\/span>
\nZur Bestellung ...<\/a><\/span>
\nDanach greifen Sie sofort auf alle rund 400 Artikel<\/strong> unseres Angebots zu - auch auf diesen hier!<\/span>
\nOder haben Sie bereits Zugangsdaten? Dann loggen Sie sich gleich hier ein:<\/span><\/p>\n<\/div>\n\n\t\n\t
\n\n\t\t\n\t\t