On Knowledge Transfer in Deep Learning: The Roles of Disentanglement, Modularity, and Meta-learning

Die bemerkenswerte Fähigkeit des menschlichen Gehirns, sich nahtlos an neue Situationen anzupassen, indem es auf vorhandenes Wissen zurückgreift und gelernte Konzepte in einer Vielzahl von Kontexten anwendet, demonstriert seine außergewöhnliche Stärke in der Fähigkeit zum Wissenstransfer. Diese Eigenschaft der menschlichen Intelligenz hat die Entwicklung künstlicher neuronaler Netzwerke inspiriert, die versuchen, menschenähnliche Lern- und Wissenstransferfähigkeiten zu emulieren. Obwohl tiefe neuronale Netzwerke (DNNs) beeindruckende Leistungen bei verschiedenen Aufgaben gezeigt haben, kämpfen sie oft damit, Wissen über verschiedene Datendistributionen hinweg zu generalisieren und zu übertragen. Induktive Verzerrungen, inspiriert von kognitiven Mechanismen und der zugrundeliegenden Struktur innerhalb der Daten, gelten als entscheidend für die Verbesserung solcher Generalisierungsfähigkeiten. Diese Dissertation untersucht die Rolle von drei spezifischen induktiven Verzerrungen - Entflechtung, Modularität und Meta-Lernen - bei der Erleichterung von Wissenstransfer und Generalisierung in DNNs. Zuerst untersuchen wir die Entflechtung, indem wir erforschen, wie das Lernen strukturierter Datenrepräsentationen durch Isolierung der zugrundeliegenden Variationsfaktoren verbesserte Generalisierung und effizientes Transferlernen ermöglicht. Wir untersuchen das Lernen entflechteter Repräsentationen für sequenzielle Daten und Bilder. Für sequenzielle Daten führen wir eine neue Klasse von Zustandsraummodellen ein, die Entflechteten Zustandsraummodelle (DSSMs), die explizit domänenunabhängige Zustandsdynamiken von domänenspezifischen Informationen trennen. Mit simulierten Daten untersuchen wir, wie entflechtete Repräsentationen von Sequenzen den Wissenstransfer, die Sequenzmanipulation und die Domänencharakterisierung verbessern. Für bildbasierte Aufgaben führen wir den ersten realweltlichen Entflechtungsdatensatz, MPI3D, ein, der in einer kontrollierten Umgebung mit bekannten Grundwahrheitsfaktoren aufgenommen wurde. Wir stellen außerdem zwei weitere Datensätze vor, die das experimentelle Setup simulieren. Anschließend bewerten wir die Leistung von Algorithmen zum unüberwachten Entflechten anhand der neuen Datensätze und untersuchen systematisch, wie simulierte Datensätze genutzt werden können, um bessere Repräsentationen der realen Welt zu erstellen. Als Nächstes befassen wir uns mit der Modularität, die die Entwicklung wiederverwendbarer, unabhängiger Komponenten neuronaler Netzwerke umfasst, inspiriert von unabhängigen kausalen Mechanismen. Wir stellen Neural Interpreters (NI) vor, eine neuartige aufmerksamkeitsbasierte Architektur, die für kompositionelles Denken und Wiederverwendung von Wissen konzipiert ist. Wir demonstrieren ihre Wirksamkeit in Aufgaben der Bildklassifikation und abstrakten Denkaufgaben und zeigen verbessertes transfer-effizientes Lernen und systematische Generalisierungsfähigkeiten. Zuletzt erkunden wir die induktive Verzerrung des Meta-Lernens und des kontrastiven Lernens mit dem Ziel, übertragbare Meta-Repräsentationen von datengenerierenden Funktionen zu lernen. Wir schlagen das Function Contrastive Representation Learning (FCRL) vor, eine Methode, die kontrastives Lernen nutzt, um unabhängig von nachgelagerten Vorhersageaufgaben Funktionenrepräsentationen durch Meta-Lernen zu erlernen. Die gelernten Repräsentationen werden dann verwendet, um eine Vielzahl von nachgelagerten Aufgaben zu lösen, die auf einer gegebenen Funktion basieren. Im Verlauf der Arbeit führen wir umfassende experimentelle Bewertungen an simulierten und realweltlichen Datensätzen durch, die die Wirksamkeit der vorgeschlagenen induktiven Verzerrungen bei der Förderung des Wissenstransfers und der Generalisierung in DNNs demonstrieren. Wir diskutieren auch die Herausforderungen und Grenzen der Einbeziehung induktiver Verzerrungen und schlagen zukünftige Forschungsrichtungen vor, um die Fähigkeiten von Deep-Learning-Modellen für einen besseren Wissenstransfer und Generalisierung außerhalb der Verteilung weiterzuentwickeln.