Details

Autor(en) / Beteiligte

• Demir, Caglar
• Ngonga Ngomo, Axel-Cyrille[Akademischer Betreuer]
• Auer, Sören[Akademischer Betreuer]
• Peitz, Sebastian[Akademischer Betreuer]

Titel

Learning continuous representations for Knowledge Graphs

Ort / Verlag

Paderborn

Erscheinungsjahr

2023

Verknüpfte Titel

Beschreibungen/Notizen

• Tag der Verteidigung: 23.06.2023
• ger: In den letzten zwei Jahrzehnten haben wir eine technologische Revolution erlebt,bei der Deep Learning zweifellos eine zentrale Rolle spielt. Die Idee von lernendenkontinuierlichen Vektordarstellungen für Eingaben hat in den letzten Jahren zu vielenwissenschaftlichen und industriellen Erfolgen beigetragen.Diese Arbeit befasst sich mit dem lernenden kontinuierlichen Vektordarstellungenfür Wissensgraphen. Obwohl graphenstrukturierte Daten in der Natur allgegenwärtigsind, können die meisten Algorithmen für maschinelles Lernen nicht direkt auf solchediskreten Daten angewendet werden. Zur Lösung von Lernproblemen, die über graphen-strukturierte Daten definiert sind, ist daher ein Feature-Engineering-Prozess erforder-lich, um die meisten maschinellen Lernalgorithmen zu nutzen. Dieser Prozess ist jedochoft kostspielig, mühsam und manchmal sogar undurchführbar. In dieser Arbeit schlagenwir acht Modelle zur Einbettung von Wissensgraphen vor, die kontinuierliche Vek-tordarstellungen erlernen, um die State-of-the-Art-Leistung bei Benchmark-Aufgabenwie der Vorhersage von Beziehungen, der Vorhersage von Links und dem Lernen vonBeschreibungslogikkonzepten zu verbessern. Durch lernende kontinuierliche Reprä-sentationen werden Algorithmen des maschinellen Lernens für grafisch strukturierteDaten zugänglich. Darüber hinaus stellen wir eine Dekompositionstechnik vor, die dieParametereffizienz eines Modells durch das Lernen komprimierter kontinuierlicher Vek-tordarstellungen verbessert. Außerdem stellen wir eine Parameter-Ensemble-Technikvor, die die Generalisierungsleistung eines Modells bei der Vorhersage von Verbindun-gen praktisch ohne zusätzliche Kosten steigert. Schließlich demonstrieren wir jeweilsein industrielles und ein wissenschaftliches Anwendungsbeispiel auf der Grundlageunserer wissenschaftlichen und softwaretechnischen Beiträge.Abschlie
• eng: For the last two decades, we have been witnessing a technological revolution, whereDeep Learning undoubtedly plays a pivotal role. The idea of learning continuous vectorrepresentations for inputs has been instrumental in many recent scientific and industrialsuccess stories.This thesis is concerned with learning continuous vector representations for knowl-edge graphs. Although graph-structured data is ubiquitous in the nature, most machinelearning algorithms cannot be directly applied on such discrete data. A feature engi-neering process is necessary to leverage most machine learning algorithms on learningproblems defined over graph-structured data. Yet, this process is often is costly, arduousand sometimes even infeasible. In this thesis, we propose eight knowledge graph em-bedding models (Pyke, Shallom, ConEx, QMult, OMult, ConvQ, ConvO, and NeRo) thatlearn continuous vector representations to improve the state-of-the-art performancein benchmark tasks such as relation prediction, link prediction, and description logicconcept learning. Through learning continuous representations, machine learningalgorithms become amenable to graph-structured data. Additionally, we introducea decomposition technique (KronE) that improves a models parameter efficiency bylearning compressed continuous vector representations. We also present a parameterensemble technique (PPE) to boosts the generalization performance of a model in linkprediction with virtually no additional cost. Finally, we demonstrate an industrial andscientific use cases based on our scientific and software contributions.We conclude this with our future research directions that center around applying theErlangen Programme mindset to unify “a veritable zoo of knowledge graph embeddingmodels” on static, temporal and dynamic knowledge graphs.