Details

Autor(en) / Beteiligte

• Hasnain, Asif
• Karl, Holger[Akademischer Betreuer]
• Meyer auf der Heide, Friedhelm[Akademischer Betreuer]
• Plessl, Christian[Akademischer Betreuer]
• Schomaker, Gunnar[Akademischer Betreuer]
• Somorovsky, Juraj[Akademischer Betreuer]

Titel

Automating network resource allocation for coflows with deadlines

Ort / Verlag

Paderborn

Erscheinungsjahr

2021

Link zum Volltext

• Hochschulschriften Visual Library - Scan2Web Hochschulschriften UB Paderborn (s2w-hsspadubpb)
• Hochschulschriften Visual Library - Scan2Web Hochschulschriften UB Paderborn (s2w-hsspadubpb)

Link zu anderen Inhalten

• Volltext
• Volltext

Verknüpfte Titel

Beschreibungen/Notizen

• Tag der Verteidigung: 12.11.2021
• ger: Die Coflow-Abstraktion wird zur Spezifikation der Netzressourcenanforderungen von datenparallelen Anwendungen verwendet. Sie repräsentiert korrelierte Flüsse in Datenflussmodellen wie MapReduce oder Partition-Aggregate. In dieser Dissertation zeige ich, dass manuell entworfene Online-Coflow-Scheduler zur Zuweisung von Datenraten an solche Flüsse durch einen auf Reinforcement Learning (RL) basierenden Coflow-Scheduler ersetzt werden können. Dies automatisiert die Zuweisung von Netzressourcen an Coflows über den Entwurf eines Verfahrens hinaus. Konkret lernt ein RL-basierter Coflow-Scheduler Planungsrichtlinien, um ein Leistungsziel von Coflows zu optimieren, z. B. die Maximierung der Coflow-Zulassungen bei gleichzeitiger Einhaltung ihrer Fristen. In dieser Dissertation habe ich drei Hauptbeiträge geleistet: Zunächst stelle ich eine neue Coflow-Heuristik vor, die freigegebene Netzressourcen von Coflows nutzt, die vor Fristablauf einer anderen Coflow-Anforderung enden und diese an andere, ggf. neue Coflows zuweist. Dann zeige ich, dass Flow-oder Coflow-Heuristiken im Allgemeinen dazu neigen, bei der Maximierung der (Co)Flow-Zulassungen schlecht abzuschneiden, wenn im Datenverkehr stochastische Flows oder Coflows ankommen. Als Nächstes zeige ich, dass ein Online-Flow-Scheduler mit Hilfe von Reinforcement Learning eine Scheduling-Politik zur Maximierung der Flow-Zulassungen erlernen kann. Schließlich zeige ich, wie ein Coflow-Scheduler bei stochastischen Coflow-Ankünften Strategien erlernen kann, um die Coflow-Zulassungen zu maximieren und gleichzeitig ihre Fristen einhalten.
• eng: The coflow abstraction is used for specifying network resource requirements of data-parallel applications. It represents correlated flows in data flow models like MapReduce and partition-aggregate. In this dissertation, I mainly demonstrate that hand-crafted online coflow schedulers --- to allocate data rates to correlated flows --- can be replaced with a reinforcement learning (RL) based coflow scheduler to automate network resource allocation of coflows for data-parallel applications. Specifically, an RL-based coflow scheduler learns scheduling policies to optimize for a high-level performance objective of coflows, for example, maximize coflow admissions while meeting their deadlines. In this dissertation, I have made three main contributions: I first present a new coflow heuristic that leverages released network resources of active coflows finishing before the deadline of a new coflow request. I then show that flow or coflow heuristics, in general, are prone to under-perform in maximizing (co)flow admissions because of stochastic flow or coflow arrivals in data traffic. Next, I demonstrate that an online flow scheduler can learn a scheduling policy to maximize flow admissions using reinforcement learning. Finally, I show how a coflow scheduler can learn policies in the presence of stochastic coflow arrivals to maximize coflow admissions while meeting their deadlines.