OPUS


Volltext-Downloads (blau) und Frontdoor-Views (grau)

Analysis of Continuous Learning Strategies at the Example of Replay-Based Text Classification

Analyse von Strategien für Kontinuierliches Lernen am Beispiel Replay-Basierter Textklassifikation

  • Continuous learning is a research field that has significantly boosted in recent years due to highly complex machine and deep learning models. Whereas static models need to be retrained entirely from scratch when new data get available, continuous models progressively adapt to new data saving computational resources. In this context, this work analyzes parameters impacting replay-based continuous learning approaches at the example of a data-incremental text classification task using an MLP and LSTM. Generally, it was found that replay improves the results compared to naive approaches but achieves not the performance of a static model. Mainly, the performances increased with more replayed examples, and the number of training iterations has a significant influence as it can partly control the stability-plasticity-trade-off. In contrast, the impact of balancing the buffer and the strategy to select examples to store in the replay buffer were found to have a minor impact on the results in the present case.
  • Kontinuierliches Lernen ist ein Forschungsgebiet, das in den letzten Jahren durch komplexe Machine- und Deep-Learning-Modelle einen enormen Aufschwung erfahren hat. Während statische Modelle komplett neu trainiert werden müssen, wenn neue Daten zur Verfügung stehen, passen sich kontinuierliche Modelle schrittweise an neue Daten an und sparen so Rechenressourcen. In diesem Zusammenhang untersucht diese Arbeit Parameter, die sich auf replay-basierte kontinuierliche Lernansätze auswirken, am Beispiel einer Dateninkrementellen Textklassifizierungsaufgabe unter Verwendung eines MLPs und eines LSTMs. Es wurde festgestellt, dass Replay die Ergebnisse im Vergleich zu trivialen Ansätzen verbessert, aber nicht die Leistung statischer statischer Modelle erreicht. Hauptsächlich stieg die Leistung mit einer höheren Anzahl von wiedergegebenen Beispielen, und die Anzahl der Trainingsiterationen hat einen großen Einfluss gezeigt, da sie den Stability-Plasticity-Trade-Off teilweise steuern kann. Im Gegensatz dazu wurde festgestellt, dass die Auswirkungen eines ausbalancierten Replay-Puffers und der Strategie zur Auswahl der Beispiele für die Speicherung im Puffer im vorliegenden Fall nur geringe Auswirkungen auf die Ergebnisse hatten.

Download full text files

Export metadata

Additional Services

Search Google Scholar

Statistics

frontdoor_oas
Metadaten
Author:Christoph Demus
Advisor:Dirk Labudde, Michael Spranger
Document Type:Master's Thesis
Language:English
Year of Completion:2023
Granting Institution:Hochschule Mittweida
Release Date:2023/12/07
GND Keyword:Maschinelles Lernen
Page Number:75
Institutes:Angewandte Computer‐ und Bio­wissen­schaften
DDC classes:006.31 Maschinelles Lernen
Open Access:Frei zugänglich
Licence (German):License LogoUrheberrechtlich geschützt