Refine
Document Type
- Master's Thesis (30)
- Bachelor Thesis (23)
- Conference Proceeding (4)
- Diploma Thesis (1)
- Final Report (1)
Year of publication
Keywords
- Maschinelles Lernen (59) (remove)
Institute
As new sensors are added to VR headsets, more data can be collected. This introduces a new potential threat to user privacy. We focused on the feasibility of extracting personal information from eye-tracking. To achieve this, we designed a preliminary user study focusing on the pupil response to audio stimuli. We used a variation of machine learning models to test the collected data to determine the feasibility of obtaining information such as the age or gender of the participant. Several of the experiments show promise for obtaining this information. We were able to extract with reasonable certainty whether caffeine was consumed and the gender of the participant. This demonstrates the unknown threat that embedded sensors pose to users. A further studies are planned to verify the results.
Diese Arbeit beschäftigt sich mit dem Erstellen semantischer Encodings von Bilddaten. Um diese Kodierungen aus den Daten zu extrahieren, wird ein künstliches neuronales Netzwerk auf
Videobild Interpolation trainiert. Die daraus erlernten Encodings sollen anschließend auf ihre Anwendbarkeit in einer anderen Aufgabe der KI gestützten Bildverarbeitung, der Extraktion von Landmarken auf Menschen, getestet werden.
Machine learning models for timeseries have always been a special topic of interest due to their unique data structure. Recently, the introduction of attention improved the capabilities of recurrent neural networks and transformers with respect to their learning tasks such as machine translation. However, these models are usually subsymbolic architectures, making their inner working hard to interpret without comprehensive tools. In contrast, interpretable models such learning vector quantization are more transparent in the ability to interpret their decision process. This thesis tries to merge attention as a machine learning function with learning vector quantization to better handle timeseries data. A design on such a model is proposed and tested with a dataset used in connection with the attention based transformers. Although the proposed model did not yield the expected results, this work outlines improvements for further research on this approach.
In this paper, we conduct experiments to optimize the learning rates for the Generalized Learning Vector Quantization (GLVQ) model. Our approach leverages insights from cog- nitive science rooted in the profound intricacies of human thinking. Recognizing that human-like thinking has propelled humankind to its current state, we explore the applica- bility of cognitive science principles in enhancing machine learning. Prior research has demonstrated promising results when applying learning rate methods inspired by cognitive science to Learning Vector Quantization (LVQ) models. In this study, we extend this approach to GLVQ models. Specifically, we examine five distinct cognitive science-inspired GLVQ variants: Conditional Probability (CP), Dual Factor Heuristic (DFH), Middle Symmetry (MS), Loose Symmetry (LS), and Loose Symme- try with Rarity (LSR). Our experiments involve a comprehensive analysis of the performance of these cogni- tive science-derived learning rate techniques across various datasets, aiming to identify optimal settings and variants of cognitive science GLVQ model training. Through this research, we seek to unlock new avenues for enhancing the learning process in machine learning models by drawing inspiration from the rich complexities of human cognition. Keywords: machine learning, GLVQ, cognitive science, cognitive bias, learning rate op- timization, optimizers, human-like learning, Conditional Probability (CP), Dual Factor Heuristic (DFH), Middle Symmetry (MS), Loose Symmetry (LS), Loose Symmetry with Rarity (LSR).
Analysis of Continuous Learning Strategies at the Example of Replay-Based Text Classification
(2023)
Continuous learning is a research field that has significantly boosted in recent years due to highly complex machine and deep learning models. Whereas static models need to be retrained entirely from scratch when new data get available, continuous models progressively adapt to new data saving computational resources. In this context, this work analyzes parameters impacting replay-based continuous learning approaches at the example of a data-incremental text classification task using an MLP and LSTM. Generally, it was found that replay improves the results compared to naive approaches but achieves not the performance of a static model. Mainly, the performances increased with more replayed examples, and the number of training iterations has a significant influence as it can partly control the stability-plasticity-trade-off. In contrast, the impact of balancing the buffer and the strategy to select examples to store in the replay buffer were found to have a minor impact on the results in the present case.
Die immer größer werdenden virtuellen Welten von Computerspielen mit spannendem und glaubhaftem Inhalt zu füllen, ohne die Entwicklungszeit enorm in die Höhe zu treiben, ist eine der großen Herausforderungen für Spielentwickler heutzutage. Eine Möglichkeit dieses Problem anzugehen ist der Einsatz computergestützter Generierungsalgorithmen um manuellen Aufwand zu verringern. Die vorliegende Arbeit befasst sich mit der Umsetzung dreier Data-To-Text-Ansätze zum Zweck der automatischen Generierung von Questtexten aus einer Datenstruktur in der Spieleentwicklungsumgebung Unity. Die entstehenden Implementierungen werden im Anschluss evaluiert auf Eignung für den Anwendungsfall. Folgende Methoden zur Realisierung der Texte werden angewandt: Templating, Templating mit Template-Generierung aus einer kontextfreien Grammatik, sowie die Oberflächenrealisierungsbibliothek SimpleNLG
Recently a deep neural network architecture designed to work on graph- structured data have been capturing notice as well as getting implemented in various domains and application. However, learning representation (feature embedding) from graphical data picking pace in research and constructing graph(s) from dataset remains a challenge. The ability to map the data to lower dimensions further makes the task easier while providing comfort in applying many operations. Graph neural network (GNN) is one of the novel neural network models that is catching attention as it is outperforming in various applications like recommender systems, social networks, chemical synthesis, and many more. This thesis discusses a unique approach for a fundamental task on graphs; node classification. The feature embedding for a node is aggregated by applying a Recurrent neural network (RNN), then a GNN model is trained to classify a node with the help of aggregated features and Q learning supports in optimizing the shape of neural networks. This thesis starts with the working principles of the Feedforward neural network, recurrent units like simple RNN, Long short-term memory (LSTM), and Gated recurrent unit (GRU), followed by concepts of Reinforcement learning (RL) and the Q learning algorithm. An overview of the fundamentals of graphs, followed by the GNN architecture and workflow, is discussed subsequently. Some basic GNN models are discussed in brief later before it approaches the technical implementation details, the output of the model, and a comparison with a few other models such as GraphSage and Graph attention network (GAN).
In vielen Einsatzbereichen sind digitale Nachbildungen realer Gebäude von großer Wichtigkeit. Die Erstellung dieser Nachbildungen erfordert bei älteren bzw. historischen Gebäuden allerdings meist erheblichen Vermessungs- und Nachbearbeitungsaufwand mit großem Personal- und Zeitbedarf. Häufig wurde ein Gebäude stilistisch an die jeweilige Zeit angepasst, sodass einzelne Zustände nur mit historischem Bildmaterial reproduzierbar sind.
Am Beispiel mehrerer ausgewählter, aktuell existierender Gebäude der Stadt Mittweida sind realitätsnahe, digitale und veränderbare Modelle mittels eines möglichst automatisierten Workflows erstellt.
Die äußere Erscheinung dieser Modelle kann mit dem entwickelten System automatisiert an andere Stile anpasst werden, welche durch z.B. historisches Bildmaterials von Gebäuden vorgegeben sind. Aufgrund der vielfältigen Einsatzbereiche und weiten Verbreitung finden hierfür Verfahren der Photogrammetrie für die Erstellung und neuronale Netze für die Stilanpassung Anwendung, welche auf handelsüblicher Hardware eingesetzt werden können. Eine Evaluierung erfolgte durch bildlichen Vergleich der stilangepassten Modelle mit dem zugehörigen Bildmaterial.
Diese Masterarbeit zeigt einen Ansatz zur Vorhersage von Zugverspätungen mit Hilfe von Supervised Learning. Dazu werden Modelle mit verschiedenen Algorithmen getestet und miteinander verglichen. Außerdem wird gezeigt, wie das entwickelte Vorhersagemodell in eine Blockchain-Anwendung integriert werden kann.
In dieser Arbeit werden die algorithmischen Grundlagen der Machine Learning Verfahren LVQ1 und LVQ3 erläutert. Für LVQ3 werden mehrere Ansätze zur Anpassung der Lernrate betrachtet, die anschließend verglichen werden sollen. Dazu werden vier verschiedene Experimente durchgeführt, wobei zwei Datensätze Verwendung finden, deren Ursprung in medizinischen Bilddaten liegt.
This thesis investigates the efficacy of four machine learning algorithms, namely linear regression, decision tree, random forest and neural network in the task of lead scoring. Specifically, the study evaluates the performance of these algorithms using datasets without sampling and with random under-sampling and over-sampling using SMOTE. The performance of each algorithm is measure using various performance metrics, including accuracy, AUC-ROC, specificity, sensitivity, precision, recall, F1 score, and G-mean. The results indicate that models trained on the dataset without sampling achieved higher accuracy than those trained on the dataset with either random under-sampling or random over-sampling using SMOTE. However, the neural network demonstrated remarkable results on each dataset compared to the other algorithms. These findings provide valuable insights into the effectiveness of machine learning algorithms for lead scoring tasks, particularly when using different sampling techniques. The findings of this study can aid lead management practices in selecting the most suitable algorithm and sampling technique for their needs. Furthermore, the study contributes to the literature by providing a comprehensive evaluation of the performance of machine learning algorithms for lead scoring tasks. This thesis has practical implications for businesses looking to improve their lead management practices, and future research could extend the analysis to other machine learning algorithms or more extensive datasets.
Das Ziel dieser Masterarbeit ist die Evaluierung des Realtime Multi-Person 2D Pose Estimation Frameworks OpenPose. Dazu wird die Forschungsfrage gestellt, bis zu welcher Pixelgröße ein Mensch allgemein von dem System mit einer Sicherheit von über 50% richtig detektiert und dargestellt wird. Um die Forschungsfrage zu beantworten ist eine Studie mit sieben Probanden durchgeführt wurden. Aus der Datenerhebung geht hervor, dass der gesuchte Confidence Value zwischen 110px und 150px Körpergröße in von Menschen digitalen Bildern erreicht wird.
Diese Arbeit behandelt die Herleitung und Verwendung eines alternativen Unähnlichkeitsmaßes im Neural - Gas - Algorithmus. Dabei werden zuerst ausgewählte Algorithmen vorgestellt und in das Feld der Vektorquantisierer eingeordnet. Anschließend wird die sogenannte Tangentenmetrik mathematisch motiviert und vermutete Vorteile gegenüber anderen Metriken anhand künstlich
erzeugten und real existierenden Beispielen experimentell untersucht. Weiterhin werden die Laufzeitkomplexität und beobachtete Limitierungen des neuen Algorithmus näher beleuchtet.
In machine learning, Learning Vector Quantization (LVQ) is well known as supervised vector quantization. LVQ has been studied to generate optimal reference vectors because of its simple and fast learning algorithm [2]. In many tasks of classification, different variants are considered while training a model and a consideration of variants of large margin in LVQ helps to get significant
results [20]. Large margin LVQ (LMLVQ) is to maximize the distance between decision hyperplane and data points. In this thesis, a comparison of different variants of Generalized Learning Vector Quantization (GLVQ) and Large margin in LVQ is proposed along with visualization, implementation and experimental results.
Die vorliegende Arbeit beschäftigt sich mit der KI-gestützten Klassifikation von Flügelbildern verschiedener Spezies der Familie Calliphoridae, auch Schmeißfliege genannt. Hauptziel soll dabei die Klassifikation nach Gattung sowie nach Spezies sein. Außerdem soll eine automatische Landmarkendetektion auf Fliegenflügeln entwickelt werden und anschließend als Merkmalsextraktor für das Klassifikationsmodell dienen. Dabei werden unterschiedliche Methoden der Bildverarbeitung sowie des maschinellen Lernens angewandt, kombiniert und bezüglich der Ergebnisse analysiert und verglichen.
There are multiple ways to gain information about an individual and its health status, but an increasingly popular field in medicine has become the analysis of human breath, which carries a lot of information about metabolic processes within the individuals body. The information in exhaled breath consists of volatile (organic) compounds (VOCs). These VOCs are products of metabolic processes within the individuals body, thus might be an indicator for diseases disturbing those processes. The compounds are to be detected by mass-spectrometric (MS) or ion-mobility spectrometric (IMS) techniques, making the analysis of these compounds not only bounded to exhaled breath. The resulting data is spectral data, capturing concentrations of the VOCs indirectly through intensities. However, a number of about 3000 VOCs [1] could already be determined in human exhaled breath. The number of research paper about VOC-analysis and detection had risen nearly constantly over the last decade 1. Furthermore, the technique to identify VOCs could also be used to capture biomarker from alien species within the individuals body. Extracting VOCs from an individual can be done by non- or minimal invasive techniques. However, the manual identification of VOCs and biomarkers related to a certain disease or infection is not feasible due to the complexity of the sample and often unknown metabolic products, thus automized techniques are needed. [1–4] To establish breath analysis as a diagnosis tool, machine learning methodes could be used. Machine learning has become a popular and common technique when dealing with medical data, due to the rapid analysis. Taking this advantage, breath analysis using machine learning could become the model of choice for diagnosis, keeping in mind that conventional methodes are laboratory based and thus when trying detect bacterial infection need sometimes several days to identify the organism. [5]
In den letzten Jahren tauchten im Internet Videos auf, die Politiker bei sonderbaren Reden und Prominente in pornographischen Filmen zeigten. Dieses Videophänomen bezeichnet die Öffentlichkeit als Deepfakes. Das kommt daher, dass sie in Fakt fake sind, produziert mit Hilfe von „deep learning“ – einer Form von maschinellem Lernen. Viele Leute befürchten das durch Missbrauch dieser Videos vor allem für Fake News ernstzunehmende Folgen haben könne. Für sie ist diese Technologie ein wahr gewordener Albtraum in einer Welt in der Fake Videos Chaos verbreiten. Diese Arbeit versucht sich mit mehreren aufkommenden Software Programmen, die die Verbindung von Sprachsynthese und Filmmanipulation ermöglichen zu beschäftigen. Der Verfasser dieser Arbeit wird positive Anwendungen für die Technologien in Betrachtung ziehen genauso wie die potenziellen negativen Konsequenzen.
Drought is one of the most common and dangerous threats plants have to face, costing the global agricultural sector billions of dollars every year and leading to the loss of tons of harvest. Until people drastically reduce their consumption of animal products or cellular agriculture comes of age, more and more crops will need to be produced to sustain the ever growing human population. Even then, as more areas on earth are becoming prone to drought due to climate change, we may still have to find or breed plant varieties more suitable to grow and prosper in these changing environments.
Plants respond to drought stress with a complex interplay of hormones, transcription factors, and many other functional or regulatory proteins and mapping out this web of agents is no trivial task. In the last two to three decades or so, machine learning has become immensely popular and is increasingly used to find patterns in situations that are too complex for the human mind to overlook. Even though much of the hype is focused on the latest developments in deep learning, relatively simple methods often yield superior results, especially when data is limited and expensive to gather.
This Master Thesis, conducted at the IPK in Gatersleben, develops an approach for shedding light on the phenotypic and transcriptomic processes that occur when a plant is subjected to stress. It centers around a random forest feature selection algorithm and although it is used here to illuminate drought stress response in Arabidopsis thaliana, it can be applied to all kinds of stresses in all kinds of plants.
Genetic sequence variations at the level of gene promoters influence the binding of transcription factors. In plants, this often leads to differential gene expression across natural accessions and crop cultivars. Some of these differences are propagated through molecular networks and lead to macroscopic phenotypes. However, the link between promoter sequence variation and the variation of its activity is not yet well understood. In this project, we use the power of deep learning in 728 genotypes of Arabidopsis thaliana to shed light on some aspects of that link. Convolutional neural networks were successfully implemented to predict the likelihood of a gene being expressed from its promoter sequence. These networks were also capable of highlighting known and putative new sequence motifs causal for the expression of genes. We tested our algorithms in various scenarios, including single and multiple point mutations, as well as indels on synthetic and real promoter sequences and the respective performance characteristics of the algorithm have been estimated. Finally, we showed that the decision boundary to classify genes as expressed and non-expressed depends on the sensitivity of the transcriptome profiling assay and changing it has an impact on the algorithm’s performance.
Data streams change their statistical behaviour over the time. These changes can occur gradually or abruptly with unforeseen reasons, which may effect the expected outcome. Thus it is important to detect concept drift as soon as it occurs. In this thesis we chose distance based methodology to detect presence of concept drift in the data streams. We used generalized learning vector quantization(GLVQ) and generalized matrix learning vector quantization( GMLVQ) classifiers for distance calculation between prototypes and data points. Chi-square and Kolmogorov–Smirnov tests are used to compare the distance distributions of test and train data sets to indicate the drift presence.
Diese Arbeit beschäftigt sich damit, verschiedene Methoden des maschinellen Lernens zu testen und mit der Frage, ob es damit möglich ist, auffällige Anmeldungen zu erkennen. Es ist von Interesse, spezielle abnormale Anmeldemuster zu erkennen, welche im Kontext eines Angriffes genutzt werden. Diese können anschließend verwendet werden, um Angreifer bzw. kompromittierte Nutzer aus einem Netzwerk zu identifizieren. Die Schwierigkeit, dementsprechende auffällige Anmeldungen zu erkennen, steigt dabei mit zunehmender Anzahl an Angriffen. Des Weiteren beeinflusst die Vielfalt in den Verhaltensweisen die Erkennung. Demzufolge werden verschiedene Methoden getestet, mehrere Szenarien simuliert und anschließend werden anhand eines echten Testfalls die Methoden bzw. das Verfahren validiert. Als Endergebnis der Arbeit entstehen eine Software und ein Verfahren zur Erkennung von auffälligen Anmeldungen.
Soziale Netzwerke spielen eine große Rolle für die digitale Kommunikation. Menschen tauschen sich aus und teilen Informationen. Die große Anzahl an Nachrichten, die täglich veröffentlicht werden, stellt Entwickler vor ein großes Problem: den Mangel an Kontrolle. Obwohl es Regeln gibt, halten sich viele Nutzer nicht daran. Diese Problematik erfordert ein verbessertes System, welches toxische Inhalte erkennt und klassifiziert. Ziel der Arbeit war es, verschiedene Methoden für maschinelles Lernen zu kombinieren. Weiterhin wurden die Fragen beantwortet, was Toxizität in Verbindung mit sozialen Medien bedeutet und ob
Toxizität in einem linearen Zusammenhang mit Hasssprache steht. Das bestmögliche Ergebnis der Klassifizierung ist ein micro F1-Wert von 0.76192.
Sequences are an important data structure in molecular biology, but unfortunately it is difficult for most machine learning algorithms to handle them, as they rely on vectorial data. Recent approaches include methods that rely on proximity data, such as median and relational Learning Vector Quantization. However, many of them are limited in the size of the data they are able to handle. A standard method to generate vectorial features for sequence data does not exist yet. Consequently, a way to make sequence data accessible to preferably interpretable machine learning algorithms needs to be found. This thesis will therefore investigate a new approach called the Sensor Response Principle, which is being adapted to protein sequences. Accordingly, sequence similarity is measured via pairwise sequence alignments with different sequence alignment algorithms and various substitution matrices. The measurements are then used as input for learning with the Generalized Learning Vector Quantization algorithm. A special focus lies on sequence length variability as it is suspected to affect the sequence alignment score and therefore the discriminative quality of the generated feature vectors. Specific datasets were generated from the Pfam protein family database to address this question. Further, the impact of the number of references and choice of substitution matrices is examined.
In this thesis, we focus on using machine learning to automate manual or rule-based processes for the deduplication task of the data integration process in an enterprise customer experience program. We study the underlying theoretical foundations of the most widely used machine learning algorithms, including logistic regression, random forests, extreme gradient boosting trees, support vector machines, and generalized matrix learning vector quantization. We then apply those algorithms to a real, private data set and use standard evaluation metrics for classification, such as confusion matrix, precision, and recall, area under the precision-recall curve, and area under the Receiver Operating Characteristic curve to compare their performances and results.
Differentiation is ubiquitous in the field of mathematics and especially in the field of Machine learning for calculations in gradient-based models. Calculating gradients might be complex and require handling multiple variables. Supervised Learning Vector Quantization models, which are used for classification tasks, also use the Stochastic Gradient Descent method for optimizing their cost functions. There are various methods to calculate these gradients or derivatives, namely Manual Differentiation, Numeric Differentiation, Symbolic Differentiation, and Automatic Differentiation. In this thesis, we evaluate each of the methods mentioned earlier for calculating derivatives and also compare the use of these methods for the variants of Generalized Learning Vector Quantization algorithms.
Financial fraud for banks can be a reason for huge monetary losses. Studies have shown that, if not mitigated, financial fraud can lead to bankruptcy for big financial institutions and even insolvency for individuals. Credit card fraud is a type of financial fraud that is ever growing. In the future, these numbers are expected to increase exponentially and that’s why a lot of researchers are focusing on machine learning techniques for detecting frauds. This task, however, is not a simple task. There are mainly two reasons
• varying behaviour in committing fraud
• high level of imbalance in the dataset (the majority of normal or genuine cases largely outnumbers the number of fraudulent cases)
A predictive model usually tends to be biased towards the majority of samples, in an unbalanced dataset, when this dataset is provided as an input to a predictive model.
In this Thesis this problem is tackled by implementing a data-level approach where different resampling methods such as undersampling, oversampling, and hybrid strategies along with bagging and boosting algorithmic approaches have been applied to a highly skewed dataset with 492 idetified frauds out of 284,807 transactions.
Predictive modelling algorithms like Logistic Regression, Random Forest, and XGBoost have been implemented along with different resampling techniques to predict fraudulent transactions.
The performance of the predictive models was evaluated based on Receiver Operating CharacteristicArea under the curve (AUC-ROC), Precision Recall Area under the Curve (AUC-PR), Precision, Recall, F1 score metrics.
Embeddings for Product Data
(2022)
The E-commerce industry has grown exponentially in the last decade, with giants like Amazon, eBay, Aliexpress, and Walmart selling billions of products. Machine learning techniques can be used within the e-commerce domain to improve the overall customer journey on a platform and increase sales. Product data, in specific, can be used for various applications, such as product similarity, clustering, recommendation, and price estimation. For data from these products to be used for such applications, we have to perform feature engineering. The idea is to transform these products into feature vectors before training a machine learning model on them. In this thesis, we propose an approach to create representations for heterogeneous product data from Unite’s platform in the form of structured tabular records. These tables consist of attributes having different information ranging from product-ids to long descriptions. Our model combines popular deep learning approaches used in natural language processing to create numerical representations, which contain mostly non-zeros elements in an array or matrix called as dense representation for all products. To evaluate the quality of these feature vectors, we validate how well the similarities between products are captured by these dense representations. The evaluations are further divided into two categories. The first category directly compares the similarities between individual products. On the other hand, the second category uses these dense vectors in any of the above- mentioned applications as inputs. It then evaluates the quality of these dense representation vectors based on the accuracy or performance of the defined application. As result, we explain the impact of different steps within our model on the quality of these learned representations.
Die vorliegende Arbeit dient als Grundlage zur Umsetzung für eine automatisierte Klassifizierung von textuellen Fehlermeldungen. Das Hauptziel ist ein grundlegendes Verständnis für die Herangehensweise zum Aufbau eines maschinellen Lernsystems zu erreichen. Es werden verschiedene Arten des maschinellen Lernens erläutert. Auswahl und Aufbau eines Lernmodells werden von unterschiedlichen Seiten beleuchtet, um einen Überblick der einzelnen Schritte zu gewinnen. Zur Gewährleistung eines praktischen Lösungsansatz wurden bereits erste Tests mit einem ausgewählten Lernmodell durchgeführt.
Crowd-Powered Medical Diagnosis : The Potential of Crowdsourcing for Patients with Rare Diseases
(2023)
With the recent rise in medical crowdsourcing platforms,
patients with chronic illnesses increasingly broadcast their
medical records to obtain an explanation for their complex
health conditions. By providing access to a vast pool of
diverse medical knowledge, crowdsourcing platforms have
the potential to change the way patients receive a medical
diagnosis. We developed a conceptual model that details
a set of variables. To further the understanding of
crowdsourcing as an emerging phenomenon in health care,
we provide a contextualization of the various factors that
drive participants to exert effort. For this purpose, we used
CrowdMed.com as a platform from which we gathered and
examined a unique dataset that involves tasks of diagnosing
rare medical conditions. By promoting crowdsourcing
as a robust and non-discriminatory alternative to seeking
help from traditional physicians, we contribute to the acceptance
and adoption of crowdsourcing services in health
economics.
Offensive Sprache im Internet ist ein stark diskutiertes Problem in sozialen Medien. Angriffe richten sich oftmals gegen Einzelpersonen, können aber auch auf Gruppen und andere Strukturen abzielen. Die Erkennung angreifender Inhalte funktioniert in vielen Ansätzen bereits sehr gut. Die Erkennung der Ziele hingegen ist bisher nur wenig erforscht. Die vorliegende Arbeit befasst sich mit der Aufarbeitung des aktuellen Forschungsstandes zu offensiver gerichteter Sprache, den Grundlagen derer Erkennung und dem Vergleich verschiedener Ansätze. Die Auswirkungen von Vorverarbeitung und Parametrisierung der Modelle werden analytisch diskutiert.
Der Grad der Digitalisierung hat sich in den letzten Jahren um ein Vielfaches gesteigert und auch zukünftig wird es immer essenzieller sein, dass ein Verarbeitungsprozess oder eine Maschine intelligent arbeitet. Um diese zu einer „Smart Machine“ upzugraden, sind in allen Bereichen des Maschinenbaus gewisse Updates notwendig. Dies ist oftmals sehr zeitaufwändig und damit auch außerordentlich kostenintensiv. Aus diesem Grund ist es gerade bei Neuentwicklungen von hoher Wichtigkeit, die Komponenten richtig abzustimmen und zu wählen, damit ein möglichst hoher Grad an Digitalisierung gewährleistet wird.
Die Vorteile der Digitalisierung im Maschinenbau sind nahezu unendlich. Dies fängt bereits bei der Erfassung von Daten an, welche in Echtzeit übermittelt werden und dadurch ein lückenloses Monitoring ermöglicht wird. Die Produktion durch Taktzeiterhöhung zu steigern, welche erst durch die Analyse dieser Daten sichtbar wird, aber auch besseres Alarmmanagement und vorausschauende Wartungen sind nur einige wenige funktionale Vorteile der Digitalisierung in diesem Bereich.
Die Routeco GesmbH ist ein Distributionsunternehmen im Sektor der industriellen Automatisierung, diese wird überwiegend mit Produkten und Lösungen von Rockwell Automation realisiert. Dabei steht nicht der Produktverkauf, sondern die optimale und individuell gestaltete Lösung für den Kunden im Vordergrund.
Die Industrie (OEMs) in Österreich agiert sehr unterschiedlich im Zusammenhang mit dem Vorantreiben der Digitalisierung im Maschinenbau, somit ist es schwierig, hier aktiv die Kun-den zu erreichen. In der Praxis kann eine Marktanalyse bei den bestehenden Interessenten durchgeführt werden, um dadurch einen detaillierten Einblick in die österreichischen Unter-nehmen zu bekommen und um kundenspezifische Lösungen individuell anbieten zu können.
In the past few years Generative models have become an interesting topic in the field of Machine Learning (ML). Variational Autoencoder (VAE) is one of the popular frameworks of generative models based on the work of D.P Kingma and M. Welling [6] [7]. As an alternative to VAE the authors in [12] proposed and implemented Information Theoretic Learning (ITL) based Autoencoder. VAE and ITL Autoencoder are a combination of the neural networks and probabilistic graphical models (PGM) [7]. In modern statistics it is difficult to compute the approximation ofthe probability densities. In this paper we make use of Variational Inference (VI) technique from machine learning that approximate the distributions through optimization. The closeness between the distributions are measured by the information theoretic divergence measures such as Kullbach-Liebler, Euclidean and Cauchy Schwarz divergences. In this thesis, we study theoretical and experimental results of two different frameworks of generative models which generate images of MNIST handwritten characters [8] and Yale face database B [3]. The results obtained show that the proposed VAE and ITL Autoencoder are capable of generating the underlying structure of the example datasets
Digital data is rising day by day and so is the need for intelligent, automated data processing in daily life. In addition to this, in machine learning, a secure and accurate way to classify data is important. This holds utmost importance in certain fields, e.g. in medical data analysis. Moreover, in order to avoid severe consequences, the accuracy and reliability of the classification are equally important. So if the classification is not reliable, instead of accepting the wrongly classified data point, it is better to reject such a data point. This can be done with the help of some strategies by using them on top of a trained model or including them directly in the objective function of the desired training model. We discuss such strategies and analyze the results on data sets in this thesis.
In regelmäßigen Abständen werden bei Milchkühen in Deutschland Daten über die Zusammensetzung der Milch erhoben, um eine gleichbleibende Qualität sicherstellen zu können. Gleichzeitig dienen die Milchinhaltsstoffe als erste Indikatoren für eine Veränderung des Stoffwechsels der Kuh und ein damit einhergehend erhöhtes Erkrankungsrisiko. Aus diesem Grund wird in dieser Arbeit untersucht, ob es möglich ist, Vorhersagen über Erkrankungen bei Milchkühen anhand dieser Milchleistungsprüfungsdaten zu treffen. Dafür werden maschinelle Lernverfahren angewendet, im Speziellen Multi-Label- und binäre Klassifikationsverfahren. Die genutzten Klassifikatoren umfassen Multi-Layer Perzeptrone, Naive Bayes-Klassifikatoren sowie Support Vector Machines mit verschiedenen Kernels. Die Vorhersagen werden mit Konfusionsmatrizen und den dazugehörigen Evaluationsmaßen ausgewertet und verglichen.
In dieser Arbeit wird ein Konzept für die Fahrprofilauswahl mittels machine learning vorgestellt. Hierbei wird ein Einblick in die Grundlagen und Methodiken des maschinellen Lernens sowie Fahrzeugelektronik gegeben. Des Weiteren wird das Thema künstliche neuronale Netzwerke detailliert erklärt, da es in der Arbeit Anwendung finden wird. Im späteren Verlauf wird ein LSTMNetzwerk implementiert und ausgewertet, um aus den Erfahrungen wichtige Erkenntnisse ableiten zu können. Aufbauend auf den Erkenntnissen, wird ein Konzept für die Fahrprofilauswahl definiert.
In Machine Learning, Learning Vector Quantization(LVQ) is well known as supervised learning method. LVQ has been studied to generate optimal reference vectors because of its simple and fast learning algorithm [12]. In many tasks of classification, different variants of LVQ are considered while training a model. In this thesis, the two variants of LVQ, Generalized Matrix Learning Vector Quantization(GMLVQ) and Generalized Tangent Learning Vector Quantization(GTLVQ) have been discussed. And later, transfer learning technique for different variants of LVQ has been implemented, visualized and we have compared the results using different datasets.
Zur automatisierten Planung und Steuerung einer Anlage wird eine über viele Jahre entwickelte und stetig fortschreitende Software der Firma UTIKAL Automation GmbH & Co eingesetzt.
Diese basiert auf „klassischen“ Regeln bzw. Heuristiken zur Steuerung und Kontrolle der Abläufe, z.B. Überprüfung Maschinenbelegung, Verhinderung Kollision zwischen Transportwagen, Abstimmung von Fahrten mehrerer Transportwagen etc. Erzielt werden gute bis sehr gute Produktivität und Durchsätze in einer Anlage, jedoch ist das Ziel dieser Arbeit mittels Einsatz von maschinellem Lernen (Deep Reinforcement Learning) dies noch zu steigern und den Grad an Automatisierung zu erhöhen. Dies betrifft sowohl Produktivität und Durchsatz als auch ein hoffentlich intelligentes Eingreifen in unerwünschten oder unerwarteten Situationen ausgelöst z.B. durch Störungen.
Tiefes verstärkenden Lernen ist eine Kombination aus tiefem Lernen und ver-stärkendem Lernen, die ihre jeweiligen Vorteile erbt, jedoch immer noch einige Probleme beim tiefen Lernen oder beim verstärkenden Lernen aufweist. In die-sem Artikel wird die Stabilität des Algorithmus analysiert und untersucht, um die relevanten Probleme zu lösen.
Die vorliegende Bachelorarbeit beschäftigt sich mit Objekterkennung im Kontext des maschinellen Lernens. Analysiert werden zwei Kategorie Algorithmen R-CNN und YOLO von Objekterkennung. Mit Matlab werden der offizielle Code durchführen, um darin einiges Objekt zu erkennen. Verschiedene Algorithmen haben unterschiedlichen Prinzipien und Prozesse. Nach Läufen können sie bei viele Bereiche verglichen und bewertet worden. Die Ergebnisse zeigten die Genauigkeit usw. Im Rahmen dieser Bachelorarbeit werden 3 verschiedenen Algorithmus getestet, um der Objekterkennungsfähigkeit der drei Algorithmen für denselben Datensatz unter derselben Betriebsumgebung zu vergleichen.
We present dimensionality reduction methods like autoencoders and t-SNE for visualization of high-dimensional data into a two-dimensional map. In this thesis, we initially implement basic and deep autoencoders using breast cancer and mushroom datasets. Next, we build another dimensionality reduction method t-SNE using the same datasets. The obtained visualization results of the datasets using the dimensionality reduction methods are documented in the experiments section of the thesis. The evaluation of classification and clustering for the dimensionality reduction techniques is also performed. The visualization and evaluation results of t-SNE are significantly better than the other dimensionality reduction techniques.
Die neue Generation der künstlichen Intelligenz (KI) hat sich in den letzten Jahren zu einem Hot Spot in der in- und ausländischen Forschung entwickelt. Darunter ist der typische Vertretermaschinelles Lernen (ML), das als diese Kategorie von Algorithmen bezeichnet. Es bildet Vorhersagen und Urteile, indem es große Mengen vorhandener oder generierter Daten analysiert und lernt, um die besten Entscheidungen zu treffen. Chinas neue Generation von KI befindet sich in einer kritischen Phase der rasanten Entwicklung und wurde vorläufig in Energie- und Energiesystemen eingesetzt.
A relatively new research field of neurosciences, called Connectomics, aims to achieve a full understanding and mapping of neural circuits and fine neuronal structures of the nervous system in a variety of organisms. This detailed information will provide insight in how our brain is influenced by different genetic and psychiatric diseases, how memory traces are stored and ageing influences our brain structure. It is beyond question that new methods for data acquisition will produce large amounts of neuronal image data. This data will exceed the zetabyte range and is impossible to annotate manually for visualization and analysis. Nowadays, machine learning algorithms and specially deep convolutional neuronal networks are heavily used in medical imaging and computer vision, which brings the opportunity of designing fully automated pipelines for image analysis. This work presents a new automated workflow based on three major parts including image processing using consecutive deep convolutional networks, a pixel-grouping step called connected components and 3D visualization via neuroglancer to achieve a dense three dimensional reconstruction of neurons from EM image data.
Die vorliegende Arbeit beschäftigte sich mit einer Analyse von Methoden des maschinellen Lernens, mit Hinblick auf ihre unterstützende Wirkung für den intralingualen Übersetzungsprozess von deutschen standardsprachlichen zu Leichte Sprache Texten. Für diesen Zweck wurde ein Vergleich von relevanten Methoden, in diesem Fall die der statistischen maschinellen Übersetzung und die der neuronalen maschinellen Übersetzung aus dem Bereich des maschinellen Lernens und des Natural Language Processing aufgestellt. Dabei wurde der potenzielle Funktionsumfang, die Voraussetzungen sowie die Implementierbarkeit verglichen. Das Ergebnis dieses Vergleiches war es das, dass Potenzial durchaus gegeben ist mittels dieser Methoden den Übersetzungsprozess zu unterstützen. Jedoch bedingt das Fehlen eines Textkorpus für deutsche Standard Sprache und ein dazugehöriger Textkorpus der Leichten Sprache, das diese Methoden nicht implementiert, wurden konnten. Es konnten drei Funktionen umgesetzt werden, die den Übersetzungsprozess unterstützen. Zum einen die Funktion für die Anzeige von gebräuchlicheren Synonymen von Wörtern, eine Funktion für die automatische Generierung von
Zusammenfassungen und eine Funktion für Anzeige von Umformulierungen für Zahlen aus den Bereichen hohe Zahlen, alte Jahreszahlen und Prozent Zahlen. Die Evaluation der Funktionen mittels einer zufällig generierten Wortliste und ausgewählter Nachrichten für die Zusammenfassung und Zahlenbereiche ergab. Das diese Funktionen eine unterstützende Wirkung haben, jedoch stark fehleranfällig sind.
Prototype-based Vector Quantization is one of the key methods in data processing like data compression or interpretable classification learning. Prototype vectors serve as references for data and data classes. The data are given as vectors representing objects by numerical features. Famous approaches are the Neural Gas Vector Quantizer (NGVQ) for data compression and Learning Vector Quantizers (LVQ) for classification tasks. Frequently, training of those models is time consuming. In the contribution we discuss modifications of these algorithms adopting ideas from quantum computing. The aim for this is a least twofold: First quantum computing provides ideas for enormous speedup making use of quantum mechanical systems and inherent parallelization.
Second, considering data and prototype vectors in terms of quantum systems, implicit data processing is performed, which frequently results in better data separation. We will highlight respective ideas and difficulties when equipping vector quantizers with quantum computing features.
Durch die steigende Leistungsfähigkeit von Prozessoren und Datenübertragungstechniken hat die Entwicklung und Anwendung von künstlicher Intelligenz, exemplarisch das maschinelle Lernen (engl. Machine Learning – ML) und die Methode des Deep Learning, in den letzten Jahren stark an Bedeutung gewonnen. Hierbei stellt sich die Frage, wie diese Technologien in einem weiteren zukunftsträchtigen Entwicklungsfeld, zum Beispiel bei der Entwicklung moderner Mobilitätskonzepte und hochautomatisierter/autonomer Fahrzeuge, eingesetzt werden können. Potentielle Möglichkeiten der Anwendung von AI im Entwicklungsprozess eines hochautomatisierten Fahrzeugs werden vorgestellt, aber auch die entscheidenden Herausforderungen diskutiert. Darüber hinaus wird der Unterschied zwischen verschiedenen Ansätzen ausgeführt. Dazu werden sowohl Randbedingungen als auch Herausforderungen mit Hilfe eines einfachen Beispiels aus dem täglichen Verkehrsgeschehen veranschaulicht.
This article aims to explain mathematically, why the so called double descent observed by Belkin et al., Reconciling modern machine-learning practice and the classical bias-variance trade-off, PNAS 116(32) (2019), p. 15849-15854, occurs on the way from the classical approximation regime of machine learning to the modern interpolation regime. We argue that this phenomenon may be explained by a decomposition of mean squared error plus complexity into bias, variance and an unavoidable irreducible error inherent to the problem. Further, in case of normally distributed output errors, we apply this decomposition to explain, why LASSO provides reliable predictors avoiding overfitting.
We use machine learning for the selection and classification of single–molecule trajectories to replace commonly used user–dependent sorting algorithms. Measured fluorescence time series of labelled single molecules need to be sorted into ’good molecules’ and ’bad’ molecules before further kinetic and thermodynamic analysis.
Currently, processing, sorting and analysis of the data is mainly done with the help of laboratory specific programs.
Although there are freely available programs for processing smFRET data, they do not offer ’molecular sorting’ or it is purely empirical. Only recently, new approaches came up to solve this problem by means of machine learning. Here, we describe a sound terminology for molecular sorting of smFRET data and present an efficient workflow for manual annotation followed by the training of the ML algorithm. Descriptive statistics of our generated dataset are provided and will serve as the basis for supervised ML-based molecular sorting algorithms yet to be developed.
Active Learning (AL) ist eine besondere Trainingsstrategie im überwachten maschinellen Lernen, mit dem Ziel die Accuracy eines Klassifikators zu verbessern, indem ein Klassifikator mit nur wenig gelabelten, aber dafür hoch informativen Datenpunkten (DP) gelernt wird. In der medizinischen Forschung liegen oftmals nur wenig gelabelte DP vor. AL kann eine sinnvolle Strategie sein, um die Kosten und den Aufwand für das Labeln ungelabelter DP zu senken. Mit Pool-Based AL wurden bisher die größten Erfolge verzeichnet. In der vorliegenden Arbeit wurden zwei biologische, binäre Klassifikationsprobleme mit Uncertainty Sampling Pool-Based AL und Query by Bagging Comitee Pool-Based AL untersucht. Der Generalized Learning Vector Quantization (GLVQ) und ein Multilayer Perzeptron (MLP) wurden als Klassifikatoren verwendet. Anhand eines linear trennbaren und eines nicht linear trennbaren Datensatzes wurden die Auswirkungen der Anzahl an gelabelten DP, mit welcher die Klassifikatoren zu Beginn trainiert wurden, auf die Accuracy untersucht. Die AL-Accuracy näherte sich für das anfängliche Training der Klassifikatoren mit 10 % gelabelten DP bereits stark an die Accuracy im klassischen maschinellen Lernen an und war teilweise sogar größer. In einem weiteren Experiment wurden daher die Klassifikatoren anfänglich mit nur 1 % gelabelten DP trainiert. Es wurde die Auswirkung der Anzahl nachgelabelter DP, mit welcher die Klassifikatoren nachtrainiert wurden, auf die Accuracy untersucht. Für den linear trennbaren Datensatz war die Anwendung von AL mit dem GLVQ und 10 nachgelabelten DP sowie mit dem MLP und 50 nachgelabelten DP erfolgreich. Bei dem nicht linear trennbaren Datensatz wurde mit dem MLP zumindest eine Tendenz, dass AL die Accuracy verbessert, festgestellt. Jedoch reichten 50 nachgelabelte DP nicht aus.
Prototype-based classification methods like Generalized Matrix Learning Vector Quantization (GMLVQ) are simple and easy to implement. An appropriate choice of the activation function plays an important role in the performance of (deep) multilayer perceptrons (MLP) that rely on a non-linearity for classification and regression learning. In this thesis, successful candidates of non-linear activation functions are investigated which are known for MLPs for application in GMLVQ to realize a non-linear mapping. The influence of the non-linear activation functions on the performance of the model with respect to accuracy, convergence rate are analyzed and experimental results are documented.
Neural networks have become one of the most powerful algorithms when it comes to learning from big data sets and it is used extensively for classification. But the deeper the network models, the lesser is the interpretability of such models. Although many methods exist to explain
the output of such networks, the lack of interpretability makes them black boxes. On the other hand, prototype-based machine learning algorithms are known to be interpretable and robust.
Therefore, the aim of this thesis is to find a way to interpret the functioning of the neural networks by introducing a prototype layer to the neural network architecture. This prototype layer will train alongside the neural network and help us interpret the model. We present architectures of neural networks consisting of autoencoders and prototypes that perform activity recognition from heart rates extracted from ECG signals. These prototypes represent the different activity groups that the heart rates belong to and thereby aid in interpretability.
Many companies use machine learning techniques to support decision-making and automate business processes by learning from the data that they have. In this thesis we investigate the theory behind the most widely used in practice machine learning algorithms for solving classification and regression problems.
In particular, the following algorithms were chosen for the classification problem: Logistic Regression, Decision Trees, Random Forest, Support Vector Machine (SVM), Learning Vector Quantization (LVQ). As for the regression problem, Decision Trees, Random Forest and Gradient Boosted Tree were used. We then apply those algorithms to real company data and compare their performances and results.
Die vorliegende Bachelorarbeit beschäftigt sich mit maschinellem Lernen im Kontext des autonomen Fahrens. Das Ziel dieser Arbeit ist das Anlernen eines Steuerungsmechanismus eines simulierten Fahrzeugs, auf Grundlage maschineller Lernverfahren, speziell dem Deep Reinforcement Learning. Dazu werden zunächst die Grundlagen des autonomen Fahrens und des maschinellen Lernens geklärt. Mit der Unity-Engine und dem ML-Agents Toolkit wurden Szenen erstellt, in denen Agenten trainiert werden. In verschiedenen Szenen mit unterschiedlichen Komplexitäten und Aufgaben sollen die Agenten lernen ein simuliertes Fahrzeug zu steuern und die jeweilige Aufgabe zu erfüllen. Um das Fahrzeug zu steuern muss der Agent die Längs- und Querführung übernehmen. Die Aufgaben können zum Beispiel anhalten in einem Zielbereich, ausweichen vor Hindernissen oder folgen eines bestimmten Streckenverlaufs umfassen. Die Ergebnisse zeigten, dass es möglich ist ein simuliertes Fahrzeug, mit einem durch Deep Reinforcement Learning angelernten Steuerungsmechanismus, zu steuern. In den meisten Szenen zeigten die Agenten ein gutes Verhalten. Durch die Ergebnisse konnten Erkenntnisse gewonnen werden, welche Faktoren bei Lernvorgängen besonders wichtig sind. Es zeigte sich, dass unter anderem die Wahl einer guten Belohnungsfunktion ausschlaggebend war.
Die Überwachung sozialer Online-Netzwerke spielt eine zunehmend wichtige Rolle, um die polizeilichen Aufgaben hinsichtlich Kriminalprävention und Gefahrenabwehr auch im virtuellen Raum effektiv und effizient wahrnehmen zu können. Gleichzeitig machen das enorme Volumen und die Komplexität der Daten eine manuelle Bearbeitung nahezu unmöglich. Es müssen automatisierte Verfahren entwickelt werden, welche sogenannte Gefährder in sozialen Online-Netzwerken sicher erkennen können. Für die Entwicklung, das Training und die Evaluation von Modellen für das Maschinelle Lernen werden standardisierte Referenzdaten benötigt. Die vorliegende Arbeit beschäftigt sich mit der Entwicklung eines solchen Goldstandards mit Trainings- und Testdaten für Algorithmen zur Detektion von Gefährdern in sozialen Online-Netzwerken. Es werden Kriterien für die Auswahl relevanter Profile und Attribute erarbeitet und Anforderungen für die Strukturierung und Ablage der Daten formuliert. Weiterhin werden konkrete Profile und Feature-Kandidaten sowie ein XML-Schema und Dateilayout für die Bereitstellung der Daten des Goldstandards vorgeschlagen. Abschließend werden die Ergebnisse kritisch gewürdigt und ein Ausblick für zukünftige Arbeiten gegeben.
In dieser Arbeit werden die Verfahren GLVQ und GRLVQ mit der Sobolev-Metrik erweitert und an verschiedene Datensätze mit funktionalen Daten getestet. Außerdem wird ein Ansatz vor-gestellt, die Prototypen durch Überlagerungen von Basisfunktionen darzustellen. Dieser Ansatz wird zusätzlich noch auf den GMLVQ angewendet. Hierfür betrachtete man die Gaußfunktio-nen und Sigmoidfunktionen als Basisfunktionen. Dabei wurden mit der Sobolev-Metrik sehr gute Resultat erzielt.