Jannik Hehemann

• This thesis addresses the development of a Research Agent Service (RAS) on the OLAS protocol by focusing on two foundational aspects: data storage and retrieval, and synchronization. Specifically, it explores efficient data structures for large-scale textual data and techniques for strong eventual consistency across replicated databases in decentralized and potentially byzantine environments. The work identifies SPFresh as a vector index for fast retrieval and updates, alongside a history-independent data structure, G+-trees, for maintaining globally consistent datasets. It formally defines G+-trees and provides an algorithm for inserting and updating tree items. Additionally, Gk-trees are introduced that mitigate performance degradation for maliciously crafted datasets. To ensure robust synchronization among self-sovereign Storage Agents, the thesis adapts Range-Based Set Reconciliation (RBSR) to be used with non-homomorphic hash functions, which reduce the storage requirements compared to RBSR with homomorphic hash functions. These theoretical contributions facilitate secure, memory-efficient, and concurrent operations on search tree structures. The thesis also examines practical trade-offs such as node size in Merkle Search Trees, homomorphic versus non-homomorphic hashing. Beyond the theoretical work, it provides a practical implementation of a RAS deployed on the OLAS protocol. This implementation continuously screens prediction market questions as a source of research content, uses them as queries to retrieve URLs from a search engine, collects data from websites, processes their vector embeddings, and stores the resulting data on IPFS. Future research directions include integrating an iterative deletion algorithm for G+-trees, exploring sharding strategies among Storage Agents for efficient query routing, and investigating methods to validate the truthfulness of data to be stored by Storage Agents. By proposing data structures and synchronization mechanisms suitable for autonomous Storage Agents with constrained resources, this thesis constitutes a foundation for a scalable and decentralized Research Agent Service that handle large-scale textual data and provides insights that are applicable to broader applications in distributed systems and artificial intelligence.
• Diese Arbeit behandelt die Entwicklung eines Recherche-Agenten-Service (RAS) auf Grundlage des OLAS-Protokolls, wobei zwei grundlegende Aspekte im Mittelpunkt stehen: Datenspeicherung und -abruf sowie Synchronisation. Konkret untersucht die Arbeit effiziente Datenstrukturen für umfangreiche textbasierte Daten und Techniken zur Erreichung von Strong Eventual Consistency in replizierten Datenbanken in dezentralen und potenziell byzantinischen Umgebungen. Als vorteilhaft wird das Vektor-Indexing-System SPFresh zur schnellen Datenabfrage und -aktualisierung identifiziert, ebenso wie die history-independent Datenstruktur der G+-Bäume zur Aufrechterhaltung global konsistenter Datensätze. Die Arbeit definiert G+-Bäume formal und stellt einen Algorithmus zur Einfügung und Aktualisierung von Baumelementen bereit. Zusätzlich werden Gk-Bäume eingeführt, die Performanceeinbußen bei bösartig konstruierten Datensätzen verringern. Zur Sicherstellung robuster Synchronisation zwischen Speicheragenten adaptiert die Arbeit das Range-Based Set Reconciliation-Verfahren (RBSR) für den Einsatz mit nicht-homomorphen Hash-Funktionen, wodurch im Vergleich zur RBSR mit homomorphen Hash-Funktionen weniger Speicherplatz benötigt wird. Diese theoretischen Beiträge ermöglichen sichere, speichereffiziente und nebenläufige Operationen auf Suchbaumstrukturen. Außerdem untersucht die Arbeit praktische Kompromisse wie Knotengrößen in Merkle-Suchbäumen sowie homomorphes gegenüber nicht-homomorphem Hashing. Über die theoretischen Beiträge hinaus bietet die Arbeit eine praktische Implementierung eines auf dem OLAS-Protokoll basierenden RAS. Diese Implementierung überwacht kontinuierlich Fragen aus Prediction Markets als Quelle für Suchinhalte, nutzt diese als Anfragen, um URLs aus einer Suchmaschine abzurufen, sammelt Daten von Webseiten, verarbeitet deren Vektor-Einbettungen und speichert die resultierenden Daten auf IPFS. Zukünftige Forschungsrichtungen umfassen die Integration eines iterativen Löschalgorithmus für G+-Bäume, die Untersuchung von Sharding-Strategien unter Speicheragenten zu maximaler Skalierbarkeit sowie die Erforschung von Methoden zur Validierung des Wahrheitsgehalts der von Speicheragenten gespeicherten Daten. Durch die vorgeschlagenen Datenstrukturen und Synchronisationsmechanismen, die für autonome Speicheragenten mit begrenzten Ressourcen geeignet sind, bildet diese Arbeit eine Grundlage für einen skalierbaren und dezentralen Recherche-Agenten-Service zur Handhabung umfangreicher textbasierter Daten und liefert Erkenntnisse, die auf breitere Anwendungen in verteilten Systemen und der künstlichen Intelligenz übertragbar sind.