Abschlussarbeit  
Karlsruhe 

Interactive Labeling for ML-based Structural Formula Extraction

Unternehmensprofil Icon

ISSD - KIT

Link Icon

Joint Master’s thesis offered by IAR/SZS (research group Prof. Stiefelhagen, CV:HCI) and IISM (research group Prof. Mädche, ISSD) for both computer science and information systems students. Open for applications.

WHO CAN APPLY? Only enrolled students from KIT (Karlsruher Institut für Technologie) with course of studies Wirtschaftsinformatik, Wirtschaftsingenieurwesen, Informationswirtschaft, or Technische Volkswirtschaftslehre.

Ohne Anschreiben. In nur 2 Minuten.
Job merken IconMerken
TeilenTeilen
Uhr Icon

Das Unternehmen antwortet besonders schnell.

Interactive Labeling for ML-based Structural Formula Extraction

Ohne Anschreiben. In nur 2 Minuten.
Job merken IconMerken
TeilenTeilen
Kollegiengebäude am Kronenplatz (05.20), das ISSD befindet sich in der Triangel im 4. und 5. OG

Requirements

We expect the student to be familiar with web development. The system should be devloped with a modern web application frontend framework (e.g. Angular, React, or Vue) and a JavaScript or Python backend.

Problem

Uhr30 bis 40 Std. pro Woche
KalenderAb sofort gesucht
PersonenOhne Personalverantwortung

Scientific publications, lecture slides, and other documents convey their information not only in plain text, but also in figures and images. This makes documents less accessible for humans and machines alike. Automated metadata extraction, full text search, or information aggregation is impacted by this. Less obvious, but potentially even more important, human accessibility is also hindered. Figures are often entirely incomprehensible for visually impaired users, but also people less accustomed with the domain could benefit from support. This fact limits access to e.g. graphical representations of structural formulas for the visually impaired. However, these graphics are often a crucial part of lecure slides or scientific publications on the topic.

Agiles ArbeitenAgiles Arbeiten
Regelmäßige FeedbackgesprächeRegelmäßige Feedbackgespräche

Goals

The goal of this Master’s thesis is to design, develop and evaluate an interactive labeling system to support the accessibility of figures. Thereby interactive labeling refers to a human-machine cooperative approach, which combines automatic with manual steps. Structural formulas from the field of chemistry offer themselves as a context of application for this system, as they are frequently used and standards have already been well established. We envision a semi-automated approach, in which user input is supported by the machine. Well structured tasks like these suit themselves well to be supported by machine learning models. As a user is always involved, the model does not need to achieve near-perfect accuracy scores, but rather should support the users with suggestions. Allowing the model to improve with new user input would be a bonus.

In a first step we expect the student to identify the state of the art such systems, and identify components that could be re-used or adapted to this context. Afterwards the solution should be developed. A full-fledged evaluation of the system is expected as well.

The typical workflow for the system should look like the following:

  • Import a PDF document into the system.
  • The system suggests areas in which figures chemical formulas could be found.
  • Correct the systems suggestions.
  • Crop out all marked areas to obtain indidual figures.
  • For each figure create
    • a chemfig representation of the figure (e.g. “\chemfig{*6(=-=-=-)}”),
    • a non-informative textual description of the figure (e.g. “a hexagon where three edges are double lines”)
    • and an interpretation of the figure (e.g. “Benzene”).
  • The system supports the user in creation of above representations with automatically generated suggestions. Hereby a classifier from automatically generated training data that translates images to chemfig should be trained.
  • Export an accessible EPUB v3 where the original figure is augmented with above data as alternative versions.
  • Export a version of the figure for use on a braille printer (Open Document Graphic format).

Sprachen

Englisch
Deutsch

Interessengebiete

Machine Learning
Webentwicklung (Backend)
Webentwicklung (Frontend)
Data Science

Kenntnisse und Fähigkeiten

Angular
React
Python
JavaScript

Über ISSD - KIT

Gründungsjahr Icon1825 gegründet
Mitarbeiter Icon500+ Mitarbeiter
Unternehmensbranche IconBildung
Unternehmensgröße IconGlobal Player
iconTagsRow.locations.altKarlsruhe

The research group “Information Systems & Service Design” (ISSD) headed by Prof. Mädche focuses in research, education, and innovation on designing interactive intelligent systems. The research belongs to the Institute of Information Systems and Marketing (IISM) and is embedded into the Information Systems & Engineering group. ISSD is also part of the Karlsruhe Service Research Institute (KSRI). The research group is positioned at the intersection of Information Systems (german: Wirtschaftsinformatik) and Human-Computer Interaction (HCI). Our mission is to create impactful scientific knowledge for designing interactive intelligent systems that enable humans to perform activities more efficiently, effectively, and meaningful. We believe that delivering cutting-edge knowledge and inspiring education, as well as an ongoing dialog with the public need to go hand in hand to maximize the impact of our work in organizations and society. The group is organized in three research departments: Digital Experience & Participation, Intelligent Enterprise Systems, and Digital Service Design & Innovation. Current topics of research are Human-AI Interaction, Cognitive Interaction Technologies, Physiological Computing Systems, Interactive Business Intelligence & Analytics Systems, and Interactive Systems Engineering.

Mehr über das Unternehmen erfahren

Unser Standort

Supermarkt in der UmgebungSupermarkt in der Umgebung
Restaurants in der UmgebungRestaurants in der Umgebung
FahrradstellplätzeFahrradstellplätze
InnenstadtlageInnenstadtlage
Gute Anbindung an ÖPNVGute Anbindung an ÖPNV

Häufige Fragen

Pfeil nach unten
Wer oder was ist Campusjäger?

Campusjäger ist mehr als eine Jobbörse. Wir unterstützen dich und unsere Partnerunternehmen dabei, zu einander zu finden. Unternehmen schreiben Jobangebote über uns aus, als Kandidat kannst du dich schnell und einfach mit deinem Campusjägerprofil auf viele verschiedene Jobs bewerben. Dabei haben wir immer ein Ziel vor Augen: Dich mit dem Job zusammen zu bringen, der wirklich zu dir passt.

Pfeil nach unten
Ist der Job, den ich sehe, überhaupt noch verfügbar?

Ja, alle Jobs die du auf unserer Plattform findest, sind noch zu besetzen.

Pfeil nach unten
Welche Dokumente benötige ich für meine Bewerbung?

Das hängt ganz vom Job ab, auf den du dich bewirbst. Häufig reicht es schon aus, wenn du deinen PDF Lebenslauf hochlädst bzw. dein Campusjägerprofil vollständig ausfüllst.

Pfeil nach unten
Wo kann ich meine Unterlagen bzw. Dokumente hochladen?

Sämtliche Unterlagen, die du deiner Bewerbung hinzufügen willst, kannst du in dein Campusjägerprofil hochladen. Unternehmen, bei denen du dich bewirbst, gestattest du mit deiner Bewerbung Zugriff auf die Informationen in deinem Profil.

Pfeil nach unten
Kann ich mich auch ohne Lebenslauf bewerben?

Um einen möglichst umfassenden ersten Eindruck von dir zu erhalten, benötigt das Unternehmen von dir einen Lebenslauf. Diesen musst du auch nur einmal und nicht für jede Bewerbung aufs Neue hochladen. Wenn du noch keinen PDF Lebenslauf hast, kannst du einfach deinen Campusjäger Lebenslauf ausfüllen. Alternativ hast du die Möglichkeiten dein XING oder LinkedIn Profil als PDF Datei zu exportieren.

Pfeil nach unten
Wo finde ich weitere Informationen zum Unternehmen?

Im Unternehmensprofil von ISSD - KIT findest du weitere Informationen.

Pfeil nach unten
Kann ich meine Bewerbung nachträglich bearbeiten?

Du kannst deine Bewerbung solange bearbeiten, bis du zu einem Vorstellungsgespräch eingeladen wurdest. Gehe dazu einfach in deine Bewerbungen und wähle die Bewerbung aus, die du bearbeiten möchtest. Dort hast du die Möglichkeit, alle deine Angaben anzusehen und zu verändern. Außerdem kannst du dein Campusjägerprofil jederzeit um weitere Informationen und Unterlagen ergänzen, die dem Unternehmen dann zusätzlich zur Beurteilung deiner Bewerbung vorliegen. 

Pfeil nach unten
Wie bekomme ich Neuigkeiten zu meiner Bewerbung mit?

In deiner Bewerbungübersicht hast du jederzeit einen Überblick über den Bewerbungsverlauf. Sobald etwas Neues passiert, informieren wir dich umgehend darüber. Damit du auch sicher nichts verpasst, senden wir dir zusätzlich E-Mails zu den wichtigsten Statusänderungen.

Pfeil nach unten
Kann ich auch mehrere Bewerbungen gleichzeitig abschicken?

Die Anzahl deiner Bewerbungen ist nicht limitiert. Einen Überblick über deine Bewerbungen findest du hier.

Pfeil nach unten
Können andere Unternehmen sehen, wo ich mich noch beworben habe?

Nein, Unternehmen können immer nur Bewerbungen für sich selbst sehen.

Pfeil nach unten
Kann ich den Ansprechpartner des Unternehmens auch direkt kontaktieren?

Das Unternehmen kommt auf dich zu, sobald deine Bewerbung angesehen wurde. Solltest du vorher Fragen haben, hilft dir gerne dein persönlicher Candidate Manager von Campusjäger weiter.

Pfeil nach unten
What do I have to consider, if I am not from Germany?

Please make sure to provide all necessary documents within your Campusjäger profile. It should include an EU work-permit (if you have no EU citizenship) and a CV at least. Be aware of different employment types in Germany. Depending on the position you are applying to, you could also be asked for a certificate of enrollment and a transcript of records. 

Pfeil nach unten
What do I have to consider, if German is not my mother tongue?

Please take into account the job’s language requirements and make sure the requirements match your skills. It is also helpful to provide language certificates. This article may support you during the application process.

Pfeil nach unten
Ich glaube, ich erfülle nicht alle Anforderungen. Kann ich mich trotzdem bewerben?

Oft können nicht erfüllte Anforderungen durch andere Fähigkeiten ausgeglichen werden. Wenn du daher die eine oder andere Anforderungen nicht vollständig erfüllst, ist es dennoch einen Versuch wert. Solltest du allerdings viele oder sogar alle Anforderungen nicht erfüllen, ergibt eine Bewerbung wenig Sinn.

If you are interested in this topic and want to apply for this thesis, please apply via Campusjäger.

Ohne Anschreiben. In nur 2 Minuten.

Der Job passt doch nicht ganz zu dir? Wir haben noch mehr im Angebot...