Interactive Labeling for ML-based Structural Formula Extraction
Interactive Labeling for ML-based Structural Formula Extraction
Joint Master’s thesis offered by IAR/SZS (research group Prof. Stiefelhagen, CV:HCI) and IISM (research group Prof. Mädche, ISSD) for both computer science and information systems students. Open for applications.
WHO CAN APPLY? Only enrolled students from KIT (Karlsruher Institut für Technologie) with course of studies Wirtschaftsinformatik, Wirtschaftsingenieurwesen, Informationswirtschaft, or Technische Volkswirtschaftslehre.
Requirements
We expect the student to be familiar with web development. The system should be devloped with a modern web application frontend framework (e.g. Angular, React, or Vue) and a JavaScript or Python backend.
Ohne Personalverantwortung
Bereiche
Problem
Scientific publications, lecture slides, and other documents convey their information not only in plain text, but also in figures and images. This makes documents less accessible for humans and machines alike. Automated metadata extraction, full text search, or information aggregation is impacted by this. Less obvious, but potentially even more important, human accessibility is also hindered. Figures are often entirely incomprehensible for visually impaired users, but also people less accustomed with the domain could benefit from support. This fact limits access to e.g. graphical representations of structural formulas for the visually impaired. However, these graphics are often a crucial part of lecure slides or scientific publications on the topic.
Agiles Arbeiten
Regelmäßige Feedbackgespräche
Goals
The goal of this Master’s thesis is to design, develop and evaluate an interactive labeling system to support the accessibility of figures. Thereby interactive labeling refers to a human-machine cooperative approach, which combines automatic with manual steps. Structural formulas from the field of chemistry offer themselves as a context of application for this system, as they are frequently used and standards have already been well established. We envision a semi-automated approach, in which user input is supported by the machine. Well structured tasks like these suit themselves well to be supported by machine learning models. As a user is always involved, the model does not need to achieve near-perfect accuracy scores, but rather should support the users with suggestions. Allowing the model to improve with new user input would be a bonus.
In a first step we expect the student to identify the state of the art such systems, and identify components that could be re-used or adapted to this context. Afterwards the solution should be developed. A full-fledged evaluation of the system is expected as well.
The typical workflow for the system should look like the following:
- Import a PDF document into the system.
- The system suggests areas in which figures chemical formulas could be found.
- Correct the systems suggestions.
- Crop out all marked areas to obtain indidual figures.
- For each figure create
- a chemfig representation of the figure (e.g. “\chemfig{*6(=-=-=-)}”),
- a non-informative textual description of the figure (e.g. “a hexagon where three edges are double lines”)
- and an interpretation of the figure (e.g. “Benzene”).
- The system supports the user in creation of above representations with automatically generated suggestions. Hereby a classifier from automatically generated training data that translates images to chemfig should be trained.
- Export an accessible EPUB v3 where the original figure is augmented with above data as alternative versions.
- Export a version of the figure for use on a braille printer (Open Document Graphic format).
Sprachen
Kenntnisse und Fähigkeiten
Über ISSD - KIT
The research group “Information Systems & Service Design” (ISSD) headed by Prof. Mädche focuses in research, education, and innovation on designing interactive intelligent systems. The research belongs to the Institute of Information Systems and Marketing (IISM) and is embedded into the Information Systems & Engineering group. ISSD is also part of the Karlsruhe Service Research Institute (KSRI). The research group is positioned at the intersection of Information Systems (german: Wirtschaftsinformatik) and Human-Computer Interaction (HCI). Our mission is to create impactful scientific knowledge for designing interactive intelligent systems that enable humans to perform activities more efficiently, effectively, and meaningful. We believe that delivering cutting-edge knowledge and inspiring education, as well as an ongoing dialog with the public need to go hand in hand to maximize the impact of our work in organizations and society. The group is organized in three research departments: Digital Experience & Participation, Intelligent Enterprise Systems, and Digital Service Design & Innovation. Current topics of research are Human-AI Interaction, Cognitive Interaction Technologies, Physiological Computing Systems, Interactive Business Intelligence & Analytics Systems, and Interactive Systems Engineering.
Mit dem Laden der Karte werden Cookies gemäß unserer Datenschutzerklärung gesetzt. Mehr erfahren.
Häufige Fragen
Wer oder was ist Campusjäger by Workwise?
Campusjäger gehört zu Workwise – einer Jobplattform, die dich über den gesamten Karriereweg unterstützt. Wir übernehmen das Recruiting für verschiedene Unternehmen und begleiten dich im gesamten Bewerbungsprozess. Über Campusjäger by Workwise findest du Jobs für Studierende und Absolvent:innen. Deine Bewerbungen verwaltest du in deinem Workwise-Profil. Erfahre hier mehr über den Zusammenhang von Workwise und Campusjäger.
Ist der Job, den ich sehe, überhaupt noch verfügbar?
Bei Jobs, die noch zu besetzen sind, kannst du auf den Button 'Jetzt bewerben' klicken. Ist dies nicht möglich, wurde der Job bereits besetzt oder vorübergehend deaktiviert.
Welche Dokumente benötige ich für meine Bewerbung?
Für deine Bewerbung benötigst du folgende Dokumente:
- Immatrikulationsbescheinigung
- Zeugnis / Notenauszug
Wo kann ich meine Dokumente hochladen?
Du wirst im Bewerbungsprozess nach den geforderten Bewerbungsunterlagen gefragt und kannst sie dort ganz einfach deiner Bewerbung hinzufügen. Wenn du deiner Bewerbung noch weitere Dokumente beifügen möchtest, kannst du diese in deinem Workwise-Profil hochladen. Sie stehen dann automatisch den Unternehmen, bei denen du dich beworben hast, zur Verfügung.
Wo finde ich weitere Informationen zum Unternehmen?
Im Unternehmensprofil von ISSD - KIT findest du weitere Informationen.
Kann ich meine Bewerbung nachträglich bearbeiten?
Ja, das ist möglich. In deiner Bewerbungsübersicht kannst du deine Angaben einsehen und Änderungen vornehmen. Bist du bereits zu einem Vorstellungsgespräch eingeladen, ist die Bearbeitung nicht mehr möglich. Du kannst aber weiterhin in deinem Workwise-Profil allgemeine Informationen ergänzen und weitere Dokumente hochladen.
Wie werden mir Neuigkeiten zu meiner Bewerbung mitgeteilt?
In deiner Bewerbungsübersicht bei Workwise hast du jederzeit einen Überblick über den Bewerbungsverlauf. Zusätzlich senden wir dir E-Mails zu den wichtigsten Statusänderungen.
Kann ich mich auch auf mehrere Jobs gleichzeitig bewerben?
Die Anzahl deiner Bewerbungen ist nicht limitiert. Einen Überblick über deine Bewerbungen findest du bei Workwise.
Können andere Unternehmen sehen, wo ich mich noch beworben habe?
Nein, Unternehmen können nur ihre eigens eingegangenen Bewerbungen sehen.
Kann ich den/die Ansprechpartner:in des Unternehmens direkt kontaktieren?
Eine persönliche Kontaktaufnahme ist über den Chat möglich, sobald du zu einem Vorstellungsgespräch eingeladen wurdest. Zuvor erhältst du alle wichtigen Statusänderungen per E-Mail. Bei Rückfragen kannst du dich an deine/n persönliche/n Candidate Manager:in von Workwise wenden.
Ich glaube, ich erfülle nicht alle Anforderungen. Kann ich mich trotzdem bewerben?
Auch wenn du nicht alle Anforderungen erfüllst, kannst du fehlende Kenntnisse durch weitere Fähigkeiten ausgleichen. Nutze die Bewerberfragen, um auf deine Motivation einzugehen und zeige dem Unternehmen, warum du dennoch auf den Job passt. Solltest du viele oder alle Anforderungen nicht erfüllen, wird die Bewerbung nicht erfolgreich sein.
What do I have to consider if I am not from Germany?
Please make sure to provide all necessary documents within your Workwise profile. It should include an EU work-permit (if you have no EU citizenship) and a CV at least. Depending on the position you are applying to, you could also be asked for a certificate of enrollment, a transcript of records or a language certificate. We would also recommend to inform yourself thoroughly in advance about visa regulations. Therefore you can use the official visa navigator from the Federal Foreign Office.
What do I have to consider if German is not my mother tongue?
Please take into account the job’s language requirements and make sure the requirements match your skills. In the job search you can use the language filter to find jobs without German language requirements. It is also helpful to provide language certificates. This section in our help center may support you during the application process.
Unser Jobangebot Interactive Labeling for ML-based Structural Formula Extraction klingt vielversprechend? Dann freuen wir uns auf deine Bewerbung.