Benedict Diederich, Doktorand am Leibniz-Institut für Photonische Technologien in Jena, entwickelte ein tragbares Smartphone-Mikroskop, das scharfe Bilder mit hohem Kontrast liefert (PLoS ONE 13(3): e0192937). Laborjournal wollte von Diederich wissen, wie es funktioniert.
Laborjournal: Herr Diederich, bitte beschreiben Sie das Prinzip und die Vorteile des Smartphone-Mikroskops. Welche zusätzliche Hard- und Software wird benötigt?
Benedict Diederich » Der offensichtlichste Vorteil ist, dass fast jeder ein Smartphone besitzt – auch in Entwicklungsländern. Die meisten Geräte sind mit Hochleistungs-Prozessoren (CPUs) und hochauflösenden Kameras ausgestattet. Ihre weite Verbreitung und der vergleichsweise günstige Preis ließ uns darüber nachdenken, Smartphones für aktuelle Forschungsfragen einzusetzen. Hinzu kommt, dass neue Bildverarbeitungs-Algorithmen, die auf maschinellem Lernen basieren, dazu geeignet sind, teure Hardware- durch günstige Softwarelösungen zu ersetzen.
In unserer Arbeit haben wir das Smartphone lediglich um eine weitere Linse aus einer Handykamera als Mikroobjektiv und einen handelsüblichen kleinen Videoprojektor erweitert. Ein „angelerntes“ neuronales Netzwerk ist dann in der Lage, mikroskopische Proben, die normalerweise durch den geringen Kontrast für das Auge beziehungsweise die Kamera unsichtbar sind, so zu beleuchten, dass sie gut sichtbar werden. Das ist besonders für biologische Zellen oder Krankheitserreger relevant, etwa Parasiten. Mithilfe großer Datensätze haben wir die Algorithmen darauf trainiert, Muster in den Proben zu erkennen und ein zugrundeliegendes Beleuchtungs-Problem zu lösen. Als Software dient eine App, mit der auch das Mikroskop bedient werden kann.
Mit zusätzlichen Adaptern versuchen wir, die Auflösung auf deutlich unter hundert Nanometer zu verbessern, um zum Beispiel Messwerte zu bestimmen, die für die Telemedizin oder Diagnostik relevant sind. Unser Ziel ist es, einen Teil der Informationen, die durch die Abbildung mit dem Mikroskop verloren gehen, mithilfe maßgeschneiderter Algorithmen zu rekonstruieren. Mit den hieraus resultierenden, kostengünstigen Werkzeugen können auch Wissenschaftler an der Forschung teilhaben, die sich keine teuren Geräte leisten können.
Wird ein Smartphone auf diese Weise signifikant schwerer und sperriger? Hält der Akku lange genug durch?
Diederich » Mit Vorsatzlinsen oder der von uns verwendeten Linse aus einem alten Smartphone lässt sich bereits ein einfaches Mikroskop mit einer Auflösung von ein bis zwei Mikrometern realisieren. Dazu benötigt man lediglich die Kamera des Smartphones. Größe und Gewicht entsprechen dem eines gängigen Smartphones. Größere Adapter, wie die in unserem Paper beschriebene intelligente Lichtquelle, benötigen eine externe Stromversorgung. Im Feldeinsatz kann die Stromversorgung auch über eine Batterie oder einen Akku erfolgen.
Wie kann man sich die intelligente, programmierbare Lichtquelle vorstellen, und wer programmiert sie?
Diederich » Stellen Sie sich ein weißes Ei auf einem weißen Blatt Papier vor. Schaut man sich das Ei am Tag an, wird man kaum einen Kontrast wahrnehmen, weil das Ei fast überall genau so viel Licht zurückstreut wie das Papier, auf dem es liegt. Nimmt man aber bei Nacht eine Taschenlampe, um das Ei zu beleuchten, ist ein Schatten zu sehen und das Ei damit gut zu erkennen. Beleuchtet man das Ei von links, ist ein eiförmiger Schatten auf der rechten Seite zu sehen. Es besteht also ein Zusammenhang zwischen dem Kontrast und der Einstellung der Lichtquelle. Die optimale Einstellung lässt sich mit einer relativ komplexen mathematischen Formel beschreiben.
Die Rechenleistung eines Handys reicht zur Ermittlung dieser Lichtquellenform, also der Position der Taschenlampe über dem Ei, nicht aus. Der Algorithmus eines neuronalen Netzwerks kann diese ideale Lichtquelle jedoch anhand eines großen Datensatzes erlernen, der auf einem Hochleistungscomputer erzeugt wird. Das auf diese Weise trainierte neuronale Netzwerk läuft wesentlich schneller, das Ergebnis der Quellenform wird auf dem Videoprojektor dargestellt. Den Kontrastgewinn kann man direkt auf dem Bildschirm des Handys sehen. Das Programm für das neuronale Netz habe ich selbst geschrieben, es musste dann nur noch mit den entsprechenden Daten trainiert werden.
Beschränkt sich die Anwendung auf transparente Proben? Sind Mikroorganismen auch in anderen, nicht-wässrigen Flüssigkeiten identifizierbar, oder zum Beispiel in farbigen und/oder dickflüssigen Lösungen?
Diederich » Unser gegenwärtiger Aufbau beschränkt sich auf transparente, dünne Proben, was auch Proben aus Blut oder Lebensmittel einschließt. Durch weitere optische Komponenten lässt er sich auch auf reflektierende Proben erweitern.
Wo liegen die Größenlimits der Proben? Was ist mit Proben, die sich bewegen, wie zum Beispiel Bakterien? Muss man diese vorher fixieren – und wenn ja, wie?
Diederich » Das optische Auflösungslimit des Smartphone-Mikroskops liegt bei circa zwei Mikrometern, was in etwa der doppelten Pixelgröße des Kamerasensors entspricht. Die verwendete Vorsatzlinse aus einem alten iPhone ermöglicht lediglich eine Eins-zu-Eins-Abbildung, was man noch verbessern könnte. Durch die sehr kleinen Pixel der Handykamera ist aber auch eine Eins-zu-Eins-Abbildung schon sehr gut. Das sogenannte Gesichtsfeld [Field of View, FOV] ist mit circa 3 x 2 Millimetern sehr groß. Das ist sehr praktisch, um zum Beispiel histologische Proben als Ganzes zu beobachten. Bakterien, wie zum Beispiel E. coli, die meist ein bis zehn Mikrometer groß sind, lassen sich damit noch teilweise auflösen. Die zeitliche Auflösung hängt von der Belichtungszeit der Handykamera ab, die mit der Hochleistungs-LED des Videoprojektors auf unter eine Tausendstelsekunde pro Bild gesenkt werden kann.
Sie trainierten das Mikroskop, indem Sie Bilddaten (über tausend Proben aus veröffentlichten Studien) mit maschinellen Lerntechniken analysierten. Je mehr Daten, umso leistungsfähiger wird das Mikroskop. Kann ein individueller Nutzer zu dieser Leistungssteigerung beitragen, indem er seine Bilddaten zur „Weiterbildung“ des Geräts einspeist?
Die Bauteile des Smartphone-Mikroskops (o.) sind in einen mit dem 3D-Drucker hergestellten Plastikrahmen integriert. Die schematische Abbildung verdeutlicht die einzelnen Komponenten. Das Licht der LED-Lampe eines Videoprojektors wird auf einem Flüssigkristall-Display (LCD) abgebildet und entsprechend strukturiert. Ein Spiegel lenkt es danach über einen verstellbaren Kondensor auf das Objektiv des Smartphones. Über einen HDMI-Ausgang ist das Smartphone mit der Elektronik des Projektors verbunden und steuert die Beleuchtungsmuster. Foto: Benedict Diederich
Diederich » Prinzipiell ist diese Überlegung richtig. Das Smartphone-Mikroskop ist ein erster Versuch, mithilfe neuronaler Netze bessere Roh-Bilder zu produzieren. Die „Weiterbildung“ des neuronalen Netzes erfordert eine entsprechende Expertise bei der Anwendung künstlicher Intelligenz (KI) sowie entsprechende Hardware für die Trainingsphase.
Das Schöne an der Natur ist allerdings die sogenannte Selbstähnlichkeit der Dinge, wodurch das „Weitertrainieren“ teilweise überflüssig wird. Die Strukturen, die das neuronale Netz mit dem Training lernt, finden sich nicht nur in Zellen, sondern zum Beispiel auch in technischen Proben. Da die optimale Lichtquellenform primär von bestimmten Objektstrukturen abhängt, ist das trainierte Netzwerk auch auf andere Proben anwendbar.
Bei tausend Proben waren vermutlich auch falsch-annotierte Exemplare dabei, oder irreführende Doppel-Bezeichnungen. War dies ein Problem – und wenn ja, wie sind Sie damit umgegangen?
Diederich » Es findet hier ja keine Klassifizierung statt. Das neuronale Netz versucht, einen Zusammenhang zwischen bestimmten Objektstrukturen zu finden, zum Beispiel zwischen Zellwänden oder Zellkernen und den dazu gehörenden optimalen Lichtquellen. Die Art der Probe ist hierbei egal.
Den vermutlich größten Nutzen bringt Ihr Smartphone-Mikroskop vor allem für Entwicklungsländer. In Simbabwe oder Uganda liest aber kaum jemand Fachjournale. Wie bringen Sie ihr eventuell lebensrettendes Instrument unter die Leute?
Diederich » PLOS One ist ein Quell-offenes [Open-source] Publikationsmedium. Zudem findet auch über die Open-Hardware-Bewegung, unter anderem initiiert von Thomas Baden von der School of Life Sciences der University of Sussex, ein Austausch mit afrikanischen Einrichtungen statt. Alternativ könnte man auch über eine Kooperation mit afrikanischen Universitäten nachdenken, um das Thema dort weiter publik zu machen.
Könnte man das Mikroskop mit maschinellen Lerntechniken und nach entsprechendem Training auch auf das Erkennen von Mikroplastik programmieren? So könnte man zum Beispiel die Übeltäter leichter aufspüren.
Diederich » Ansätze, um bestimmte Bestandteile in mikroskopischen Proben zu finden und zu klassifizieren, gibt es bereits seit langer Zeit. Sie entwickelten sich mit dem Einzug neuronaler Netze sprunghaft weiter. Die Integration solcher Algorithmen ist in jedem Fall überlegenswert.
Muss der Betrachter der Bildaufnahmen Fachwissen haben, um zum Beispiel Keime richtig einzuordnen, oder schlägt die App automatisch die passenden Kandidaten vor?
Diederich » Das Smartphone-Mikroskop dient zum jetzigen Zeitpunkt tatsächlich als reines Forschungsinstrument, um möglichst gute mikroskopische Aufnahmen zu erhalten. Die Auswertung der Ergebnisse muss nach wie vor ausgebildetes Fachpersonal durchführen. Die Integration entsprechender Algorithmen, die zum Beispiel Keime erkennen und einordnen, wäre aber sehr interessant.
Interview: Andrea Pitzschke