Low-dose computational phase contrast transmission electron microscopy via electron ptychography

Abstract

In the recent years, cryo-electron microscopy (cryo-EM) has evolved into a main- stream technique to decipher the structure-function relationship of biological specimens from single molecules to whole cells. Cryo-EM relies on the strong interaction of high-energy electrons with matter, which causes a measurable phase shift of the electron wave even for single small macromolecules. Experi- mental methods to measure this phase shift effectively are therefore the key to obtaining higher spatial resolution images or even movies before radiation dam- age destroys the molecule, yet current phase contrast methods suffer several limitations for biological electron microscopy. They are either impractical to im- plement, do not allow to deconvolve the influence of microscope optics from the image, or involve inelastic scattering events after the electron wave has passed the sample, which scramble the acquired phase information. Ptychography creates a high-dimensional phase space map of the imaging process by scanning a spatially confined coherent wavefront over the sample and col- lecting a two-dimensional far-field diffraction pattern at each position. Both the complex-valued transmission function of the sample and the wave function of the incoming beam can be recovered from this dataset through deconvolution in phase space with a range of reconstruction methods. Electron ptychography is easy to implement in a transmission electron micro- scope TEM but has so far only been applied to phase contrast imaging of sam- ples in the field of materials science because of the high dose required for the re- construction of a ptychographic dataset and the resulting high requirements on the sample for radiation damage tolerance. We propose the use of non-convex Bayesian optimization to overcome this limitation, and show via numerical simu- lations that one can reduce the dose required for successful ptychographic recon- struction by two orders of magnitude compared to previous experiments. This opens up the field of biological electron microscopy for computational phase contrast imaging via electron ptychography. Using multi-slice simulations and our Bayesian reconstruction algorithm, we demonstrate imaging of single biological macromolecules and show 2D single- particle reconstructions from simulated data with a resolution up to 5.4 Å at a 2 dose of 20 e− /Å . When averaging 30 low-dose datasets, a 2D resolution around 3.5 Å is possible for macromolecular complexes with molecular weight even be- low 100 kDa. Further, we present the open-source framework scikit-pr, a GPU-accelerated implementation of the proposed Bayesian algorithm based on the open-source neural network library pytorch. Through the use of automatic differentiation, scikit-pr allows the expression of the image formation process with a differen- tiable computational graph and makes it easy to exchange experimental forward models, loss functions, and optimization algorithms in a plug-and-play fashion. We then discuss the practical aspects and technical requirements for implement- ing low-dose electron ptychography in a TEM. We show two proof-of-principle reconstructions from datasets collected on two different microscopes and detec- tors: one of a benchmark carbon sample obtained on a Titan Krios with a K2 Summit camera at a dose of 50 e− /Å, and one of horse-spleen apo-ferritin pro- teins obtained on a Tecnai F20 with a Medipix3 camera at a dose of 30 e− /Å. Subsequently, we describe how the information contained in the ptychographic data set can be optimized by tailoring the illumination wavefront and show first results of creating a diffuse, speckled beam for electron ptychography by using a nanostructured mask in the condenser plane of a TEM. We highlight several avenues of further investigations based on the developed methods in the conclusion: the possibility of measurement of additional inco- herent signals, like energy-dispersive X-ray and annular dark field information, during a ptychography scan, the application of quantum tomography schemes to optimize the information content of the measurements and quantum state reconstruction from inelastic scattering processes.

In den letzten Jahren hat sich Cryo-Elektronenmikroskopie (Cryo-EM) zu einer etablierten Technik entwickelt, um die Struktur-Funktions-Beziehung von bio- logischen Proben von einzelnen Molekülen zu ganzen Zellen zu entschlüsseln. Cryo-EM beruht auf der starken Wechselwirkung von hochenergetischen Elek- tronen mit Materie, die sogar für einzelne kleine Makromoleküle eine messba- re Phasenverschiebung der Elektronenwelle bewirkt. Experimentelle Verfahren, um diese Phasenverschiebung effektiv zu messen, sind daher der Schlüssel dazu, um Bilder mit höherer räumlicher Auflösung oder sogar Filme zu erhalten, bevor eine Strahlungsschädigung das Molekül zerstört. Gegenwärtige Phasenkontrast- verfahren jedoch unterliegen einigen Beschränkungen für die biologische Elek- tronenmikroskopie. Sie sind entweder unpraktisch zu implementieren, erlauben nicht, die optische Übertragungsfunktion des Mikroskops von dem Bild zu entfal- ten, oder involvieren inelastische Streuereignisse, nachdem die Elektronenwelle die Probe passiert hat. Die Ptychographie erzeugt eine hochdimensionale Phasenraumabbildung des Bildgebungsprozesses durch Abrastern einer räumlich begrenzten kohärenten Wellenfront über die Probe und Aufnahme eines zweidimensionalen Fernfeld- beugungsmusters an jeder Position. Sowohl die komplexwertige Übertragungs- funktion der Probe als auch die Wellenfunktion des ankommenden Strahls kön- nen aus diesem Datensatz durch Entfaltung im Phasenraum mit einer Reihe von Rekonstruktionsverfahren wiederhergestellt werden. Die Elektronenptychographie ist in einem Transmissionselektronenmikroskop (TEM) einfach zu implementieren, wurde aber bisher nur auf die Phasenkontrast- Bildgebung von Proben im Bereich der Materialwissenschaften angewendet, da die für die Rekonstruktion eines ptychographischen Datensatzes erforderliche hohe Dosis hohe Anforderungen an die Probe hinsichtlich der Strahlenschädi- gungstoleranz stellt. Wir schlagen die Verwendung von nicht-konvexer Bayes- scher Optimierung vor, um diese Einschränkung zu überwinden, und zeigen über numerische Simulationen, dass man die für eine erfolgreiche ptychogra- phische Rekonstruktion erforderliche Dosis um zwei Größenordnungen im Ver- gleich zu früheren Experimenten reduzieren kann. Dies erschließt das Feld der biologischen Elektronenmikroskopie für die computergestützte Phasenkontrast- Bildgebung mittels Elektronen-Ptychographie. Mit Multi-Slice-Simulationen und unserem Bayesschen Rekonstruktionsalgorith- mus demonstrieren wir die Abbildung einzelner biologischer Makromoleküle und zeigen 2D-Einzelpartikel-Rekonstruktionen aus simulierten Daten mit ei- ner Auflösung von bis zu 5.4 Å bei einer Dosis von 20 e− /Å^2. Durch Mittelung von 30 niedrig dosierten Datensätzen ist eine 2D-Auflösung um 3.5 Å für makro- molekulare Komplexe mit einem Molekulargewicht sogar unter 100 kDa mög- lich. Außerdem stellen wir das Open-Source-Framework scikit-pr vor, eine GPU- beschleunigte Implementierung des Bayesschen Algorithmus basierend auf der Open-Source-Bibliothek pytorch für neuronale Netzwerke. Durch die Verwen- dung von automatische Differenzierung ermöglicht scikit-pr den Ausdruck des Bil- derzeugungsprozesses mit einem differenzierbaren Rechengraphen und erleich- tert den Austausch experimenteller Vorwärtsmodelle, Verlustfunktionen und Op- timierungsalgorithmen in einem plug-and-play Modus. Anschließend diskutieren wir die praktischen Aspekte und technischen Voraus- setzungen für die Implementierung von Elektronen-Ptychographie mit geringer Dosis in einem TEM. Wir zeigen zwei proof-of-principle Rekonstruktionen an zwei verschiedenen Mikroskopen und Detektoren: eine Rekonstruktion einer Benchmark-Kohlenstoffprobe, die auf einem Titan Krios Mikroskop mit einer K2-Summit-Kamera bei einer Dosis von 50 e−/Å erhalten wurde, und einer von apo-Ferritin-Proteinen aus der Pferde-Milz, die auf einem Tecnai F20 Mikroskop mit einer Medipix3-Kamera bei einer Dosis von 30 e−/Å erhalten wurden An- schließend beschreiben wir, wie die im ptychographischen Datensatz enthaltene Information optimiert werden kann, indem die Beleuchtungswellenfront maßge- schneidert wird. Wir zeigen erste Ergebnisse von der Erzeugung eines diffusen, gesprenkelten Strahls für die Elektronenptychographie unter Verwendung einer nanostrukturierten Maske in der Kondensorebene eines Elektronenmikroskops. Wir heben mehrere Möglichkeiten weiterer Untersuchungen auf der Grundla- ge der entwickelten Methoden in der Schlussfolgerung hervor: die Möglichkeit der Messung von zusätzlichen inkohärenten Signalen, wie energiedispersiver Röntgen- und ringförmiger Dunkelfeldinformation, während eines Ptychogra- phiescans. Die Anwendung von Quantentomographie-Schemata zur Optimie- rung des Informationsgehalts der Messungen. Und Quantenzustandsrekonstruk- tion aus inelastischen Streuprozessen.