Huygens deconvolution
画像復元の仕事は、機器が実際にあなたに伝えようとしていることを理解することです。 — E.R. Pike教授, キングスカレッジ、ロンドン
デコンボリューションは、コンボリューションの逆演算によって説明される物理的プロセスによって低下される画像を回復するための画像復元 Image Restoration に使用される数学的な演算です。これは、顕微鏡および天文学だけでなく地震測定においても使用される光学系による結像の場合です。
顕微鏡では、このコンボリューション過程は、ボヤケおよびノイズによって低下する画像の形成を数学的に説明します。 ボヤケは、機器による回折限界のイメージングによるところが大きいです。 ノイズは、通常、入射フォトン束の固有の性質の変動に関係する用語のフォトンノイズです。
単一の点のような (Sub Resolution) 対象物の広がり（ボヤケ）の程度は、光学系の品質の測定です。 このような単一の点光源の3次元のぼやけた画像は、通常、点像分布関数 Point Spread Function (PSF)と呼ばれます。
PSFは、蛍光顕微鏡の結像理論において重要な役割を果たします。 この理由は、蛍光顕微鏡のような非干渉性のイメージングシステムにおいて、結像プロセスが線形であり、線形システム理論 Linear Systemによって説明されるということです。 このことは、2つの対象物AおよびBを同時に撮像時に、結果は、独立して撮像された対象物の和に等しいことを意味します。 言い換えれば： A のイメージングは、B のイメージングによる影響を受けません、逆もまた同様です。
線形性の結果として、すべての対象物の画像は、各々これらの画像の部分的に対象物を細かく切ることによって計算され、その後、結果を合計することができます。 極めて小さい部分（すなわち、様々な高さの点対象物）で対象物を細かく切る時に、画像は、PSF の和として計算され、それぞれを場所に移動して、対応する点の強度に応じてスケーリングされます。 結論として： 蛍光顕微鏡におけるイメージングは、完全にその PSF によって説明されます。
結像 Image Formationを参照してください。
画像は、その 3D PSF （対応する強度を乗じた）によって、すべてのオリジナルのサブ解像度 Sub Resolution 光源を置き換えることで、顕微鏡で形成されることが解ります。 3D 画像のひとつの XZ 断面だけを見ると、結果は、次のように形成されます：
(図. 1)
このプロセスは、数学的に以下のコンボリューションの式によって説明されます。
$$ g\ =\ f\, \ast\, h $$ (式. 1)
画像 gは、真の光源 f （対象物）および PSF h のコンボリューションに起因します。コンボリューション演算子 * は、すべての空間にわたる積分を意味します。
$$ g\ =\ f\, \ast\, h\ =\ {\int\int\int}\limits_{-\infty}^\infty\ f(\vec x)\ h(\vec x - \vec x')\ d^3\vec x' $$ (式. 2)
次のように式（2）を説明できます: 画像 {$ g (\vec x) $}の $$ \vec x = (x,\, y,\, z) $$に位置したボクセルで記録された強度は、対象物 f のすべてのポイントの寄与に起因します、 それらの真の強度は、考慮されたポイントまでの距離に依存して PSF h により重み付けをします。
$$ \vec x = (x,\, y,\, z) $$ に位置する各ボクセルに関して、目的関数 f および（移動した）PSF h 間のオバーラップを計算しなければならないことを意味します。このオーバーラップを計算することは、全体画像の {$ f(\vec x)\ h(\vec x - \vec x') $} の値を計算することおよび合計することを意味します。全体画像でNボクセルあると、計算量は N2 のオーダーになります。2.
しかし、これを改善できます。 フーリエ理論、 コンボリューション定理, の重要な定理は、g、f、h のフーリエ変換 Fourier Transforms G、F、H は、それぞれに単純に乗算によって関連されることを述べます：
$$ G = F \cdot H $$. (式. 3)
これは、コンボリューションを次の手順によって計算できることを意味します：
フーリエ変換は、おおよそ N log(N) の演算数を必要とするので、これは、前の積分よりも効率的です。
異なる PSF のアプリケーションが対象物のイメージングにどのように影響するかを理解するために、クッキーカッター Cookie Cutterをお読みください。
コンボリューションは、ぼやけた画像を生成するためにその対応する PSF により、すべてのオリジナル（サブ解像度）光源に置き換えることを意味する場合に、復元操作は、すべてのこの広がった光を集めて、そのオリジナルの場所に戻りそれを置く、逆の方法を行います。それは、私たちの目に明瞭に真の対象物のより良い表示を生み出します。 (これは、画像のダイナミックレンジDynamic Range を増やして、より暗く見えるバックグラウンド領域をもたらします!!!)。
数学的に言えば、デコンボリューションは、まさに上述 式 1 を解いています、そして、そこでは、オリジナル光の分布 f を得るために畳み込まれた画像 g および PSF h が解ります： 「真」の対象物の表示。
T式 3 の関係は、まさに除算 F = G/H により、それがインバースフィルタリング Inverse Filteringによる目的関数 F を得ることを可能にすることを意味すると思われます。しかし、H の帯域制限の特性のために、多くの空間周波数に対してゼロによる除算の結果として、特定の領域外にゼロを持ちます ( Cookie Cutterを参照)。また、実際の一般的な場合に、フォトンノイズ Photon Noise を考慮に入れなければなりません 、それで、私たちが実際に解決する必要がある式は、式 1 ではなく、以下です：
$$ k\ =\ f\, \ast\, h\ +\ \epsilon $$ (式. 4)
(図. 2)
取得された画像 k は、真の光源 f および the PSF h, と、フォトンノイズ εのコンボリューションから起こります。 H によるε の除算は、極端なノイズの増幅をもたらします、 それで、通過帯域内の H の小さい値の広い領域のために、巨大なアーティファクトをもたらします。 (私たちは、正確なノイズ分布が何であるかも知ることができないので、私たちは、単純に k から ε を減算できません）。
このように、インバースフィルタリングは、真の目的関数 fを回復することは決して可能ではありません。その代わりに、私たちは、賢明な基準を満たし、ノイズの存在下で安定である評価 f' を見つけようとしなければなりません。
いくつかのデコンボリューション法は (ブラインドデコンボリューションのような Blind Deconvolution) PSF の項 hを知ることなしに式 4 を解決しようとします。 いくつかの制約を適用できますが、それは、式の解で多くの不確定を紹介したように、これは、常に危険です。(cx × y = 5からの代数式で いくつの x, y の解を見つけることができますか？) 顕微鏡に適用すると、これらの方法は、現在、どんな科学的な検証も不足しています。
私たちは、別の解決策を行う必要があります。
Scientific Volume Imaging 社Scientific Volume Imagingの Huygens ソフトウェア Huygens Software は、2 つの方法で PSF を取得できます：
PSF が提供されると、Huygens は、効果的にコンボリューション式 4 を解くために異なる数学的なアルゴリズムを使用できます、そして、デコンボリューションを実行します:
Classic Maximum Likelihood Estimation (CMLE)は、ほとんどあらゆる種類の画像にとって有効で利用可能な最も一般的な復元方法 Restoration Method です。それは、測定画像および PSF を提供された対象物の推定の見込みを反復して最適化するという考えに基づいています。対象物推定は、完全な 3D 画像の形です。 この操作の見込みは、フォトンノイズ Photon Noise がポアソン統計によって決定されるという仮定の下での質の基準Quality Criterion によって計算されます。 (光電子は、ポアソン分布 Poisson Distribution を示す検出器で収集して、シグナルとノイズ間に平方根の関係があります）。 この理由に関して、それは、低シグナル画像に最適に適合されます。さらに、対象物のような点、線、または平面の画像を復元するのにうまく適合されます。 詳細に関しては、 Maximum Likelihood Estimation を参照してください。
しかしながら、他のアルゴリズムが前面になる状況が有ります、例えば、3D−time シリーズをデコンボリューションする時に、それは、非常に激しい計算です。この場合には、CMLE-time よりもはるかに速い Quick Maximum Likelihood Estimation-time（QMLE）を使用することを考慮して、同様に優れた結果を提供します。
Huygens のように測定した PSF を使用する利点は、本質的に、あなたの顕微鏡を較正することを必要として、イメージング用の標準プロトコルの使用をシミュレートすることです。 同時に、これらは、顕微鏡の正しい機能を確実にして、デコンボリューション結果で顕微鏡データ自体の品質と信頼性を非常に増やします。
最後に、理論や測定 PSF の利点は、Huygens Professional か、または新しいバッチプロセッサーチュートリアル New Batch Processor Tutorialの QMLE のような非常に速いアルゴリズムの構築を容易にすることです。QMLE における反復は、CMLE 反復より約 5 倍効果的で、繰り返しごとにより短い時間で済みます。
屈折率のミスマッチ Refractive Index Mismatchにより球面収差 Spherical Aberration の影響を受けた画像は、深さに依存する PSF の使用により Huygens ソフトウェア Huygens Software でより良く復元されます ( Parameter Variationを参照してください)。
Huygens のアルゴリズムは、一般的に強度の維持 Intensity Preservationを行います。
SHuygens の復元が、 Convolving Trainsでいくつかのアクセス可能な画像に適用したことをお確かめください。
Huygens で使用した CMLE 法は、かなりの科学文献によってバックアップされています。 quite some scientific literature. ここでは、まさに 3 つの関連した例を（長いリストのため、前のリンクに続きます）あげます:
DNA（赤色）、セントロメア（青色）および後期促進複合体/サイクロソーム（緑色）で染色された中期ヒト細胞。
上部： オリジナルデータ、
下部： Huygens Professional でデコンボリューション処理。 Dr. Claire Acquaviva、 Dr. Pines Labで記録。
スプライシング因子に対する抗体で染色したヒト上皮細胞の核。
上部分： Huygens Professional によって復元した画像。
下部分： オリジナル画像。
両方の部分は、Sfp レンダリングを用いて視覚化されました。 Sfp Renderer. Dr. Marjolein A. Grande によって記録。
また、解像度の改善 Resolution Improvement および Evans Macrophageで他の画像を見つけることができます。
Decon ExampleでTHuygens ソフトウェア Huygens Software で行われたデコンボリューションの非常に単純で明確な例があります。 より多くのアクセス可能な例に関して、 Convolving Trainsを参照してください。実際の顕微鏡画像を SVI ウェブページでご覧になれます。 http://www.svi.nl/gallery/
特別なトピックおよび参照は Doing Deconvolution をご覧ください。
また Useful Linksのリストをご覧ください。
画像復元の仕事は、機器が実際にあなたに伝えようとしていることを理解することです。 — E.R. Pike教授, キングスカレッジ、ロンドン
Table of contents
はじめに
デコンボリューションは、コンボリューションの逆演算によって説明される物理的プロセスによって低下される画像を回復するための画像復元 Image Restoration に使用される数学的な演算です。これは、顕微鏡および天文学だけでなく地震測定においても使用される光学系による結像の場合です。
顕微鏡では、このコンボリューション過程は、ボヤケおよびノイズによって低下する画像の形成を数学的に説明します。 ボヤケは、機器による回折限界のイメージングによるところが大きいです。 ノイズは、通常、入射フォトン束の固有の性質の変動に関係する用語のフォトンノイズです。
単一の点のような (Sub Resolution) 対象物の広がり（ボヤケ）の程度は、光学系の品質の測定です。 このような単一の点光源の3次元のぼやけた画像は、通常、点像分布関数 Point Spread Function (PSF)と呼ばれます。
結像
PSFは、蛍光顕微鏡の結像理論において重要な役割を果たします。 この理由は、蛍光顕微鏡のような非干渉性のイメージングシステムにおいて、結像プロセスが線形であり、線形システム理論 Linear Systemによって説明されるということです。 このことは、2つの対象物AおよびBを同時に撮像時に、結果は、独立して撮像された対象物の和に等しいことを意味します。 言い換えれば： A のイメージングは、B のイメージングによる影響を受けません、逆もまた同様です。
線形性の結果として、すべての対象物の画像は、各々これらの画像の部分的に対象物を細かく切ることによって計算され、その後、結果を合計することができます。 極めて小さい部分（すなわち、様々な高さの点対象物）で対象物を細かく切る時に、画像は、PSF の和として計算され、それぞれを場所に移動して、対応する点の強度に応じてスケーリングされます。 結論として： 蛍光顕微鏡におけるイメージングは、完全にその PSF によって説明されます。
結像 Image Formationを参照してください。
コンボルーション
画像は、その 3D PSF （対応する強度を乗じた）によって、すべてのオリジナルのサブ解像度 Sub Resolution 光源を置き換えることで、顕微鏡で形成されることが解ります。 3D 画像のひとつの XZ 断面だけを見ると、結果は、次のように形成されます：
(図. 1)このプロセスは、数学的に以下のコンボリューションの式によって説明されます。
$$ g\ =\ f\, \ast\, h $$ (式. 1)
画像 gは、真の光源 f （対象物）および PSF h のコンボリューションに起因します。コンボリューション演算子 * は、すべての空間にわたる積分を意味します。
$$ g\ =\ f\, \ast\, h\ =\ {\int\int\int}\limits_{-\infty}^\infty\ f(\vec x)\ h(\vec x - \vec x')\ d^3\vec x' $$ (式. 2)
解釈
次のように式（2）を説明できます: 画像 {$ g (\vec x) $}の $$ \vec x = (x,\, y,\, z) $$に位置したボクセルで記録された強度は、対象物 f のすべてのポイントの寄与に起因します、 それらの真の強度は、考慮されたポイントまでの距離に依存して PSF h により重み付けをします。
計算
$$ \vec x = (x,\, y,\, z) $$ に位置する各ボクセルに関して、目的関数 f および（移動した）PSF h 間のオバーラップを計算しなければならないことを意味します。このオーバーラップを計算することは、全体画像の {$ f(\vec x)\ h(\vec x - \vec x') $} の値を計算することおよび合計することを意味します。全体画像でNボクセルあると、計算量は N2 のオーダーになります。2.
しかし、これを改善できます。 フーリエ理論、 コンボリューション定理, の重要な定理は、g、f、h のフーリエ変換 Fourier Transforms G、F、H は、それぞれに単純に乗算によって関連されることを述べます：
$$ G = F \cdot H $$. (式. 3)
これは、コンボリューションを次の手順によって計算できることを意味します：
- f および h のフーリエ変換 F および Hを計算します。
- G を得るために F に H を乗算します。
- 畳み込まれた画像 g に戻るのに Gを変換します。
フーリエ変換は、おおよそ N log(N) の演算数を必要とするので、これは、前の積分よりも効率的です。
異なる PSF のアプリケーションが対象物のイメージングにどのように影響するかを理解するために、クッキーカッター Cookie Cutterをお読みください。
デコンボリューション
コンボリューションは、ぼやけた画像を生成するためにその対応する PSF により、すべてのオリジナル（サブ解像度）光源に置き換えることを意味する場合に、復元操作は、すべてのこの広がった光を集めて、そのオリジナルの場所に戻りそれを置く、逆の方法を行います。それは、私たちの目に明瞭に真の対象物のより良い表示を生み出します。 (これは、画像のダイナミックレンジDynamic Range を増やして、より暗く見えるバックグラウンド領域をもたらします!!!)。
数学的に言えば、デコンボリューションは、まさに上述 式 1 を解いています、そして、そこでは、オリジナル光の分布 f を得るために畳み込まれた画像 g および PSF h が解ります： 「真」の対象物の表示。
T式 3 の関係は、まさに除算 F = G/H により、それがインバースフィルタリング Inverse Filteringによる目的関数 F を得ることを可能にすることを意味すると思われます。しかし、H の帯域制限の特性のために、多くの空間周波数に対してゼロによる除算の結果として、特定の領域外にゼロを持ちます ( Cookie Cutterを参照)。また、実際の一般的な場合に、フォトンノイズ Photon Noise を考慮に入れなければなりません 、それで、私たちが実際に解決する必要がある式は、式 1 ではなく、以下です：
$$ k\ =\ f\, \ast\, h\ +\ \epsilon $$ (式. 4)
(図. 2)取得された画像 k は、真の光源 f および the PSF h, と、フォトンノイズ εのコンボリューションから起こります。 H によるε の除算は、極端なノイズの増幅をもたらします、 それで、通過帯域内の H の小さい値の広い領域のために、巨大なアーティファクトをもたらします。 (私たちは、正確なノイズ分布が何であるかも知ることができないので、私たちは、単純に k から ε を減算できません）。
このように、インバースフィルタリングは、真の目的関数 fを回復することは決して可能ではありません。その代わりに、私たちは、賢明な基準を満たし、ノイズの存在下で安定である評価 f' を見つけようとしなければなりません。
いくつかのデコンボリューション法は (ブラインドデコンボリューションのような Blind Deconvolution) PSF の項 hを知ることなしに式 4 を解決しようとします。 いくつかの制約を適用できますが、それは、式の解で多くの不確定を紹介したように、これは、常に危険です。(cx × y = 5からの代数式で いくつの x, y の解を見つけることができますか？) 顕微鏡に適用すると、これらの方法は、現在、どんな科学的な検証も不足しています。
私たちは、別の解決策を行う必要があります。
Huygens の動作方法
Scientific Volume Imaging 社Scientific Volume Imagingの Huygens ソフトウェア Huygens Software は、2 つの方法で PSF を取得できます：
- 自動的に既知の顕微鏡パラメータおよび顕微鏡のモデルに基づいた理論的 Psf Theoretical Psf Microscopic Parameters を計算する, あるいは、
- ビーズの記録後に Recording Beads、球形のビーズ画像から実験的な Psf Experimental Psf を抽出します。
PSF が提供されると、Huygens は、効果的にコンボリューション式 4 を解くために異なる数学的なアルゴリズムを使用できます、そして、デコンボリューションを実行します:
- Classic Maximum Likelihood Estimation
- Quick Maximum Likelihood Estimation
- Iterative Constrained Tikhonov-Miller
- Quick Tikhonov-Miller
Classic Maximum Likelihood Estimation (CMLE)は、ほとんどあらゆる種類の画像にとって有効で利用可能な最も一般的な復元方法 Restoration Method です。それは、測定画像および PSF を提供された対象物の推定の見込みを反復して最適化するという考えに基づいています。対象物推定は、完全な 3D 画像の形です。 この操作の見込みは、フォトンノイズ Photon Noise がポアソン統計によって決定されるという仮定の下での質の基準Quality Criterion によって計算されます。 (光電子は、ポアソン分布 Poisson Distribution を示す検出器で収集して、シグナルとノイズ間に平方根の関係があります）。 この理由に関して、それは、低シグナル画像に最適に適合されます。さらに、対象物のような点、線、または平面の画像を復元するのにうまく適合されます。 詳細に関しては、 Maximum Likelihood Estimation を参照してください。
しかしながら、他のアルゴリズムが前面になる状況が有ります、例えば、3D−time シリーズをデコンボリューションする時に、それは、非常に激しい計算です。この場合には、CMLE-time よりもはるかに速い Quick Maximum Likelihood Estimation-time（QMLE）を使用することを考慮して、同様に優れた結果を提供します。
Huygens のように測定した PSF を使用する利点は、本質的に、あなたの顕微鏡を較正することを必要として、イメージング用の標準プロトコルの使用をシミュレートすることです。 同時に、これらは、顕微鏡の正しい機能を確実にして、デコンボリューション結果で顕微鏡データ自体の品質と信頼性を非常に増やします。
最後に、理論や測定 PSF の利点は、Huygens Professional か、または新しいバッチプロセッサーチュートリアル New Batch Processor Tutorialの QMLE のような非常に速いアルゴリズムの構築を容易にすることです。QMLE における反復は、CMLE 反復より約 5 倍効果的で、繰り返しごとにより短い時間で済みます。
屈折率のミスマッチ Refractive Index Mismatchにより球面収差 Spherical Aberration の影響を受けた画像は、深さに依存する PSF の使用により Huygens ソフトウェア Huygens Software でより良く復元されます ( Parameter Variationを参照してください)。
Huygens のアルゴリズムは、一般的に強度の維持 Intensity Preservationを行います。
SHuygens の復元が、 Convolving Trainsでいくつかのアクセス可能な画像に適用したことをお確かめください。
検証
Huygens で使用した CMLE 法は、かなりの科学文献によってバックアップされています。 quite some scientific literature. ここでは、まさに 3 つの関連した例を（長いリストのため、前のリンクに続きます）あげます:
- Verschure P.J., van der Kraan I., Manders E.M.M. and van Driel R. Spatial relationship between transcription sites and chromosome territories. J. Cell Biology (1999) 147, 1, pp 13-24 (get pdf).
- Visser A.E. and Aten J.A. Chromosomes as well as chromosomal subdomains constitute distinct units in interphase nuclei. J. Cell Science (1999) 112, pp 3353-3360 (get pdf).
- Hell S.W., Schrader M. and Van Der Voort H.T.M. Far-Field fluorescence microscopy with three-dimensional resolution in the 100-nm Range. J. of Microscopy (1997) 187 Pt1, pp 1-7 (get pdf).
例
DNA（赤色）、セントロメア（青色）および後期促進複合体/サイクロソーム（緑色）で染色された中期ヒト細胞。
上部： オリジナルデータ、
下部： Huygens Professional でデコンボリューション処理。 Dr. Claire Acquaviva、 Dr. Pines Labで記録。
スプライシング因子に対する抗体で染色したヒト上皮細胞の核。
上部分： Huygens Professional によって復元した画像。
下部分： オリジナル画像。
両方の部分は、Sfp レンダリングを用いて視覚化されました。 Sfp Renderer. Dr. Marjolein A. Grande によって記録。
また、解像度の改善 Resolution Improvement および Evans Macrophageで他の画像を見つけることができます。
Decon ExampleでTHuygens ソフトウェア Huygens Software で行われたデコンボリューションの非常に単純で明確な例があります。 より多くのアクセス可能な例に関して、 Convolving Trainsを参照してください。実際の顕微鏡画像を SVI ウェブページでご覧になれます。 http://www.svi.nl/gallery/
参考
特別なトピックおよび参照は Doing Deconvolution をご覧ください。
また Useful Linksのリストをご覧ください。