NeRF
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[小川]]
[[Insider]]
*NeRF[#xb6a1d9e]
~→複数の視点の画像から新しい視点の画像を生成する技術
~[[NeRF例:https://www.ns.kogakuin.ac.jp/~jt13689/?plugin=attach&pcmd=open&file=nerf%E3%81%A8%E3%81%AF.png&refer=NeRF]]
**5次元ニューラル高度場表現 [#he7bf4be]
~シーンを三次元上での位''xベクトル＝(x,y,z''と視点方向を表す2次元ベクト''(θ,φ)''を入力
~放出される色''cベクトル(r,g,b)''とその位置での密度''σ''を出力
~
~→3次元空間上のある点をある方向から見た時に何色に見えるか、またその点にどのくらい物体が存在しているか
~視点方向を3次元ベクトル''dベクトル''とすると
~''Fθ：(xベクトル,dベクトル)→(cベクトル.σ)''
-Fθとして多層パーセプトロン
~Fθ→最適にすべき重み
~[[全結合ネットワークの構造:https://www.ns.kogakuin.ac.jp/~jt13689/?plugin=attach&pcmd=open&file=nerf.jpg&refer=%E5%B0%8F%E5%B7%9D]]
~→ReLU活性化関数ありの層
~&color(#f4a460){→};ReLU活性化関数なしの層
~…＞シグモイド関数ありの層
~＋ベクトルの結合
~関数γとは入力ベクトルより高次元の空間に変換するPositional Ecoding
--関数の出力''(cベクトル,σ)''のうち''σ''は位置ベクトル''Ｘベクトル''にのみ依存→視点方向によって変化しない
~視点方向を表す単位ベクトル''dベクトル''は色情報''cベクトル''を計算するときに使う
**Positional Encoding [#he7bf4be]
~般的に深層ニューラルネットワークは低い周波数の方向に進みやすいが、入力ベクトルを直接ニューラルネットワークに投入する間に入力空間よりも高い周波数を含む高次元空間に変換することで回避する
~→ニューラルネットワークが高周波の変動を学習しやすくすることが可能
**ボリュームレンダリング[#he7bf4be]
~5次元ニューラル輝度場として表現したが、この表現をもとに実際にある視点からの画像を生成する必要がありボリュームレンダリングという手法を用いる
→3次元的な広がりを持つデータを2次元画面に描画する方法
**Plenoxel[#he7bf4be]
-ニューラルネットワークを一切使用しない''Plenoxel''
~NeRFでは質の高い画像を生成できるが、1つのシーンの学習を収束するのにGPU1枚で1～2日程度かかる
~→学習時間を数分まで改善したものが&size(18){「Plenoxel」};
~[[Plenoxel実装方法:https://www.12-technology.com/2022/01/plenoxels-ai-nerf.html]]
**参考[#he7bf4be]
~[[複数の視点の画像から新しい視点の画像を生成する技術「NeRF」とその学習速度を大幅に改善した研究の紹介:https://www.ibis.ne.jp/blog/20221117-nerf/]]
~[[[Plenoxels] AIで写真から自由視点の写真を生成する [NeRF]:https://www.12-technology.com/2022/01/plenoxels-ai-nerf.html]]
終了行:
[[小川]]
[[Insider]]
*NeRF[#xb6a1d9e]
~→複数の視点の画像から新しい視点の画像を生成する技術
~[[NeRF例:https://www.ns.kogakuin.ac.jp/~jt13689/?plugin=attach&pcmd=open&file=nerf%E3%81%A8%E3%81%AF.png&refer=NeRF]]
**5次元ニューラル高度場表現 [#he7bf4be]
~シーンを三次元上での位''xベクトル＝(x,y,z''と視点方向を表す2次元ベクト''(θ,φ)''を入力
~放出される色''cベクトル(r,g,b)''とその位置での密度''σ''を出力
~
~→3次元空間上のある点をある方向から見た時に何色に見えるか、またその点にどのくらい物体が存在しているか
~視点方向を3次元ベクトル''dベクトル''とすると
~''Fθ：(xベクトル,dベクトル)→(cベクトル.σ)''
-Fθとして多層パーセプトロン
~Fθ→最適にすべき重み
~[[全結合ネットワークの構造:https://www.ns.kogakuin.ac.jp/~jt13689/?plugin=attach&pcmd=open&file=nerf.jpg&refer=%E5%B0%8F%E5%B7%9D]]
~→ReLU活性化関数ありの層
~&color(#f4a460){→};ReLU活性化関数なしの層
~…＞シグモイド関数ありの層
~＋ベクトルの結合
~関数γとは入力ベクトルより高次元の空間に変換するPositional Ecoding
--関数の出力''(cベクトル,σ)''のうち''σ''は位置ベクトル''Ｘベクトル''にのみ依存→視点方向によって変化しない
~視点方向を表す単位ベクトル''dベクトル''は色情報''cベクトル''を計算するときに使う
**Positional Encoding [#he7bf4be]
~般的に深層ニューラルネットワークは低い周波数の方向に進みやすいが、入力ベクトルを直接ニューラルネットワークに投入する間に入力空間よりも高い周波数を含む高次元空間に変換することで回避する
~→ニューラルネットワークが高周波の変動を学習しやすくすることが可能
**ボリュームレンダリング[#he7bf4be]
~5次元ニューラル輝度場として表現したが、この表現をもとに実際にある視点からの画像を生成する必要がありボリュームレンダリングという手法を用いる
→3次元的な広がりを持つデータを2次元画面に描画する方法
**Plenoxel[#he7bf4be]
-ニューラルネットワークを一切使用しない''Plenoxel''
~NeRFでは質の高い画像を生成できるが、1つのシーンの学習を収束するのにGPU1枚で1～2日程度かかる
~→学習時間を数分まで改善したものが&size(18){「Plenoxel」};
~[[Plenoxel実装方法:https://www.12-technology.com/2022/01/plenoxels-ai-nerf.html]]
**参考[#he7bf4be]
~[[複数の視点の画像から新しい視点の画像を生成する技術「NeRF」とその学習速度を大幅に改善した研究の紹介:https://www.ibis.ne.jp/blog/20221117-nerf/]]
~[[[Plenoxels] AIで写真から自由視点の写真を生成する [NeRF]:https://www.12-technology.com/2022/01/plenoxels-ai-nerf.html]]
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
