#author("2023-12-19T07:43:03+00:00","default:ubi","ubi") #author("2024-01-29T09:07:52+00:00","default:ubi","ubi") [[Insider]] **研究テーマ [#pd637c6e] -%%視線情報の基づいたUIの自動配置・使いやすいUIの検証%% -%%HMDを利用した3Dディスプレイによるウィンドウ配置・表示%% -new!:探索対象の手がかりの違いが与える影響 **研究計画 [#qcdca7dd] +%%先行研究探索%% +%%先行研究の課題点を考える%% +%%課題点をもとに提案(視線情報からのアプローチにもっていきたい)%% +%%実装方法の提案(ウィンドウの自動再配置をする方法、仮想環境使った方がよさげ?)%% +%%検証%% +%%VR対応仮想デスクトップアプリを探し、試用%% +%%Vive pro eyeのアイトラッキングのやり方を調べて実際に試す%% +%%UnityでディスプレイをキャプチャしてVRの方に表示する方法を調べる%% **研究進捗 [#ecfadba4] ***コマンドメモ [#q64a4685] -改行:~(半角)~ -太文字:’’aa’’(半角)''@@'' -サイト参照:[[name:URL]] -取り消し線:%%あ%%(半角)%%@@%% -コードの表示: @@ -分割線:---- -論文フォルダドライブURL:[[https://drive.google.com/drive/folders/1mfB2TJegIl-VFJQQkoIw_SFSvDE34G_9]] -論文まとめメモURL[[https://docs.google.com/document/d/1kMOQbNmibf30T8InmN6VVSNeDsfgBv3fKbCP89b91Kw/edit?pli=1]] ***日報・週報 [#ge809bfe] -2024/1/29 --[[https://www.jstage.jst.go.jp/article/cogpsy/2016/0/2016_34/_pdf/-char/ja]] --[[https://www.jstage.jst.go.jp/article/jjske2001/7/3/7_3_517/_pdf/-char/ja]] -2023/12/5 今後のtodo +漢字の実験の分析を終わらせる --探索時間、おおよその視線の動き +卒論要旨 +次の実験の準備 --探索課題15枚 --アンケート?インタビュー?用のフォーム -2023/12/1 --[[https://drive.google.com/drive/folders/1bX9Vn96LJCDhTDosjkBE4bw-_3s8v8mj]] -2023/11/27 --実験用漢字URL 回答してもらう予定の順番 横17文字×縦13文字 ---怨[[https://kanji.kuizu100.net/kanjisagashi/easy/19.html?field=chaos]] ---競[[https://kanji.kuizu100.net/kanjisagashi/easy/21.html?field=chaos]] ---問[[https://kanji.kuizu100.net/kanjisagashi/easy/4.html?field=chaos]] ---本[[https://kanji.kuizu100.net/kanjisagashi/easy/6.html?field=chaos]] ---昇[[https://kanji.kuizu100.net/kanjisagashi/normal/12.html?field=chaos]] ---東[[https://kanji.kuizu100.net/kanjisagashi/normal/29.html?field=chaos]] ---祇[[https://kanji.kuizu100.net/kanjisagashi/normal/7.html?field=chaos]] ---凅[[https://kanji.kuizu100.net/kanjisagashi/normal/35.html?field=chaos]] ---弁[[https://kanji.kuizu100.net/kanjisagashi/hard/15.html?field=chaos]] ---萩[[https://kanji.kuizu100.net/kanjisagashi/hard/15.html?field=chaos]] ---士[[https://kanji.kuizu100.net/kanjisagashi/hard/15.html?field=chaos]] ---羨[[https://kanji.kuizu100.net/kanjisagashi/hard/15.html?field=chaos]] ---アンケート作成[[https://docs.google.com/forms/d/e/1FAIpQLSdyDfSaleW5bWTR2_j30BrbhIsOaGZE-1o3eFPGC-cZ8VqBZw/viewform]] --データ保存ドライブ[[https://drive.google.com/drive/folders/1ZOEPvWdGFqv--5ofvg0P5d5KOC4OgUI9]] -2023/11/20 --新しい実験用コンテンツの作成↓画像生成AI ---[[https://stablediffusionweb.com/]] ---[[https://app.prodia.com/art-ai?msclkid=8477db6a5f74154e3e20be31509a3629&utm_source=bing&utm_medium=cpc&utm_campaign=Stable%20Diffusion%20to%20App.Prodia&utm_term=stable%20diffusion&utm_content=Ad%20group%201]] ---3種類(画像、詳細、広義)を各5個の計15個 --漢字、テクスチャ pythonで書きたい -2023/11/14 --見逃し回数のスプシの修正 ---なぜかマイナスになっていたところの原因を調査 ---Pupilplayerで探索開始時間を確認したとき0と9を見間違えた模様 ---ほかにも計算するエリア指定のミスなどあったため修正 ---注視時間の割合が低い数名のをミスがないか確認 ---やること:設問単位で配置を並び替えして比較しやすくする --次の実験について ---どうやって手掛かりに違いを出すか ---被験者自身が次の設問に切り替えられるようにしたい ---設問間に真っ黒または真っ白の一枚を挟むことで視線をリセット ---正誤についてどうするか ---正解を見つけるまで探索してもらうようにしたい(探索時間が伸びるため) ---この場合どうやって正解を見つけたか判断するのかを考える必要あり --明日先生へ相談すること ---座標どの軸がどの向きかわからない問題 ---HCGのホテルや新幹線について -2023/11/10 --見逃し回数のスプシの注視と探索時間のシートに項目追加 ---各設問での注視時間の合計を計算 ---探索時間=注視時間+注視してない時間と考慮し、注視してない時間も算出 ---つまりマイナスになるはずない。でも10_12_002のイヌのだけなぜかマイナスに ---探索時間を数えるとき、または終了フレームのマーキング個所をミスした? -2023/11/7 --見逃し回数のスプシのシート5の注視点の座標差のシートを各設問ごとに色分け ---どこが始点か、それぞれの軸がどの向きなのかがわからない ---もともとどれか一つの軸は差が小さくなると推測してた(一つのディスプレイを見ている状態を計測しているため)がそうなっていなかった ---↑の予測通りになってれば、一つの軸がわかるため平面での移動量を明らかにしやすくなると考えてた ---予測通りにならなかった原因(推測):キャリブレーション時、距離まで気にして◎を動かしていなかったため? --探索時間のシートのところに注視回数/探索時間の項目を追加 -2023/11/2 --瀧田さんとMTG ---統計的なものだけでなく、今後データ分析は個人差にも着目 ---詳細カテゴリの探索時間(どっちかというと照合時間?)について、手がかりをもとに発見した対象が本当に手がかりと一致しているか(探索対象であるか)を考えてしまうから時間がかかる場合もあるのでは?という疑問 ---議事録[[https://w1618214806-sb2517402.slack.com/archives/D04TSPNR32P/p1698921131672879]] ---瀧田さんからの質問への返答に誤謬があったため以下に訂正。議事録メール送るときに記載予定 ---Q. 被験者の探索結果の正誤について A. ×:気にしていない 〇:実験時に言及無し。ただし、確認された際には正誤の返答をした。全員正しい対象を発見するまで探索。 -2023/11/1 --注視点から次の注視点に移動したときの座標の差(どれくらい移動したか)シート5に算出 ---単位がいくつかわからない。㎜? ---座標の(0,0,0)はアイトラッカーの外向きカメラ? ---1017_000のfixationファイルがアップロードできてないまたはエクスポートできてなかった模様。次行ったとき忘れずにやる --めも:手がかり見てる時間と探索時間に相関があるか -2023/10/27 --あいであめも ---注視できてない時間と見逃し回数または探索時間の相関があるか --見逃し回数のスプシ[[https://docs.google.com/spreadsheets/d/1Jie8k20Upoa19HvFVE3rFOvP-WS8SPjq54cKsZjeCz0/edit#gid=361088555]] ---とりあえず各探索ごとの注視回数を数えた -2023/10/26 --GoogleドライブのPupil-Coreのデータをアップロードしてるところにexportフォルダを追加でアップ ---exportフォルダに入っているファイルの説明(公式)[[https://docs.pupil-labs.com/core/software/pupil-player/#fixation-export]] ---座標データはgaze_point_3dとnorm_posの2種類。(いまいちどういうものでどう違うのかを理解しきれていない) ---実験中に頭の位置動かしたりしてる人もいる(開始位置よりディスプレイに寄ったり)からgaze_point_3dの方がいい? -2023/10/24 --次にやれそうなことめも ---Fixation間の移動距離が見逃し回数や時間とどんな相関があるか ---時間当たりのFixationの回数、または1回のFixationにかかる時間と、見逃し回数の関係性 -2023/10/23 --いらすとや[[https://www.irasutoya.com/search?q=%E9%A2%A8%E6%99%AF&updated-max=2018-05-27T21:00:00-07:00&max-results=20&start=0&by-date=false]] -2023/10/21 --原稿書き進める --はじめにの%に書いたやつ ---和崎らはあってるけど貼るURL間違えた気がする -2023/10/20 --てんぷれさんこう[[https://www.jstage.jst.go.jp/article/jcsaj/42/3+/42_15/_pdf/-char/ja]] -2023/10/18 --Overleafの自分のプロジェクトのURL[[https://ja.overleaf.com/project]] -2023/10/17 --視線パターンの各録画データを見直して見逃している回数をカウント ---[[https://docs.google.com/spreadsheets/d/1Jie8k20Upoa19HvFVE3rFOvP-WS8SPjq54cKsZjeCz0/edit#gid=0]] --タイトルを考える ---情報提示手法の変化が視覚探索に与える影響 ---提示する情報量の変化が視覚探索の視線パターンに与える影響 --追加で二人に被験してもらった --HGC申し込んだ -2023/10/12 --火曜日の続きで3名実験してもらった ---録画データはドライブにアップ済み、pupil_player/2023_10_12 --念のため新しいパターン用の画像の準備はじめる -2023/10/10 --先週の分から先生とMTG ---同じオブジェクトに対して違う指示で比較しなきゃ意味ないのでは? --↑ということから新しく3種類比較できるように3つ作成 ---ABC,BAC,BCA --セミナーの3名と研究室の3名に実験してもらった ---視線の録画ファイルはドライブにアップ済み[[]] ---ざっと見た感じ指示のある下→左から外周側を探し始める人が多かったような -2023/10/6 --視線の録画データ8個(詳細はドライブの付属メモに) ---キャリブレーションや目を撮るカメラの向きがうまくいってないことがあり、視線が飛んだりとれてなかったりずれているのもあり ---pupil playerで再生できるデータを全部ドライブにアップ[[https://drive.google.com/drive/folders/1Ol76yhwIqHbLBaUVuQHbk8Z4vBZxqDvh]] -2023/10/4 --昨日の続きの玄関1セット作成完了 --一応スライドの1ページ目も作成完了 ---[[https://docs.google.com/presentation/d/1Wxn3Gg-2a8DWzn_V1gpHyjA8yOreV7xu/edit?usp=drive_link&ouid=117784643685744789741&rtpof=true&sd=true]] ---[[https://docs.google.com/presentation/d/19gXVAQAaNqbRaP9Ykx5KuxsJJWtkTh2E/edit?usp=drive_link&ouid=117784643685744789741&rtpof=true&sd=true]] ---[[https://docs.google.com/presentation/d/1nzgb98tOqrYtx0hUiyyqNaX7f0I4uebE/edit?usp=drive_link&ouid=117784643685744789741&rtpof=true&sd=true]] --静止画の材料集めを少し -2023/10/3 --実際に視線を取得するとき、どうやるかを具体的に ---画像と質問パターンごとにスライドを作成 ---質問数は5 ---とりあえず3つの静止画で各1パターン ---スライド1ページに、静止画とその下に一つの指示を絵か文字で表示 ---これらを5ページで1スライド ---絵で指示は一つ、単語だけで2つ、色情報付き一つ、位置情報付き一つ ---↑後でかえるかも ---絵で示す画像を決める --スライド作成進捗 ---公園と書斎1セットずつ完了 ---玄関作成中 ---ただ開始時の説明用スライドが全部すっからかん(見つけたら次のスライドに進んでねしか書いてない) -2023/10/2 --内定式疲れた --MTGのときに出した静止画4枚の情報の整理 ---4枚とも探索する対象となるオブジェクトの書き出しは完了 ---付加する情報となる言葉の書き出しは1枚だけ完了 ---画像のくりぬきはあどびあくろばっとぷろほしいきもち -2023/9/27 --議事録用メモ --①「探す対象に対する保持情報量差による視線パターンの違い」について ---2Dの静止画像から指示された対象を探索してもらう ---指示内容は段階付け(実画像、シルエット、名称+{ロケーション、色、形状}) ---↑を複数名にテストしてもらう(含アイトラッカーの勉強) --④「複数個所を同時に見るときの戦略」について ---2体ボスとの戦闘時、練度の変化によってボスに対するカメラロールが変化するか(ボスが画面内のどの位置に映っているように立ち回るか) ---初見からクリアまでのうちにどのように変化するか比較 ---Youtubeの実況動画や配信から統計(4,5名見つかる良い) ---ELDEN RING「神肌のふたり」 -2023/9/26 --静止画複数枚◯ --動画は探すのとダウンロード完了。あとは切り抜き編集 -2023/9/25 --今日明日のto-do ---テーマ①用 静止画像数枚、探索対象決定、その情報を整理(それそのものの画像、名称だけ、形状について、場所) ---テーマ④用 ゲームのプレイ動画 つなげる -2023/9/19 --論文メモに追記 ---一覧作成 ---各論文ごとに章分け ---項目として抄録や要約を追加 ---抄録が英語のものはDeepLで訳したの貼り付け ---一部抄録や要約に記載されている目的部分と思われる場所に下線追加 -2023/9/14,15 --ろんぶんめも(つくりかけ)[[https://docs.google.com/document/d/1kMOQbNmibf30T8InmN6VVSNeDsfgBv3fKbCP89b91Kw/edit?pli=1]] ---日報に乗せているやつをまとめて見やすくしたいと思って作り始めた(日報は下に流れて行っちゃうから) --使用するゲームの要件を考える ---描画:3D?2D? ---プレイヤーの視界を動かすか(カメラを回すか)、座標の変更が可能か(移動できるか) ---ユーザーの視点(3Dの場合):一人称?、三人称? ---ファズモ(3D、1人称、キャラ移動アリ、カメラ旋回あり)が意外といけるかも? -2023/9/12,13 --サーベイ続き --1~3 視線パターン、視覚探索、事前知識、事前情報、経験、熟練、初心者、練度 ---1,2 日常経験が視覚探索の視線パターンに与える影響[[https://www.jstage.jst.go.jp/article/vision/31/2/31_55/_pdf/-char/ja]] ---1,2 地下鉄路線図の探索における視線パターンに対する色情報の影響[[https://www.jstage.jst.go.jp/article/vision/32/4/32_93/_pdf/-char/ja]] ---1,2 日常経験が時空間次元での視覚探索中の視線パターンに与える影響[[https://core.ac.uk/download/pdf/327210097.pdf]] ---3 バスケットボールのドリブルカット時における視覚探索方略について[[https://www.jstage.jst.go.jp/article/jspehss/67/0/67_121_2/_article/-char/ja/]] ---2? 視覚探索における出現頻度効果[[https://www.jstage.jst.go.jp/article/psychono/32/1/32_KJ00008988954/_article/-char/ja/]] --4 同時、複数、gaze, multiple targets, ---Eye movements during multiple object tracking: Where do participants look?[[https://www.sciencedirect.com/science/article/abs/pii/S0010027707002776]] ---Tracking multiple targets with multifocal attention[[https://www.sciencedirect.com/science/article/abs/pii/S136466130500149X]] -2023/9/11 --各項目さーべい[[https://w1618214806-sb2517402.slack.com/archives/D04TSPNR32P/p1694179624067899]] --検索ワード案:eスポーツ、視線、視野、探す、探索、もの探し、同時、オープンワールド、 ---1 ---2 ---3 視覚探索課題?[[https://www.jstage.jst.go.jp/article/sjpr/46/3/46_426/_pdf/-char/ja]] ---4 [[https://cir.nii.ac.jp/crid/1573105977229767808]] --探し方が下手なためかあまり見つからない --ゲームタイトルとシーンの候補 ---1~3 ---4 アクションゲーム:MH、ELDEN RING、Neir、 音無しでやるリズムゲー -2023/9/7 --瀧田さんとMTG --探すオブジェクトが既知か未知かでの探し方(視線移動)の違い ---探し物をどの程度知っているか(具体性)、 ---関連:ランドマーク、説明、ルート --経験によっての探し方(視線移動)の違い。初心者、中級者、上級者間で比較 ---関連:戦闘シーンのほうが比較しやすい? --探索時、直視している位置に準拠した視野の範囲の制約の有無による探し方とかかる時間の違い。有・無での比較、初心者・熟練者での比較 --- --複数個所を同時に見るときの視線の移動の仕方の違いonゲーム。初心者と上級者で比較 ---同時に見る→時間的猶予はない→アクションゲーム(モンハン等) ---関連:初心者に毎日練習してもらい、熟練度の変化によって視線移動の変化がどう起こるかをみるのもありかも --宿題:↑4つについて学術的に調査、検証に使えそうなゲームタイトルとシーンを見つける・考える ---締め切り:大体1週間 ---- -2023/9/5 --9月入ってしまった --凹みさんのディスプレイを並べるスクリプト(MultipleMonitorLayouter)が実際どういうことをしているのかをお勉強 ---foreach関数…コレクション(配列とかリストとか)の要素を一つ一つ変数に格納する。要素数分ループ ---info.gameObject.transform.localPosition = new Vector3(x, 0f, 0f); ---info.gameObject.transform.localRotation = info.originalRotation; ---↑二つが多分座標を(計算して)保存してる ---書き換えて試すにしろディスプレイもう1枚つなげないとできない --明日やること:↓調べる ---pukiwikiに画像を張り付ける方法 ---GIFとかの作り方 ---pukiwikiへ↑を張り付ける方法 -2023/8/31 --前回からの続き ---自分で作り始めた方(focus_t)を1行ずつコメントアウトを外して保存しなおすを繰り返してエラーにならないことを確認しながら作成 ---途中でなぜかTP.csでエラー(いじってないのに) ---スクリプトfocus_tを物体を設置していない空オブジェクトのGameObjectに追加 ---実行したところ、ちゃんと赤い点が自分が見ているオブジェクト位置あたりに表示されるようになった --次、複数のディスプレイを縦に並べるスクリプトをつくる -2023/8/29 --前回の続き ---コンパイルエラーになってた原因はクラス名がファイル名と一致してなかったため。修正した ---[[https://qiita.com/RyoyaHase/items/5af948666a039d48a68d]]で、焦点に合わせて赤丸が動くやつは解説でサンプルプログラムを使ってと書いてある ---→ViveSRの中のサンプルのスクリプトにもしかしたらあるのではないかと思って探してみた ---→SRanipal_EyeFocusSample.csを発見 ---このスクリプトをオブジェクトに追加してみたけどそのオブジェクトが焦点に合わせて動いたりはしなかった --- -2023/8/25 --昨日の試みの続き ---焦点情報を参照して移動する赤丸を作るためのスクリプトを作成 ---先輩のゴルフゲームを参照してみたり、調べたり[[https://yttm-work.jp/unity/unity_0009.html]] ---書いてみたけどコンパイルできず ---そのプロジェクト上のもの全部動かせなくなった→原因はコンパイルできないスクリプトがあることそのもの ---別のシーンを作って参考にしているスクリプトがどんなことしているのかを正確に把握してからの方が進みそう -2023/8/24 --一昨日sample2の確認をしてなかったからした ---焦点に合わせて赤丸が表示されるようにしたかったためそれに必要なスクリプトの作成を開始 ---どうかけばいいかぜんぜんわからない --共同研究のおはなし ---FPSやアクションRPGにおけるマップ探索中のプレイヤーの視線→条件次第で違いがありそう ---モブ戦闘時の攻撃予兆 どこを見ているか -2023/8/22 --前回のスクリプトの動作確認 ---瞳孔、瞼の開き具合、視線情報、焦点情報、全部取得できていることを確認 ---瞼のはかぶっていないときは1で、それ以外はかぶっていないとき(目が認識できていないとき?)はログに表示されない ---→目のそれらの情報を取得できてないから? -2023/8/18 --アイトラッキングの方を[[https://qiita.com/RyoyaHase/items/5af948666a039d48a68d]]に沿って進めた ---スクリプトのコピーと作成やオブジェクトの設置はできた ---実際にどうやって動作するのかを確認しようとしたら、HMDの方のランプが持ち上げると赤くなって、かぶっても真っ暗 ---プロジェクトを起動するとちゃんとSteamVRの方でも起動していることが確認できる ---HMDを持って動かしてみると、Unityの画面の方も動いて配置したオブジェクトが映り込んだりして、動作しているのが確認できた ---プロジェクトは正常に動作しているが、HMD本体が異常な状態だと判断可 ---HMDは机に置いておくと、ランプは緑でSteamVRではスタンバイ状態と表示 ---かぶるために持ち上げたとたんランプが赤になり、SteamVRの方は状態の表示が消える(プロジェクト起動時はプレイ中となる) ---再起動で復活。一安心 ---④の情報を利用するというのがどうすればいいかいまいちわからない -2023/8/15 --凹みさんのuDDがどういうものかお勉強 ---1枚用のはもともと板を配置しているが、マルチモニター用のは立ち上げ時につながっているモニター分作成している模様 ---→だから起動する前のシーンにモニターを置く場所を示すオブジェクトはあったけど板そのものがなかった ---スクリプトで作るのと配置するのが別々であって、そのスクリプトに従って動いている模様 ---配置の方をうまく書き換えられたら重ねて並べられそう ---HMDの位置情報とか視線情報を取得して、その数値とモニターとの角度で後ろ側のだけ動くようにするスクリプトを作ればできる? --ひとまずの目標 ---①ディスプレイを縦方向に重ねて配置 ---②HMDの位置情報視線情報の取得と利用 ---③ディスプレイの配置を1枚だけ動かせるようにする -2023/8/10 --昨日コピペして入れたスクリプトの中身の概要の把握と実際に機能しているか確認 ---昨日全部入れた状態でやったらグリップのボタンは確認できたが他ができてなかった ---一つずつ確認していったらメニューボタン(MB)以外はボタンを押している深度やトラックパッドの触れている点の座標も取得できていた ---全部まとめてだといっぺんに表示されるログが多すぎて見える前に流れている状態になっていた模様 ---トラックパッドの押しているかどうかのログを確認できなかった ---コントローラとHMDの座標取得のスクリプトはちゃんと動作して取得できていることが確認できた ---今自分のいる位置がプレイエリアの端っこなため、プレイエリアの再設定を検討 --次やりたいこと ---凹み氏の複数枚用のを動かしてみたいため、ディスプレイ置く場所とつなぐ先を確保したい ---アイトラッキングの視線データ取得について --思い付き ---ディスプレイ代わりになる板を2枚重ねて配置して、HMDの座標から傾いているのを検知したら後ろ側の板をかたむくようにすればいい? -2023/8/9 --2019.4.27の方だとGUILayerのエラーが出なかった ---直さずともそのまま動かせてかつ、カメラも回る --2019.4.27の方(MyProject8)でコントローラの入力値をげっとできるよう設定 ---ほんとにこのスクリプトのままできるかは不明 --HMDとコントローラの位置情報も取得できるようにしたい ---裏に隠れているディスプレイをのぞき込んだりする動作はHMDの傾きだったり位置情報だったりをもとするのがよいのでは? ---アイトラッキングなしでものぞき込んでるかどうかはわかる? ---位置情報を取得して保存するスクリプトは保存したが、どのオブジェクトに入れて使えるのかよくわかってないから調べる必要あり -2023/8/8 --前回いじっていた時に出てたエラー分をそのままググった ---[[https://baba-s.hatenablog.com/entry/2020/05/07/070100]] ---Flare Layerを削除すればいいらしい -- -2023/8/3 --いろいろUnityの使い方をお勉強した結果なんで凹みさんのでHMDの方が起動しないのか疑問 ---理由が思いつかないから実際に試してみたらできた ---ただ、メインカメラ?に異常あり ---シーン選択時にエラーの文章が出てきてるけどMainCameraのどこの何をどう直せばいいかわからない ---↑の内容「Component GUI Layer in Main Camera for Scene Assets/uDesktopDuplication/Samples/01. Basic/Primary Monitor.unity is no longer available. It will be removed after you edit this GameObject and save the Scene.」 ---HMD動かしてもずっと目の前にディスプレイのコピーが表示されている状態(というか景色も動いてない) ---→HMDの位置とか角度が反映されてない? --バージョン2019.4.27に今まで使ってたのを流用しようとしたら結構いろいろ真っ赤なエラー状態になったから新しいプロジェクトを一から ---アイトラッキングができる状態にできたのでサンプルで動作確認をしたところ問題なく動いたと思われる -2023/8/1 --[[https://qiita.com/RyoyaHase/items/81fa026f68aee02fa5d4]]を進めてく ---「トリガーの入力をフロートで取得する」のところで、アクションを追加し保存したとき、ポップアップが出てこなかった ---代わりに右下の通知でクラウドエラーが出てきた ---TrackPadの追加の時はポップアップが出てきた ---問題なく動作 ---今のところ動作自体は問題なくできているが、SteamVRを経由して動作しているとことでしょっちゅうクラウドエラーの通知が出る。不思議 --なんとなくUnityのプロジェクトの構造がわかってきたかも? ---シーンにオブジェクトを追加してそれにスクリプトを追加して動作してる? ---各オブジェクトがどういうものかはわかってない -2023/7/28 --[[https://qiita.com/RyoyaHase/items/89ffc9d134b784b8ae50]]をもとにUnityお勉強 ---入力を取得する際で、実行してもコンソールに入力結果が表示されない ---今のところコントローラが2個とも認識されている状態で実行できてないから? ---コンソールの表示設定の問題だった模様。ちゃんとできてた -2023/7/25 --知財の課題 --SteamVRhomeが起動しない ---ベースステーションが冷房に場所を占拠されて撤去されてた ---↑再設置後正常に動作 --前回のプラグインについている複雑な方のサンプル(Interactions_Example)を利用 ---HMDに表示されずUnity強制終了 ---シンプルな方のサンプルでやり直し ---何回かUnityを再起動したりしてたらシンプルな方が再びできたので、複雑な方を起動してみたら動作確認 ---HMDでも --そのまま凹みさんの起動するだけじゃやはりHMDの方では× -2023/7/20 --SteamVR Unity Pluginをインポート ---凹みさんのパッケージをUnityで起動して動作は確認できていたが、HMDで表示ができていなかったから↑をやることに ---SteamVR Unity Plugin内のサンプルの起動とHMDでの動作を確認。 ---コントローラも認識してた ---次、凹みさんのやつをHMDでうごかせるようにする --アイトラッキングはいったんあきらめた -2023/7/18 --vive pro eye のアイトラッキング機能を試用 ---キャリブレーションとその確認はできた --必要なSDKもインストール済みな模様 --MyProject(7) ---SDKと凹みさんのアセットのパッケージをインポート ---凹みさんのパッケージのサンプル(Basicのprimarymonitor)は動かせた ---SDKに入ってる視線のサンプルを起動するとSRanipalRuntimeが変更を加えるから許可するかの確認画面が ---はいを選ぶと少ししてからUnityが強制終了?落ちる ---いいえだとアイトラッキングできない [SRanipal] Initial Eye : RUNTIME_NO_RESPONSE 起動してないんだからそりゃそう ---そもそもサンプルを開いたときにえらー「Component GUI Layer in Main Camera for Scene Assets/ViveSR/Scenes/Eye/EyeSample.unity is no longer available. It will be removed after you edit this GameObject and save the Scene.」 ---メインカメラの何をいじればいいかわからないからバージョンを変えてみたが同じエラーを確認 ---そもそもこのエラーは何に関連があるかわからない。SRが起動できないのと関係があるのか -2023/7/14 --BigScreenの初期の状態でどのようなことができるかを確認した ---基本的に動画を大画面で見れたらいいよねっていうのがコンセプトにあるのかなと感じた ---できることを片っ端からやっていったところ、Youtube開くとアプリが強制終了すること多発。その時ディスプレイの方でクラウドエラーの通知を確認 ---SteamVRが強制終了することも発生(1回) ---ついにはPCの強制終了+再起動(3回) ---スペック不足? --MetaQuest2はメガネつけてだとフレームをはめるのが困難 ---なしだと何が表示されているかぼやけてて文字が読めない ---初期セットアップもできなかった --Unityアカウント作成 ---とりあえず新しいプロジェクトを作ってUnityパッケージを全部インポートできた --- -2023/7/13 --SteamにBigScreenをダウンロードしてみた ---動作は確認 ---本と少し除いた限りだが、表示されるディスプレイは大きいのが1枚(物理的な法が1枚のとき) --↓のアセットをダウンロードした --ディスプレイ台になってたMetaのHMD?を開封、充電中 -2023/7/11 --VIVEPORT VRからimmersedのインストールを試みるため、検索したが見つからないなぜ(VRじゃない方では見つかった) ---VIVEPORT VRで検索している途中アプリが強制終了すること3回、そのうち1回PC側も再起動になった ---Vive pro eye未対応だった 代わりを探す ---代わりになりそうなのが紹介されてる[[https://future-architect.github.io/articles/20221031b/]] ---Meta Horizon WorkroomsはMeta製品用 Vive pro eye非対応 ---Big screenはSteamVR対応で無料。ただ日本語非対応 --UnityでVive pro eyeのVRの開発のやり方[[https://qiita.com/RyoyaHase/items/5a173b7acbdf9aa2cfff]] ---UnityでVRにデスクトップを表示するうえで良いアセットらしい[[https://github.com/hecomi/uDesktopDuplication]] ---7/6の日報で張り付けてあるURL参照 ---Windows側の仮想デスクトップを使ってVRに複数のディスプレイを表示ってできるのかな? ---凹み氏の[[https://tips.hecomi.com/entry/2019/09/27/235955]] ---上のぎっとはぶのアセットの使い方?[[https://tips.hecomi.com/entry/2016/12/04/125641]] -2023/7/6 --ViveProEyeからSteamVR経由でVIVEPortのアプリの利用に成功? ---少なくともアプリ側に問題がないと思われる全部のアプリを起動できた ---起動できなかったのが一つあったが、VRとデスクトップのどちら側から起動してもクラウドエラーと出ていたのでアプリ側に原因がある模様? --PC側のVIVEPortでimmersedを検索したら「本タイトルは、モバイルVRデバイス経由でのみダウンロードすることができます。」と出てきた ---VRのアプリにVIVEPortがあったためそちらから検索してインストールならできるということ? ---次に↑を試す。いまいちVRの操作がわかってないため大変かもしれない --PC(2356のubi04)にimmersedをダウンロードした ---アカウントが必要なようなので、ちょっとストップしてます --Unityを使って実際のディスプレイに映しているのをVRにも表示するやり方を書いているページを見つけた ---ちょっとふるい[[https://qiita.com/CST_negi/items/dde9dedab477a89726cd]] ---ウィンドウ単位で表示させられたら物理的なディスプレイの制約なしで実装できる? ---[[https://twitter.com/Shin2079/status/1147472077651189761]] -2023/6/30, 7/3~5 --ViveProEyeの起動に成功 ---steamVRが必要だった模様 ---VIVEPortもSteamVR経由で起動する模様 ---その確認を明日やる予定 ---確認出来たらimmersedのインストールを試す --知財の課題終わらせた --VR内でウィンドウを表示したりを自作するならUnity? ---URLもらい忘れてた悲しみ ---覗き込んだとしてウィンドウのはいちいち次第では後ろに配置されているのは見えない可能性 ---→後ろにあるやつを覗き込んだ角度に合わせて傾けて見やすくする ---- -2023/6/29 --ubi04(2357の方の)を再起動したので更新してしまいました --immersedインストールしたいのでubi04をネットワークに接続したい ---LANケーブルと差込先の確保が必要。(2057のテレビの下にある四角いの?) --ViveProEyeのステータスライトが赤 ---えらーな模様 ---リンクボックスを接続し直して再起動したけど赤のまま→ほかの問題いっぱい --ubi04からVIVEProツールを発見。 ---それの指示通りに進めようとした ---ベースステーションおかないと使えないです? ---リンクボックスは起動している様子(ライトが緑) ---↑検出も成功 ---コントローラは充電の必要あり。誰か知らないけどUSBポート借りてます --おまけ:ubi04が別々の部屋ではありますが、2台確認しました。 -2023/6/27,28 --知財の課題すすめる --VIVE Pro eyeの取説と思われるページ発見 --先生に紹介してもらったimmersedの記事を読んだ ---公式のセットアップ解説ページはすでに消されている模様(見つからないって言われた) ---vive のアプリストアでも見つけた ---インストールはそこからがわかりやすいかも? -- -2023/6/22,23 --やること ---VIVE Pro eye 取説確保 読む --ウィンドウの三次元表示で二次元表示では見ずらいやつをなんとかする ---ウィンドウとかの表示物が重複しているとき、三次元で重ねておくことで、それらを人間の体感で動いた通りに見えるように ---→2Dのだと裏にあるやつを表に出さないと見えないけど、3Dなら覗き込んだら見えるようにするみたいな --関係ないけど疑問に思ったこと:世の中縦長にもの使うことが多い(文書の類とか)のになんで、横長ディスプレイが主流なんだろう? -2023/6/20, 21 --検索ワード:ウィンドウ UI 配置 ---[[https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=219676&item_no=1&page_id=13&block_id=8]] ---[[https://ken.ieice.org/ken/paper/20190314m1l1/]]電子情報通信学会 研究会発表申込システムって何ですか --検索ワード:HUD ---[[https://conference.vrsj.org/ac2020/program/doc/1B3-5_PR0004.pdf]] ---[[https://www.jstage.jst.go.jp/article/tvrsj/27/3/27_218/_pdf]]多分↑のと同テーマ ---比較用虚像ってなんぞ? ---まだ読み途中、実験手法をちょっと変えている? -2023/6/19 --HUD (Head Up Display):人間の視野に直接情報を映し出す手段 ---ゲーム界隈と他で若干内容に違いがある? ---HUD>UI ? ---なんか思いついてたけど忘れた。おもいだしたらかくすぺーす --UI (User Interface):ユーザーとコンピューターあいだで情報をやり取りするさまざまな入出力装置 ---出力や入力のデザインや形式も含むっていう認識を自分はしている --HUDとUIの違いは?インタラクティブか否か?[[https://docs.unrealengine.com/4.27/ja/InteractiveExperiences/Framework/UIAndHUD/]] ---- -2023/6/15, 16 --前にざっと読んだ、集中力向上のための自習環境についての論文の一つ前?のものを見つけたので読んだ ---集中してほしいオブジェクトの部分以外を乳白色のフィルターで覆うというやつ ---前読んでたやつが、これを引き継いで研究してたものと推測 ---評価の仕方が違う? --ミーティング ---自分のやりたいことは何? ---UI(興味持ったきっかけ:FF14、←自分でUIの配置を設定できる(HUDレイアウト設定)、人によって違う、視線の動かし方、うまい下手の違い) ---何のためのUI? 料理、デスクワーク、ゲーム... ---出力装置の形状 普通の横長ディスプレイ、縦長、HMD(MR,VR) -2023/6/13,14 --MRと調理についての論文を探してみた ---初心者でも魚をさばきやすくするために支援する研究を見つけた ---魚の骨格を魚の上に表示する-というもの ---包丁が見づらくなっていたので危険だと思った ---ただ、アイデアとしては自分が調理の補助として考えていたものと似ていると感じた --BT-40について、なぜ自分のスマホはディスプレイに表示できなかったかを考えた ---BT-40は横長の表示、スマホは縦長、向きを変えたらできる? -2023/6/12 --研究テーマを検討するうえで、自分のやりたいこと ---XR ---視線情報の取得と利用 ---UI、ダメでも環境に注目 ---↑の用途としては、デスクワークとか? ---料理とかもおもしろそう ---そもそも使いやすいってなんだろう? -2023/6/8 --エプソンのBT-40を少し使ってみた ---取説にはメガネ付けてても使えると書いてあったが実際にかけてみて厳しいと感じた ---鼻あての形状からして、使っているうちに曲がりそう ---結構前の方に重みがあるのも↑と思った理由の一つ ---追記:ピントあいにくい ---田中のPCは接続成功し、そのままディスプレイに映っているものがBT-40のスクリーンに映し出されてる→PCの画面を共有している ---シェードグラスという真っ黒の覆い(磁石でくっつく)ありだとはっきり見えるが、無しだと少し透けている模様 ---私のAndroidのスマホでは接続して充電はできていたが、映らなかった -2023/6/6 --疑問メモ ---MRグラスとかVRのHMDつかってたら視力落ちやすくなったりするのか疑問 ---目の疲れやすさとUIと視線移動に関係性はありえる? -2023/6/2 --画像電子学会は論文が最後に流れ着く場所 --検索するなら学会名よりも他の関連ワード -2023/5/31,6/1 --「MR 技術を利用した集中力向上のための自習環境システム」にざっと目を通した。 ---利用したMR機器はマジックリープ ---作業する実環境上に、MRを用いて、作業するパソコンの周辺環境に色フィルターをかけて、集中力が散らないようにしている ---視覚顕著性:どれだけ注視を集めやすいか で評価 -2023/5/29,30 --非常時の業務継続性を確保するオフィス視環境(その 1):ヘッドマウントディスプレイ型ヴァーチャルリアリティシステムを用いた検討[[https://www.jstage.jst.go.jp/article/aije/86/784/86_590/_pdf/-char/ja]]よむ ---PC画面での作業の際、周りの照度とディスプレイの明るさに差があればあるほど不快になる傾向がある ---紙面では明るい方が◎だが、一定の明るさを超えるとあまり差を感じにくい模様 --上の論文を読んでいて、MRの場合だと映しているウィンドウやオブジェクトと周囲の明るさの差で感じ方にどのような差が発生するのかという疑問が浮かんだ --実世界のものの明度が上がって見えるフィルターとかってあるのだろうか? --UIの自動配置、再配置をするとき、人間がそのUIになれるまでの速度より早く人に合わせられる必要がある?(上の論文とは関係なし) -2023/5/29~6/2 --ため込んでいる長い論文を読む --具体的な卒論のテーマを考えたい ---- -2023/5/26(金) --視線班MTG ---論文は学校で開く、無理だったら図書館 ---MRグラスで環境を仮想化もあり? ---ウィンドウも只は位置だけじゃなくて、色わけとかも -2023/5/25(木) --MTGスライドで事例の詳細としてとせようと探して見つけた論文で開けたのを読んだ ---論文ふぉるだにアップ済み、「実世界オブジェクトへの投影と仮想空間を組み合わせた読書インタラクション」 ---紙面と文字の色反転してるの残念 -2023/5/22~24 --MTG用のスライドを作成 --月曜はXRについて調べてスライドを作成 ---SRを初めて知ったが、VRとの境界線がいまいちわからない ---相変わらずARとMRの境界線は曖昧でわかりずらい ---一応学術的に明確な境界線があるらしい? --火曜はHololens2とその機能、他製品の調査 --水曜に事例を探してまとめた ---結局先週読んだ三菱のになった ---割とまだ新しいため有料の論文が多い印象。(たまたま興味持ったものが有料というだけかもしれないが) -2023/5/22~26 --最優先事項:発表用のスライド作り ---- -2023/5/19(金) --スライド用の材料集め --今週のまとめ ---論文の出どころを意識して探す&読むように -2023/5/18(木) --来週の発表のテーマをひとまずHololens2に決定 --スライドの大まかな構成とひな形作成開始 -2023/5/16(火) --三菱重工の現場作業でのMRグラス活用の事例紹介の記事(技術論文と書いてはある)を読んだ ---航空機胴体のパネル組み立て作業とボイラ裾付け工事マーキング作業 ---図面(多分2D)だとわかりずらくて時間がかかっていた→MRグラスに取り付け後の3Dモデルや作業箇所と指示とかを表示→作業効率・品質向上に ---前者は時間半減、後者は工数97%削減 --今探している内容とはちょっと違った -2023/5/15(月) --エクサゲーミングにおいてMRとVRの影響を比較した論文を読んだ --被験者 男18、女4 ちょっと偏りが強い気がする。男女間で差があるのか気になる --SSQで酔いの比較、通気性、操作性、安全性をSD法で回答 ---MRの方が酔いやすいかった模様 ---通気性と安全性はMRが上、操作性はVRが上 ---操作性について:VRは大体オブジェクト(コントローラ)ありに対し、MRは素手という環境の違いあり。 ---推測された原因:現実での手と仮想オブジェクトを重ねることによる距離感のつかみにくさ ---MRでも代替オブジェクトを追加して再実験 ---再実験の結果、前環境と比較して向上。ただ変化なしと回答した人もあり --不明用語 ---VRWorkout…[[https://store.steampowered.com/app/1346850/VRWorkout/?l=japanese]]VRエクサゲームタイトル。飛んでくる物質を触るように動くゲーム ---SSQ…Simulator Sickness Questionnaireの略。参考[[https://www.ite.or.jp/contents/keywords/FILE-20111231153818.pdf]] ---SD法…感情的なイメージを、対立する形容詞の対を用いて5段階または7段階の尺度で回答させる方法 --VRよりMRの方が酔いやすいというのが気になった点。VRとMRでどんな違いがあった?仮想オブジェクトだけor仮想+現実の違い? --体を大きく動かす(VR・MRメガネも装着したまま大きく動く)ことがトリガーになってる可能性あり? -2023/5/15〜5/19 --発表の準備 ---何にするか考えて探す --先週見つけた論文全部読みたい(↑に使えそうなのがあればラッキー) ---- -2023/5/12(金) --先生とmtgめも ---読んでたやつは論文というより紹介の記事 ---他の論文をとてもざっと見た感想?とは少し違うかもだけどセンサーでキーボード入力とかできたら面白そう ---元のテーマからはそれるけど↑はLeapMotion --今週まとめ ---今週も寄り道みたいになってた ---内容としては使えそうだなと思ったが、眼鏡の外側のセンサーがメインで内側(アイトラッキング)用ではなさ気なのが残念だった -2023/5/11(木) --4.The HoloLens2ForCV Repositoryと5.Conclusionの部分を訳したやつをまとめた --4のは多分ResearchModeAPIを活用できるアプリの紹介 -2023/5/10(水) --昨日の続き、ResearchModeAPIについての部分を訳してまとめた。 --↓の理由からわからない単語とかしらべたり、プログラムの解読は後回し --論文探して読んでる目的考えるとちょっと読む順番間違えた気がする --とりあえず読みたいときにすぐ読めるように訳してまとめる作業は終わらせる、その時にざっとは読む -2023/5/9(火) --思いついたことメモ ---ディスプレイ環境の制約→じゃあARとかって話だから用途として仕事に絞る必要はないのでは ---でも、用途はっきりしていた方が「良い」をはっきりさせられそう ---デスク環境、ディスプレイ環境が必要な仕事ってだけでもいろいろあってそれぞれで良い配置って違いそう --昨日の続きを訳しながら読んでる ---長さに制約があるため1段落ずつ訳してるけどまとめて訳したときと違う内容な訳し方になってたらどうしよう? -2023/5/8(月) --Hololens2の論文探し開始 --英語のだけど[[https://arxiv.org/pdf/2008.11239.pdf]] ---概要を訳して必要そうだと思ったやつ ---とりあえず訳して読みながら訳をメモして、読み進めていく ---訳はDeepLに頑張ってもらう ---概要:Hololens2についているセンサーストリームにアクセスできるAPIとツールがセットになってるHololens2 Research Modeの紹介 -2023/5/8~5/12 --Hololens2の論文探し --他のARデバイスやそれの論文があるかの確認もしたい --4本くらい読みたい --まずは日本語のから ---- -2023/4/28(金) --MTGメモ:検索ワード案 ---MV研究会、VR学会、ヒューマンインタフェース学会、うぃすと(%%WIST%%)?UIST、sigMR… ---Microsoft-Hololens2 --HoloLensとNrealLightを大まかに確認して比較 ---HoloLensはアイトラッキング搭載(NrealLightはない模様)どっちも手のはあった ---ただ、NrealLightは操作が接続しているスマホを想定? ---印象になってしまうが、HoloLensの方が実験とかに向いてるように感じた --今週のまとめ ---論文探し意外と難しくて2本(実質1本)しか読めてなかった ---就活バイバイしたから減らすことはしない ---必要なことではあったけど目標から見るとデバイス探しの寄り道?をしてた ---↑のおかげで検索ネタいっぱいもらえたのでよし -2023/4/27(木) --NrealLight:高性能ARメガネ。MRできるのが売りみたい ---[[https://time-space.kddi.com/au-kddi/20220426/3305]] ---[[https://au5g.jp/smartglasses/nreallight]] -2023/4/26(水) --昨日の続きであるその2を読んだ ---その1が、環境値の測定結果や、被験者全体の傾向を示すものであった ---↑に対し、その2は事前調査からわかった好みの空間タイプに基づいて結果を比較していた -2023/4/25(火) --昨日の日報に記した1個目の論文を読んだ ---個々人各々好みに応じれる個人用のワークスペースの検討と実験についての論文 ---その1とのことで、こちらでは被験者の主観について記載 ---タイトルから予測していたものとは違い、湿温度やCO2の濃度や照度に騒音などを環境として測定して検証していた。 ---後者二つ(照度や音)に関しては参考になるアプローチだと思った。 ---明日はその2 -2023/4/24(月) --必要な論文を探す検索ワードとして継続して「ワークスペース」は採用 ---[[https://www.jstage.jst.go.jp/article/shasetaikai/2020.8/0/2020.8_129/_pdf]],[[https://www.jstage.jst.go.jp/article/shasetaikai/2020.8/0/2020.8_133/_pdf]] ---ワークスペースへの社会的な需要や捉え方の変化について論文に限らず探すのもありかと考えた。 --「xR」、「AR」、「VR」 ---実際に環境を作るうえで読んでおいた方がいいかもしれない? ---似たようなことを考えてるのがあるかもしれない --他考え中 -2023/4/24~4/29のto do --書き出した研究背景をもとに、どんな論文を読み進める必要があるか --↑に必要な検索ワードを考案 --3本は読んでまとめたい ---- -2023/4/21(金) --日報内に読んだ論文のURLをひとまず追記 --視線班でミーティング↓メモ ---ストーリー(研究背景)を考える ---現在のワークスペース構築においては、様々な形状とサイズな複数のディスプレイで構築されていることが増↑↑ ---物理的環境構築の制約やセキュリティ面での問題を考えると、VRやARを用いたワークスペース環境の構築は有用 ---上記環境下では、よりワークスペースの構築における自由度が上昇し、手動での構築は非効率 ---以上から、上記環境下でのワークスペースの構築を容易にする手法(自動化とか)を提案 みたいな感じ -2023/4/19(水) --[[https://www.jstage.jst.go.jp/article/ieejeiss1987/112/1/112_1_10/_pdf]] --ファジィルールとは:「○○○ ''みたいな感じ''ならば △△△ ''みたいな感じ''」というような文法で表された論理表現。これで規則等を表現する模様※太字は追記 --「ウィンドウシステム」について検討していくなら、そのウィンドウを取り扱うUIの現在における構成を明示できるようにしておくべきと思った。 --論文を読み、課題点を考えていくうえでも、その当時のものと現在のものの違いが明らかになっている方がよさげ --目が滑っていっている自覚があるのでちゃんと読みなおす -2023/4/17(月) --おおざっぱに研究計画を書いた。忘れないようにメモのつもり --先週水曜に読めなかったのを読み途中([[https://www.jstage.jst.go.jp/article/tjsai/26/1/26_1_237/_pdf]]) --ウィンドウのドッキングについてはイメージとしてマトラボのUIが近そうと思った --タイルウィンドウシステム←→オーバーラップウィンドウシステム ---- -2023/4/12(水)~2023/4/14(金) --就活メイン -2023/4/11(火) --先生とのミーティングで研究テーマの大枠決定。 --紹介?してもらった論文が有料だったため、タイトルをそのままスカラーの方で検索したところ、同年に同じ人たちが出している類似の論文を発見。 --検索ワード「ディスプレイ環境の変化に着目したワークスペース構築手法の評価」 --無料で開けた論文は「評価」の部分が「提案」だった([[https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=221380&item_no=1&page_id=13&block_id=8]]) --とてもまとめると、ユーザーの操作量からウィンドウを分類し、分類ごとに配置を記録して、使用するディスプレイの大きさや数に合わせて計算・再配置するという内容。 --参考文献に面白そうなのがあったため、明日はそれを読みたい -2023/4/10(月) --「視線検出 精度向上 機械学習」で論文を検索 --カメラを用いた視線方向の推定手法として以下2つがある模様 ---モデルベース手法…角膜反射や強膜反射を利用目の ---アピアランスベース手法…画像の特徴量から推定 --現状の研究以外の問題点 ---PCからこのサイトにログインできない →今日はスマホから書いてます。とても大変 ---COLOR(red):(三上)青木君もPCからログインできないようでした。原因究明します。私は普通にはいれてます。