![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2023-12-07T06:52:33+00:00","default:ubi","ubi") #author("2023-12-11T07:37:13+00:00","default:ubi","ubi") [[Insider]] *研究テーマ[#yc942229] -研究テーマについて：バスケのシュートチェック ~背景：シュートチェックの効果がどれくらい効いているのかいまいちわからない。これは野球のピッチャーの投球時に眼鏡を使った視覚阻害をして、コントロールに対しての影響を調べたといった話を聞いて思いついた。 ~大まかな概要：肘または腕あたりにセンサーを付け、そのセンサーの値に応じてホロレンズのようなデバイス（MRやAR）で、視覚の妨害をする。（妨害の内容は都度考える）その妨害の内容によってシュートの成功率にどれくらい影響が出るのか調べる。 **研究計画 [#x64f0657] -①センサーの動作確認 -②どんな実験を行っていくか大まかに構成を考える。 -③座標データをもとにアクションを起こすコードの作成（先にどのデバイスを使うか決める必要があるかどうか） **メモ [#pc4e1ddb] -python demo/image_demo.py \ tests/data/coco/000000000785.jpg \ td-hm_hrnet-w48_8xb32-210e_coco-256x192.py \ td-hm_hrnet-w48_8xb32-210e_coco-256x192-0e67c616_20220913.pth \ --out-file vis_results.jpg \ --draw-heatmap **Bt-40（眼鏡について） [#ra7facc0] -ディスプレイの映像がそのまま出力される。デュアルモニターのように出力させることができないか要件等 -rgb0の画像については、透過されずそのまま黒の画像が出力される。透過させるには何かしらの設定が必要か。 -いろんなQ&Q:https://tech.moverio.epson.com/ja/technical_faq/ **OpenPose[#eaea1e49] -簡単に使う場合 --コマンドプロンプトでOpenPoseのディレクトリで、bin\OpenPoseDemo.exeから簡単に動作させることができる。 --自分が撮った映像を読み込みたい場合は、bin\OpenPoseDemo.exe-v○○で映像の読み込みができる。 **研究素材 [#p0edf562] -Googleドライブ:https://drive.google.com/drive/folders/1eSPonUMQ7L3q37fwlDS8bm_yooZlNzaO?usp=share_link **研究進捗 [#q5de7b24] ***週間目標 [#wae61a66] -卒論要旨を最低でも1ページ分は書きたい ***日報 [#gba16c82] -2023/12/6(木) -2023/12/11(月) --やりたいことができるシステムはできたが、セットやリリースを読み取る際に、うまくいかないときがある。 -2023/12/7(木) --エクセルに欲しいデータを出力できるようになった。ただ、キー入力を検知してから動作を開始しようとすると、画像が出力されなくなる。 -2023/12/6(水) --並列処理のコーディングに苦戦 -2023/12/5(火) --体育館を26日から29日の間のどこかで借りれそうだから、そこを目安に実験の準備をしようと思う。 -2023/12/4(月) --並列処理を行ったがエラーを吐いてまだ実行するところまでできていないから、とりあえずエラーを解消するところから始めようと思う。 -2023/12/1(金) --シュートの結果をpython上で入力しエクセルに時間ごとに売った本数と確率をまとめられるようにした。卒論要旨については、まだ半ページも書けていないので、そっちにももう少し手を回したいところ。 -2023/11/30(木) --少しだけ卒論要旨を書いた。研究については進捗なし -2023/11/29(水) --セットポジションからランダムな時間で画像を表示させるような仕様に変更させた。現在ではセットから0～1秒のランダムな値に設定している。終了地点をリリースポイントに変更するのが難しく、そこまではできていない。 -2023/11/28(火) --https://www.youtube.com/watch?v=2uwCP1jBzuo：バスケのシュートのポイントについて解説している動画。 --https://www.jstage.jst.go.jp/article/pjsai/JSAI2011/0/JSAI2011_3D2OS88/_pdf/-char/ja:似たような定義をしている論文 -2023/11/27(月) --少し条件を変えただけで簡単に、リリース前に妨害するプログラムは書けた。画像が出るのが少し遅すぎるような気がする。もう一つの2回微分をして加速度を利用するパターンも作成できた。全部で3つできたが加速度を利用するパターンがほかの二つと分けられているか曖昧で、体幹では差がわかりづらい。 -2023/11/24(金) --少しだけコードの修正したら安定して自分の出したいタイミングで出せるようになった。ただ、計測を開始するボタンを押すタイミングが少し遅くなるとうまくいかないので、そこを気を付ける必要がある。卒論をそこまで手を付けれていないから、来週あたりはもう少しそっちも頑張りたい。 -2023/11/23(木) --コードは書けたと思うが、きちんと思った通りの結果が出力されているのかまだ確認しきれていないところがある。たまに、以上に高い数値が出力されているので、その原因を次回見つけようと思う。 -2023/11/22(水) --差分を求める！！最初は0.1秒の感覚でやってみようと思う。計測時間との数値データを確認。サブモニターに表示するためのプログラムの修正は完了させた。明日は、実際に差分を求めるコードを書き始める。 -2023/11/21(火) --加速度と角速度が0の時のアルゴリズムを作成した。ただ、うまくできているのかわかりづらいところがある。タイミングがやや不規則に出てきているから、もう少し閾値を検証する必要がある。 -2023/11/20(月) --メモ：角度のマイナスの値に＋360をすると一周分360°の角度）を測れるかも。必要かわからないけど明日検証してみる。決まった計算式がある訳じゃないからどうやって極値を出すか難しい。とりあえずエンターを押して計測を開始して、qを押したら終了するコードはできた。閾値の設定については明日また考える。 -2023/11/17(金) --それっぽい論文は3つほど見つけたが使えるかどうかは微妙なところだった。ディフェンスの能力をオフェンスの活躍等から数値化する論文があって面白いと思った。 -2023/11/16(木) --新しいアルゴリズムのっ作成に少し手が止まったので、卒論を少しずつ書き始めようと思ったが、ここでも最初の書き始めで手詰まった。もう少しバスケットの論文について調べることにした。それらを参考に少しずつ書き始めようと思う。 -2023/11/15(水) --新しい方向性がミーティングをして見つかった。パターンを細かく分けて考える。速度や加速度を利用して妨害するタイミングを設定する。これは自分だけでは思い浮かばないことだったので、良いアイディアをもらえてよかった。実装のイメージがまだ出て来ていないが挑戦してみようと思う。 -2023/11/14(火) --速いタイミングのアルゴリズムの作成中に、そもそもこのタイミングで手が出てきたらブロックされてシュートが打てないんじゃないかみたいな意見を言われた。いわれてみたらごもっともな意見をもらってこのタイミングは必要ないのではと感じた。 -2023/11/13(月) --早いタイミングを除いた二つのタイミングはある程度できるようになった。ただ、早いタイミングはマイナスの角度を利用するため、腕を下ろしているだけでも反応することがあるため少し難しい。 -2023/11/10(金) --今週の目標に設定していた、3パターンのテストはまだまだ課題は残っているが、試作段階のものは用意することができた。今日も論文を調べた。調べたもので参考にされている論文を利用するのもありなのかなって思った。 -2023/11/09(木) --3つのパターンをそれぞれ早い、普通、遅い。で表すとすると普通のタイミングは安定してできるけど、早いタイミングだとシュートフォームによっては反応しない場合がある。だからと言って、条件を緩めても意図しないタイミングで動作してしまうので、調整が難しい。遅いパターンは、逆に遅すぎる場面がでてくる。これも条件を緩めると、普通のパターンとあまり変化がなくなってしまうので、難しいところ。 -2023/11/08(水) --少し進行が停滞していたから、論文を少し調べてみた。学生の車いすバスケについてYoloを使った姿勢推定を行った論文を見つけた。映像主体の姿勢推定の悪いところの説明にもしかしたら使えるかなと思った。 -2023/11/07(火) --今日はあまり成果が出ていない。うまく反応するときとそうでないときの差が良くわかっていない。 -2023/11/06(月) --bt-40の設定を少し変えて、Set pixcell shiftの値を-32にしたら画面がより手前に表示されているように感じた。ただ、実際に距離が変わっているのか少々わかりづらい部分はある。 ~ボールセットのタイミングのテストを作成したが、まだ安定せず予期しないタイミングで動作することがある。 -2023/11/02(木) --閾値を見つけることができて、肘を上げてシュートモーションに入ったときに妨害ができるようになった。そこからパターンをあと二つほど増やして実験ができるようにしたい。また、人によってシュートフォームは異なるので、その部分で問題が起きないかのチェックもしようと思う。とりあえずの目標を一通り作ることができたから、少しずつまとめる。 -2023/11/01(水) --シュートを妨害するプログラムの改良をした。閾値を見つけるのがまだ困難でまだ正確性に欠けている。 -2023/9/25(月) --前回と同様に調べた。バスケットのディフェンスについての記事は身体能力の強化みたいなものが多く、技術的なことを調べているものがあまり見つけられなかった。逆にそれをネタとして書くのはありなのかなって思った。 -2023/9/20(水) --論文を調べた。詳しくはまだ読めていないがよさげなものを何個か見つけられた。とりあえず殴り書きでいいからいろいろと書き始めることにした。 -2023/9/18(月) --https://www.kkaneko.jp/ai/win/mmpose.htmlここを参考に、topdown_demo_with_mmdet.pyを少し変えて間接角度を計測するように書き換えようとした。もちろんそう簡単にできず今回は断念。ミーティングでどうすればいいか相談予定。どこに何を書き込めばいいのかいまいちわからない。 -2023/9/15(金) --mmposeの動作を実行することができた。おまけにウェブカメラを使ってリアルタイムに姿勢を読み取るところまでできた。次はそのコードを少しいじって角度等の読み取りができる庁にしたい。 -2023/9/12(火) --卒論について簡単に書き始めた。ｐｃでの作業ができないときはこっちを進めようと思う。これからは先行研究を調べて、少しずつ書き出していけたらと思う。 -2023/9/07(木) --https://mmpose.readthedocs.io/en/latest/installation.htmlこのサイトを参考にもう一度mmposeについてのインストールを行った。エラーが出ないのにファイルが出力されない。 ---(-out-file vis_results.jpg \ --draw-heatmap) ~の部分がプログラムとして認識されないと出た。これは少し調べたら解決できそう。ここが通るようになったら希望があるかもしれない。 -2023/9/01(金) --AssertionError: ca_forward miss in module _ext ~次はこのエラーが出てきた。対象法を調べてみるとmmcv-fullのインストール決まったバージョンをインストールしたら解決すると書かれていたが、別のバージョンをインストールするとまた別のエラーが起きる。 --何とかmmcv-fullの別バージョンをインストールしたが、ModuleNotFoundError: No module named 'mmpose.apis.inferencers'またこのエラーに帰ってきた。何かが足りないみたいだけど何が足りないのかよくわからない。 -2023/8/22(火) --ModuleNotFoundError: No module named 'mmcv.config'このエラーに苦戦中 -2023/8/4(金) --mmposeでwebcamを使ったコードを見つけた。 ~これを実行しようとしたが、mmcvのバージョンが違うといわれインストールをしたが、configが何とか言われて実行できなかった。その解決策を模索中。 -2023/8/3(木) --mmpose映像での仕様確認→肘関節の情報入手→リアルタイムでできるか否か --bt-40これはひとまず解決したかも、ちょっとコードをいじる必要あり -2023/8/1(火) --雨と雷ひどすぎ,,, --visual stadio を使ってbt-40をいろいろといじれるみたいでとりあえずインストール等終わらせたけど使い方がさっぱりわからない！！ --bt-40の表示のON/OFFや描画距離の設定、内蔵されているセンサーの数値を確認することができた。 -2023/7/31(月) --お休み -2023/7/27(木) --課題を終わらせる！ -2023/7/18(火) --授業の課題を進めた -2023/7/11(火) --mmpose 0.29.0 requires mmdet>=2.14.0, which is not installed. mmpose 0.29.0 requires mmtrack>=0.6.0, which is not installed. ~mmposeができるようになった。 -2023/7/6(木) --MOverio linkのアプリをインストールしたら表示距離の変更ができるらしいが、パソコンだとインストールできないので、デバイス買ったほうがいいかも。 -2023/6/29(木) --BT-40について簡単な使い方を書いてる人がいた：https://wakagii.com/661/ ~これを見て、デュアルモニターにすることはできるようになった。 ~「MOVERIO link」のアプリをインストールを試みたが、ストアになくてインストールできなかった。 ~少し暗いけど透過する色を見つけた。 -2023/6/27(火) --疲れがたまってきてたからお休みした。 -2023/6/23-26(金・月) --授業の課題をした -2023/6/22(木) --MMposeのインストールに使ったサイト:https://self-development.info/openpose%E3%82%88%E3%82%8A%E8%87%AA%E7%94%B1%E3%81%AB%E4%BD%BF%E3%81%88%E3%82%8B%E5%A7%BF%E5%8B%A2%E6%8E%A8%E5%AE%9A%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AAmmpose/ -2023/6/20(火) --昨日うまくいかなかったのは、打ち間違えていただけだった。 --引き続きMMposeのインストールする作業をした。ある程度インストールする作業を終わらせたから、次は実行しようと思う。 -2023/6/20(月) --MMposeを使うための環境整備を行った。 -2023/6/16(金) --OpenPose以外の姿勢推定について少し調べたお。 --DensePose：リアルタイムで動かすのが難しいというのと、人の３Dモデルを取得してどうにかしてるからこれは違う気がする。 --Posenet:Webブラウザで実行できるオープンソースの機械学習ライブラリであるToseorFlow.jsで動作している姿勢推定モデルです。今までの姿勢推定モデルと違いシステムのセットアップが不要なだったり、ウェブカメラとブラウザを持っていれば手元で実行が可能という手軽さがあります。FPSも20以上とぬるぬる動く!（コピペ）。FPSも高く使い勝手が良いみたいで、Openposeよりも向いてるかも。要件等 --全身にセンサーを付ける。Vtuberやゲーム開発に使われるようなやつ。リアルタイムの座標が欲しいだけだから、Openposeとかを使わずに、センサーを取り付けるだけでもいいんじゃないか。 -2023/6/15(木) --少しだけITパスポートのお勉強を始めた。 -2023/6/13(火) -- -2023/6/12(月) --Openposeを使って、録画した動画の読み取りと関節を読み取る人数制限するところまで確認することができた。次は、各関節の座標を取得することを目標にしようと思う。 -2023/6/8(木) --グラスが届いて、使用感の確認をしたところ、ジャンプの動作をしたときに、外れるから、固定するバンドのようなものが必要かも。またコードが少し短いと感じた。 ~これからは、まずキー入力をしたら画像を出力するコードを作成し、グラスが、どんな感じで表示されるか確認する。次に、OpenPose等を使って姿勢情報から画像を出力するようなものを作って、実験に進める形でやっていこうかなと思う。 -23/6/1(木) --何とかスライドを完成させ、Webテストも終わらせた。今日は、研究計画を少しだけまとめた。明日からセンサーの確認をしようと思う。 -23/5/31(水) --昨日に引き続き少しスライドの作成を行った。大まかな構成は決まったので、あとは知らない言葉を調べたり、きれいにまとめようと思う。しかし、相変わらず内容がないようだ。 -23/5/30(火) --木曜日のためのスライドを作成した。内容が薄く、もっと手を加える必要がある。 -23/5/27(金) --研究テーマについて：バスケのシュートチェック ~背景：シュートチェックの効果がどれくらい効いているのかいまいちわからない。これは野球のピッチャーの投球時に眼鏡を使った視覚阻害をして、コントロールに対しての影響を調べたといった話を聞いて思いついた。 ~大まかな概要：肘または腕あたりにセンサーを付け、そのセンサーの値に応じてホロレンズのようなデバイス（MRやAR）で、視覚の妨害をする。（妨害の内容は都度考える）その妨害の内容によってシュートの成功率にどれくらい影響が出るのか調べる。 ~シュートを打つ場所、0度、正面、45度のように場所によっても変わるかどうかふと気になった。 -23/5/26(木) --①フリースローを打っている姿を見せ、どの部位に着目しているか調べる。 ~その部位が実際の成功率にどれくらい影響しているのか調べる。 ~経験者と未経験者、できたら中級者と上級者の比較をしてみる。 --② -23/5/24(火) --メモ：眼球運動や視野の広さについて -23/5/23(月) --今日と明後日はあまりできないだろうから火曜日に代替して取り組もうと思う。 -23/5/19(金) --ずっと悩んでいても仕方がないからスポーツのテーマは[「バスケ」に決定する。そこからアイトラッカーと同関連させていくか考えていく。 -23/5/17(火) --面接を受けた。 ~論文を見つけて読んでみた。（ドライブに入れてある）そこでは、実際の競技の映像を使った検証ではなく、動体視力を鍛える機械と似たようなものを利用して、視線の探索をしている。これを見て、競技の映像にこだわらずに日常の動作から、調べるのもありだと思った。しかし、それを調べてどんな利益がもたらされるのか考えるとまた迷宮入りしそうではある。 -23/5/11(木) --グーグルスカラーを使っさんこうになりそうな論文を探してみたが役に立ちそうなものを見つけることができなかった。論文を探す方法をまずは学んだほうが良いと感じた。 -23/5/10(水) --会社説明会＋アルバイト -23/5/9(火) --会社説明会に参加 -23/4/26(水) --アルバイト --アイトラッカーの結果分析の方法がヒートマップの他にどんなものがあるのか気になったので少し調べた。 ~(アイトラッカーについての参考：https://webtan.impress.co.jp/e/2015/08/06/19853) --ゲイズプロットについてのコピペメモ：ゲイズプロットでは、円の大きさは見ていた時間を表しており、視線が移動した順番に「1」から通し番号が振られているため、どこをどの順番でどれだけ見ていたのかがわかります。本格的な分析を行うときは、ゲイズプロットのほうが重宝されています。 ~これもヒートマップと同様に、被写体が動くと適切な表示ができないのか気になった。 --役に立つかもしれない論文:https://www.jstage.jst.go.jp/article/his/18/4/18_385/_pdf (未読) -23/4/25(火) --提案1：野球のバッターボックスからの視点の動かし方を調べる。 --提案2：バスケorサッカーの1対1の駆け引きの際の視線についてを調べる。(安全の問題もあって難しいか) --いくつか考えたが、どれも新規性がなく微妙なアイディアしか思い浮かばない。MTGなどを通して要検討したい。 -23/4/24(月) --アルバイト -23/4/21(金) --アイトラッキングの結果表示にヒートマップが良く使われる。ヒートマップは静止画だと〇、動きがあると×、その対応としてOpenPoseを使って関節を識別させどの関節を注視しているか認識できるようにしている。 --中村さんの研究では、関節を認識してヒートマップでの表示するところまで進んでいるので、自分はそれを使って実際にスポーツ等の上達につながるか検証していこうかと思う。 -23/4/20(木) --説明会 -23/4/19(水) --アルバイト -23/4/18(火) --中村さんの卒論資料を一通り読み終えた。これを見て、Open Poseとは別の手法で人の関節情報等の取得してみるのも面白そうだと感じた。 ~ただ、スポーツにおいてレベルの高い選手がどこを注視しているかについては、リアルタイムの視線情報を入手すれば可能と思った。(参考:"https://youtu.be/i_sg3DMl4lo") -23/4/17(月) --アルバイト -23/4/14(金) --面談を行った。 ~しばらくは就活を優先しながら、少しずつ自分のテーマについての理解と方向性を決められるように努力する。 -23/4/12(水) --アルバイト -23/4/11(火) --絶賛就活中 来週あたりから少しずつ動き出す予定。
