【This Web Policy】
You should make JavaScript available to read this page.
Please enable the execution of JavaScript!















【あなたの知らない生体計測の世界】


『Kinectが変えるセンシングの世界』
    【リンク・フリー】
  【私設研究所 Neo-Tech-Lab】 Neo-Tech-Lab.jp
【報告者】 上田智章(Tomoaki Ueda)
修正日 2018/09/30
修正日 2018/09/25
作成日 2018/04/02




【ブラウザはGoogle Chrome】
●最新版ダウンロードはこちら

【お知らせ】

Windows7でChromeがフリーズを起こす場合は、コントロールパネル⇒管理ツール⇒サービス でWindows Media Player Network Sharing Serviceを停止かつ無効にします。Micorosoftのバグです。

CQ出版インターフェース5月号 特集記事『あなたの知らない生体計測の世界』

        筆者: 上田 智章(NeoTechLab)、 鈴木雅弘(KDDI総合研究所)

CQ出版インターフェース11月号 研究特集『画像処理「皮膚センシングの研究」』

                         筆者: 上田 智章(NeoTechLab)

  単眼3Dセンシングの機能を除いた3つの機能限定体験版ソフトウェアを公開中です。
  プログラムはVisual C#で記述されており、Windows10上で動作します。

静止画用体験版ソフトウェア(Ver.7_1809h)
 ■静止画用体験版ソフトウェア(Ver.6)[旧版]
 ■静止画用体験版ソフトウェア(Ver.5)[旧版]
 ■静止画用体験版ソフトウェア(Ver.4)[旧版]
 ■静止画用体験版ソフトウェア(Ver.3)[旧版]
 
 ●MagicViewer7(旧版はMagicViewer6)の下にある.exeをダブルクリックして起動します。
 ●imageフォルダの下にサンプル画像ファイルが添付されています。
 【サンプル画像】, 【連番ファイル1】, 【連番ファイル2】の3種類を用意しています。
 【使い方①】~単一静止画像の処理~
   ①起動後、下図の通りオプション設定を行います。
   ②左側にあるボタンをクリックしてimageフォルダ内の画像データ(【サンプル画像】フォルダ内の静止画像)を一枚選択します。
   ③第一ステップでR, G, B成分ごとに増感処理が実行されます。
   ④第二ステップでBG間、BR間、GR間でマッチング処理が実行され、波長帯域間差分と一致成分の演算結果が取得されます。原画像の中央の黄色枠内の画素がマッチング学習に使用されます。ヘモグロビン・オプションにチェックが行われている場合には赤色系~黄色系の色制限も付与されます。
   ⑤チェックボックスにチェックが入っている項目について結果が.png形式で保存されています。ストレージ容量を消費しますのでステップ①の段階で結果を残したい項目のみにチェックを入れてください。


 【使い方②】~連番ファイルの処理~
   ①事前に動画編集ソフトウェア(Corel Video Studio X10など)の機能を使って、動画像ファイルをフレームごとに分解して、.bmp, .png, .jpgなどの連番静止画ファイルを作成しておきます。.bmpまたは.png形式を推奨します。
   ②起動後、下図の通りオプション設定を行います。LUTと連番ファイルのチェックを必ず行ってください。
   ③左側にあるボタンをクリックしてimageフォルダ内の画像データ(【連番ファイル1】または【連番ファイル2】フォルダ内の静止画像)を複数枚選択します。
   ④第一ステップでR, G, B成分ごとに増感処理が実行されます。
   ⑤第二ステップでBG間、BR間、GR間でマッチング処理が実行され、波長帯域間差分と一致成分の演算結果が取得されます。原画像の中央の黄色枠内の画素がマッチング学習に使用されます。ヘモグロビン・オプションにチェックが行われている場合には赤色系~黄色系の色制限も付与されます。
   ⑥チェックボックスにチェックが入っている項目について結果が.png形式で保存されています。ストレージ容量を消費しますのでステップ①の段階で結果を残したい項目のみにチェックを入れてください。
   ⑦連番ファイルの処理を行うと連番のファイル(.png形式)が生成されます。動画編集ソフトウェアでこれらをまとめれば動画を作ることができます。


 ■更に見やすくするには、別のソフトウェアなどでヒストグラムの指定範囲に対してガンマ補正をかけるのが有効です。
 ■原画像(①)の黄色枠内の画素で血管を抜き出す学習を行いますが、ヘモグロビン色に特化するためのチェックボックスもあります。
 ■スマホやデジカメで撮影したJPEG写真データをいろいろお試しください。
  処理できる画像のサイズは800万画素までに制限があります。最新のスマホやデジカメの場合、編集してサイズを落としてください。
 ■人体皮膚が画面の中央に位置するように心がけてください。
 ■Corel Video Studio X10などの動画編集ソフトウェアを用いて作成した同一サイズの連番ファイルであれば一度に処理することが可能です。この場合、連番処理統一基準チェックボックスにチェックを入れて実行してください。結果は輝度128を中心として指定倍率を乗じた結果が保存されます。適宜倍率を変更してみてください。
 ■本ソフトウェアは皮膚と同様に衣服の繊維も透過する特性があるため3Dセンシングは現時点で実装から外しております。ご理解ください。


   1920×1080画素, 30FPSで撮影MPEG4形式で保存した動画像を処理した結果の例。1/5スロー再生


   1920×1080画素, 30FPSで撮影MPEG4形式で保存した動画像を処理した結果の例。実測再生
   口すぼめ式呼吸法で酸素供給を十分に行う深呼吸をしているので後半血中溶存酸素濃度が高くなり、掌や腕のヘモグロビンの色変化がでています。


   最大血圧時と最小血圧時の変化の事例

Webカメラ用体験版ソフトウェア

 [Step1] 解像度640×480画素、30FPSのWebカメラで起動する場合にはStartボタンをクリックします。
     Logicool C922をお使いの場合には少し解像度を変更することが可能です。
 [Step2] 表示モードを変更します。
 [Step3] 表示中の画像をimageフォルダ内に保存することができます。
 ●WebカメラはUVCであれば大抵利用することができますので、用意されている解像度とFPSを調べて設定してください。
 ●恐らく、640×480画素、30FPSの動作条件は動作すると思われますのでデフォルト設定で起動してみてください。
 ●RealSense SDK package_10.0.26.0396.exeをインストールする必要があります。
Intel Realsense SDK [2016 R2]


KinectV2のフルHDカメラ用体験版ソフトウェア

 [Step1] 解像度は1920×1080画素、30/15FPSで固定です。KinectV2のフルHDカメラでのみ起動可能です。
     Startボタンをクリックします。
 [Step2] 表示モードを変更します。
 [Step3] 表示中の画像をimageフォルダ内に保存することができます。
 ●KinectV2 SDK Version 1409をインストールする必要があります。

【注意事項】
  このソフトウェアは皮膚を透過して血管を見ると言う機能を実装していますが、
 演算原理上、衣服の繊維を透過する機能を発揮してしまうケースがあります。
 使い方によっては罪になるケースも予想されますので、各自の責任において
 ご利用ください。




【追記】現在HTML5+JavaScript版を記述中ですが、こっちはあまり期待しないでください。







【講演・技術セミナー予定メモ】

【トリケップス セミナー】

【題  名】㉕『Azure Kinectと距離画像センサの測距原理、3Dセンサの応用』
【副  題】~Azure Kinect(Kinect v4)のTime of Flight方式、RealSense(D415, D435, SR305) のStructured Light方式、LiDAR等、非接触生体センシングの原理とその応用まで~
【開催日時】2020年6月18日(木) ⇒ 2020年9月1日(火) 10:00~17:00
【会  場】オームビル
【受講料】47,000円(税別、1名) 59,000円(税別、1口・3名まで)
【開催履歴】
  (1)2013年05月24日 (2)2013年08月30日 (3)2014年02月07日
  (4)2014年06月20日 (5)2014年08月29日 (6)2014年11月28日
  (7)2015年03月18日 (8)2015年07月10日 (9)2015年11月06日
  (10)2016年03月17日 (11)2016年4月14日 (12)2016年07月14日
  (13)2016年11月02日 (14)2017年03月24日 (15)2017年07月7日
  (16)2017年11月02日 (17)2018年03月13日 (18)2018年5月28日
  (19)2018年8月29日 (20)2018年12月5日 (21)2019年4月12日
  (22)2019年7月17日 (23)2019年10月30日 (24)2020年2月7日

【概略内容】
 Azure Kinect(Kinect v4)は2019年7月に北米・中国で発売開始され、2020年3月に日本でも発売予定が決まった。デプスカメラの視野角もWFoVモードで120度、解像度は1024×1024画素となった。SDKはオープンソースであり、C言語ベースのDLL、C++ラッパー、C#ラッパーを備える。360°マイクロフォンアレイの他、3軸加速度・ジャイロセンサも備える。これまでのゲーム機用モーションキャプチャセンサではなく、工業用、健康見守りなどの本格的な応用を視野に入れたものとなっている。
 近年、自動車分野では、自動運転化を実現するための探索センサとしてだけでなく、搭乗者の健康状態モニタやユーザーインターフェースとしても、距離画像センサを組み込んだ3Dセンサにも関心が集まっている。
 また、世界的な先進国少子高齢化を踏まえ、2025年開催予定の大阪万博のテーマは『健康と医療』に決まり、病院または老人ホームだけでなく、独居老人見守り・看取りやスマートホームとしてのシステムに対する関心も高い。
 本セミナーでは距離画像センサとカラーカメラを組み込んだ3Dセンサの基本機能、ソフトウェアで実現できる応用事例をデモを通して紹介するとともに、方式別に測距原理の説明を行い、非接触生体センシングを中心とする応用とその原理について解説を行う。また、Shannonのチャンネル容量の法則を利用した増感処理やマッチング処理の原理や応用についても触れる。
■その他、SDKのセットアップや基本的な事例の資料は添付、あるいはサンプルプログラムのダウンロードができます。


Microsoft社のAzure Kinectの内部構成図


高解像度デプスイメージの例 (Kinect V2)


iPhone6で撮影したカラーJPEG画像から真皮層内毛細血管や皮下組織内の血管を可視化した事例など


秀和システムさんより発売中。
『Kinect for Windows SDKプログラミング Kinect for Windows V2センサー対応版』
   単行本発売開始 – 2015/5/22
   中村 薫 (著), 杉浦 司 (著),
   高田 智広 (著), 上田 智章 (著)
   単行本 ¥3,672   Kindle版 ¥3,060

 ■本書で紹介されているサンプルプログラムの入手に関して


【CQ出版インターフェース誌 連載】~個人で試せる!生体センシング実験室~

 非接触バイタルセンシングにおいて基礎知識にあたる心電計関連記事をCQ出版のインターフェース誌2015年12月号から連載を開始した『個人で試せる!生体センシング実験室』で記載しています。サンプル・プログラムのダウンロード・サポートを行うためのサイトページは下記URLです。
連載記事のダウンロードページはこちら

  
  

【生体計測学習キット】第1弾:心電計ボード

 CQ出版から、近日発売予定です。製品単価は2万円前後の予定です。
 詳しくはCQ出版インターフェース誌のページをご覧ください。
      ●【心電計ボードのドキュメント】