【本サイトのご利用指針】
当サイトはSPAM対策等のためJavaScriptを使っています。
JavaScriptの実行を可能な状態にしてご利用下さい。
Please enable the execution of JavaScript!
Neo-Tech-Lab.co.uk


 私設研究所 ネオテックラボ (京都ライブラリーサーバー)

~ 今までにない全く新しいセンシング技術を研究する私設研究所 ~
    【リンクフリー】 私設研究所ネオテックラボ Neo-Tech-Lab.jp
【記載者】 私設研究所 Neo-Tech-Lab.com  上田智章
研究所設立日 2005/01/01
サイト設立日 2005/12/10
最終更新日 2012/04/07
ここにチェックボックス型外部コンテンツ・メニューが入ります。




【ブラウザはGoogle Chrome】
●最新版ダウンロードはこちら

【お知らせ】

Windows7でChromeがフリーズを起こす場合は、コントロールパネル⇒管理ツール⇒サービス でWindows Media Player Network Sharing Serviceを停止かつ無効にします。Microsoftのバグです。

【はじめに】

 ●自由な発想で自主研究を楽しむために管理人が勝手に開設した私設研究所がNeo-Tech-Lab(ネオテックラボ)です。
 ●興味を持ったものならなんでもありの姿勢で臨んでいるため、磁気・音響・生体計測等の計測分野でも活動を行っています。
 ●限られた予算で研究・開発を行うために電子工作ソフトウェア等の技術も研究ツールとして積極的に活用しています。
 ●当サイト(Neo-Tech-Lab.com)は研究ツールとしての技術内容を公開するために2005年12月10日に設立しました。
 ●当研究所は主として
  ■医療診断用センシング技術(スペクトラム拡散型心磁計、センチネルリンパ節検出用磁気センサ、AR医療応用)
  ■空間スペクトラム拡散センシング技術(たった1個のマイクで音源の3次元座標や分布状態を可視化する技術)
   2012年6月21日 電気学会 マグネティックス研究会 (信州大学、長野)
   MAG-12-059 新技術“Random Path Holophonic センサー”による励磁音響信号源の三次元画像化に関する基礎研究
   ○阿部正紀(東京工業大学, フォスメガ),上田智章(フォスメガ),松下伸広,北本仁孝,半田 宏(東京工業大学)
    将来的にフェーズドアレイ型探触子を用いずに1チャンネルで超音波断層撮影装置が実現するでしょう。
    携帯電話にも超音波スキャナや魚群探知機が組み込めると考えられます。(それとも携帯にそんな機能は不要?)
  ■自由端反射固定端反射を組み合わせた対消滅壁による3次元音響シールド
   対消滅壁は公開中の音響FDTDプログラムでも簡易吸音壁として実装使用しています。
  ■広域拡散型ホログラムメモリ方式のAI Webエージェント
 を中心とした新技術を自主研究しており、受託研究を生業としています。
 (基本方針として、共同研究は行わず、問題解決型の受託研究や技術コンサルティングに特化しています。)
 ●記事を読まれてよく問い合わせをいただきますが、
  ■当サイトが公開している下記生体計測技術概ね15~25年前のもので、当研究所の現在の研究内容ではありません。
   各コンテンツのご利用にあたっては、上記をご理解の上、各自の責任にて取り扱いには十分ご注意下さい。
    心電計、赤外線脈波計、生体組織導電率/脳波心電図解析システム、SQUID心磁計、インピーダンス・プレチスモグラフ
                       記載日:2008/02/09 修正日:2012/06/02 Tomoaki Ueda (上田智章)

当サイトご利用にあたっての注意事項

 ■原則としてクライアントではない一般の方からの個別のメールでの質問には応じかねます。
  製作記事、動作原理説明等の情報は積極的に掲載いたしますが、メールでの質問には対応しません。
  特に仕事上の困り事をメール質問という安易な形で尋ねて済ませようとお考えの方に当方が手助けをすることはありません。
  大学生・社会人向けの電子工作塾を5月から開講(京都市伏見区内)しますのでそちらをご利用ください。
 ■当サイトはリンクフリーですが、
 『記事』の著作権は放棄しておりません本サイトからダウンロードしたコンテンツの無断掲載はお断りいたします。
 但し、以下の方式での引用は問題ありません。
 ●<a href="http://www.neo-tech-lab.jp/○○○.jpg">あるいは<img src="http://www.neo-tech-lab.jp/○○○.jpg">のようにダウンロードを行わず、当サイトの元データを外部参照する(あるいはリンクする)方法ならOkです。事前許可不要です。
 ●『記事』とはエレクトロニクス、センシング技術に関連した製作記事に関するものです。
従って、MikuMikuDance, Panoramio向けコンテンツは対象外です。ご自由にお使いいただくことができます。
 ●特にインターネット上で当サイトからダウンロードした図面を公開されている方は掲載をお止め下さい。
 コンテンツの無断掲載とは、エレクトロニクス、センシング技術に関連した製作記事に関する画像ファイルや文章をダウンロードしてPDF形式文書やPower Pointファイル、HTMLファイルに張り込み、そのまま文書を公開される例がこれに該当します。
 教育関係者で学内会議やイベント、授業等で限定的に配布する程度の資料でお使いになることは問題ありませんが、インターネット上での公開利用やテキストの販売は許可しません。このようなケースでは所属に直接抗議文書を送付します。

管理人の 自己紹介  【★】
【サイト掲示板】[FC2 BBS]
[旧研究内容]
便利なウェブ・リンク集
サーバーURL
株式会社フォスメガ
 がんや虚血性心疾患との闘いをいよいよ本格的に開始します。
【最近の話題】

ムカデ毒の対処方法
遂に実践体験談200を達成!
プレート崩落により海底に消えた『邪馬台国』の謎

初音ミク」と
MikuMikuDance
(英語ページ)
■【トラ技】最新 センサ部門


CQ出版インターフェース5月号『あなたの知らない生体計測の世界』
CQ出版インターフェース5月号『あなたの知らない生体計測の世界』体験版ソフトウェア
   上田 智章、鈴木雅弘
 ①単眼3Dセンシングの機能を除いた機能限定版(Windows10対応版)
 ②起動後、左側にあるボタンをクリックしてimageフォルダ内の画像データを選択します。
 ③実行後有効になるもうひとつのボタンをクリックしたあと、imageフォルダを確認してください。
 ■見やすくするには、ヒストグラムの指定範囲に対してガンマ補正をかけるのが有効です。
 ■スマホやデジカメで撮影したJPEG写真データをいろいろお試しください。
 ■本ソフトウェアは皮膚と同様に衣服の繊維も透過する特性があるため3Dセンシングは現時点で実装から外しております。ご理解ください。
 


【講演・技術セミナー予定メモ】

【トリケップス セミナー】

【題  名】㉕『Azure Kinectと距離画像センサの測距原理、3Dセンサの応用』
【副  題】~Azure Kinect(Kinect v4)のTime of Flight方式、RealSense(D415, D435, SR305) のStructured Light方式、LiDAR等、非接触生体センシングの原理とその応用まで~
【開催日時】2020年6月18日(木) ⇒ 2020年9月1日(火) 10:00~17:00
【会  場】オームビル
【受講料】47,000円(税別、1名) 59,000円(税別、1口・3名まで)
【開催履歴】
  (1)2013年05月24日 (2)2013年08月30日 (3)2014年02月07日
  (4)2014年06月20日 (5)2014年08月29日 (6)2014年11月28日
  (7)2015年03月18日 (8)2015年07月10日 (9)2015年11月06日
  (10)2016年03月17日 (11)2016年4月14日 (12)2016年07月14日
  (13)2016年11月02日 (14)2017年03月24日 (15)2017年07月7日
  (16)2017年11月02日 (17)2018年03月13日 (18)2018年5月28日
  (19)2018年8月29日 (20)2018年12月5日 (21)2019年4月12日
  (22)2019年7月17日 (23)2019年10月30日 (24)2020年2月7日

【概略内容】
 Azure Kinect(Kinect v4)は2019年7月に北米・中国で発売開始され、2020年3月に日本でも発売予定が決まった。デプスカメラの視野角もWFoVモードで120度、解像度は1024×1024画素となった。SDKはオープンソースであり、C言語ベースのDLL、C++ラッパー、C#ラッパーを備える。360°マイクロフォンアレイの他、3軸加速度・ジャイロセンサも備える。これまでのゲーム機用モーションキャプチャセンサではなく、工業用、健康見守りなどの本格的な応用を視野に入れたものとなっている。
 近年、自動車分野では、自動運転化を実現するための探索センサとしてだけでなく、搭乗者の健康状態モニタやユーザーインターフェースとしても、距離画像センサを組み込んだ3Dセンサにも関心が集まっている。
 また、世界的な先進国少子高齢化を踏まえ、2025年開催予定の大阪万博のテーマは『健康と医療』に決まり、病院または老人ホームだけでなく、独居老人見守り・看取りやスマートホームとしてのシステムに対する関心も高い。
 本セミナーでは距離画像センサとカラーカメラを組み込んだ3Dセンサの基本機能、ソフトウェアで実現できる応用事例をデモを通して紹介するとともに、方式別に測距原理の説明を行い、非接触生体センシングを中心とする応用とその原理について解説を行う。また、Shannonのチャンネル容量の法則を利用した増感処理やマッチング処理の原理や応用についても触れる。
■その他、SDKのセットアップや基本的な事例の資料は添付、あるいはサンプルプログラムのダウンロードができます。


Microsoft社のAzure Kinectの内部構成図


高解像度デプスイメージの例 (Kinect V2)


iPhone6で撮影したカラーJPEG画像から真皮層内毛細血管や皮下組織内の血管を可視化した事例など


【CQ出版インターフェース誌 連載】~個人で試せる!生体センシング実験室~

 CQ出版のインターフェース誌2015年12月号から連載を開始した『個人で試せる!生体センシング実験室』のサンプル・プログラムのダウンロード・サポートを行うためのサイトページは下記URLです。
連載記事のダウンロードページはこちら

  

【生体計測学習キット】第1弾:心電計ボード

 CQ出版から、近日発売予定です。製品単価は2万円前後の予定です。
 詳しくはCQ出版インターフェース誌のページをご覧ください。
      ●【心電計ボードのドキュメント】
  


秀和システムさんより発売中。
『Kinect for Windows SDKプログラミング Kinect for Windows V2センサー対応版』
   単行本発売開始 – 2015/5/22
   中村 薫 (著), 杉浦 司 (著),
   高田 智広 (著), 上田 智章 (著)
   単行本 ¥3,672   Kindle版 ¥3,060

 ■本書で紹介されているサンプルプログラムの入手に関して


【インターフェース2014年7月号】

複数のマイクロフォンで観測した位相遅延情報から音源位置を推定する方法。

【Excel VBA】『音響FDTD(順方向問題)サンプル』

【Excel VBA】『音響逆問題サンプル』


【注】本件記事は今月号の特集とは無関係です。2014年5月号の特集に関連した記事です。


【Kinect for Windows Contest 2013】☆技術賞☆

『顔・胸部追尾型バイタルモニタ(心拍・呼吸)』【Version0.17】

『顔・胸部追尾型バイタルモニタ(心拍・呼吸)』【Version0.18】

Kinectの骨格追尾(Skeleton Tracking)を利用して顔追尾(Face Tracking)と胸部追尾(Breast Tracking)を行い、心拍と呼吸を1.2m~1.5m離れた位置でセンシングします。椅子に腰かけ、安静状態でお試しください。骨格認識終了後に波形が表示されます。Depth設定は設定変更は行わずDefaultモードのままお使いください。
以前に公開したバージョンでは顔追尾(Face Tracking)を行っていないプログラムであったため、50cm程度の距離で心拍を測ることしかできませんでした。また今回のものであれば呼吸は3mから4mの距離でも測定できるとは思います。
Ver.0.17はKinect for Windows Contest 2013のデモで使用したバージョンです。Ver.0.18はこれに胸部心拍動の処理を加えたものです。


【Kinect for Windows Contest 2013において技術賞受賞】[2013/09/19]
●Google検索でこちらに飛んでこられる方が多いので、このページにも貼り付けます。『Kinectが変えるセンシングの世界』をご覧ください。

■サンプルプログラムVer.0.17 (SDK Ver.1.7に対応)
■サンプルプログラムVer.0.18 (SDK Ver.1.8に対応)





顔・胸部追尾
測定中
分厚い布団の上からでも体に密着させれば呼吸センシング可能

【MONOistさんの関連記事】

Kinect for Windows Contest 2013の記事がMONOistさんで掲載されています。

●Kinect for Windows Contest 2013 リポート(1):
またしてもハイレベル!? 美と健康は「Kinect」にお任せあれ!

●Kinect for Windows Contest 2013 リポート(2):
「ロボット」から「プロジェクションマッピング」まで
――Kinect活用でビジネス化を目指せ!!【前編】


●Kinect for Windows Contest 2013 リポート(3):
「趣味」から「健康管理」まで、Kinectはシニア市場で花開く!?
――Kinect活用でビジネス化を目指せ!!【後編】


【HTML5+JavaScript+AR】【円形マーカー検出拡張現実センシング】


障害物でマーカーの一部が欠けても検出可能なオリジナル・アルゴリズムで開発。
アルゴリズムの動作原理はサポートページで詳細を記述・説明しています。




Kinectのデプスイメージから円形マーカーの中心座標を推定し、半径と法線ベクトルを取得する理論も記載。

【サンプル・プログラム】  【対応ブラウザ】最新版Google Chrome, FireFox, Opera
『円形マーカーによる距離測定デモ』  ●『回転するピラミッド拡張現実表示』
『マーカー移動履歴の表示』
 ★マーカー半径750mm, 黒枠太さ15mm~30mmで適当に作ってみて下さい。

【HTML5+JavaScript】【赤外線デプスカメラの製作】



ROHM製波長822nm単峰性光束ビームを持った赤外線レーザーRLD82PZJと市販Web赤外線カメラDC-NCR13Uで作るデプスカメラ。ピンホール方式フォトマスクでランダムドットパターンを投影。CADデータをプログラムで生成してプリント基板加工機で0.3mmφのドリル加工で製作。レーザー電源はStrawberry LinuxのLTC3490超小型LEDドライバモジュール(#13002)を使用。


【HTML5+JavaScript】『Canvasで3次元グラフィックス』

   【最新レベル】『NTL3D.js』 Version0.20

WebGLは使えるブラウザに制約があるので、HTML5+JavaScriptでCanvas(2D)に改造を施し、ソフトウェア的に3次元グラフィックスを実装する作業(NTL3D.jsの開発)を進めています。現在最新のGoogle Chrome, Fire Fox, IE11, IE10, IE9, Opera, Safariに対応しました。XP, VistaのIE9でも動作可能になりました。

 ●基本サンプル『テクスチャーマッピング』
 ●サンプル1『回転するピラミッド』
 ●サンプル2  ●サンプル3  ●サンプル4
 ●サンプル5『Webカメラ等高線図処理』
  サンプル5はWebカメラを使うので、Google Chrome, FireFoxのみ対応。
NTL3D.jsのサポートページは別ページにて情報公開中。

【参考】

●WebGLに関しては別ページにて情報公開中。
 ■Perfume Global Dataの例
●MikuMikuDanceのPMDフォーマットやExcel VBAの3次元描画ライブラリに関しては別ページにて情報公開中。
●Web音声合成に関しては別ページにて情報公開中。




【Webカメラと市販プロジェクタでプロジェクションマッピング】

   【最新レベル】『NTL3D.js』 Version0.19

呼吸センシングの座標計測技術とテクスチャーマッピングを応用して、プロジェクション・マッピングに挑戦してみました。狭い部屋の壁に35cmの段差があるのですが、この部分に市販プロジェクタで投影して凹凸段差を解消した投影を行う実験を行いました。今後より複雑な凹凸にも対応するソフトウェアを作成しようと思います。



【トランジスタ技術2013年08月号】
2013年7月10日発売

【Webカメラで呼吸をリアルタイム非接触センシング】

     【最新レベル】Version0.17

右図にWebカメラによる呼吸センシングの最新実測結果を例示します。ご覧のようにKinectのデプス画像を処理して得られる最大距離分解能(50μm)を超える観測分解能レベルに達しました。しかもノイズ除去処理はまだ行っておらず、生波形です。
アルゴリズムは基底遷移アルゴリズムを用いていますが、現段階では式の導出は非公開(2013年8月30日(金) トリケップス 非接触生体計測関係技術セミナー1日コースにて公開予定。)です。 今後、呼吸・心拍・血中溶存酸素濃度等の統合センシングの実装作業に進む予定です。
    記載:/2013/06/09/ 追記:/2013/07/07
  ●【HTML+JavaScript】『Webカメラで呼吸センシング体験ページ』≪スポット光≫
   推定アルゴリズムは基底遷移則を使用。



【Webカメラで呼吸センシング!】

            Version0.03

トラ技メルマガ(2013年5月31日)配信の『Webカメラで呼吸をリアルタイム非接触センシング』の体験リンクを示しておきます。きわめて初期の成果物ですが、Webカメラだけで体験することができます。使い方はサポートページに記載しましたので、そちらをご覧ください。呼吸を測定しやすい場所は私の場合には、鎖骨の下でしたが、肋骨の剣状突起付近がよいという方もおられるようです。現時点の感度は不足していますが、KinectやWebカメラで心拍・呼吸を初めて検出に成功した段階ではこれより悲惨な状態でしたからきれいな測定曲線は得られると確信しています。
  ●【HTML+JavaScript】『Webカメラで呼吸センシング体験ページ』≪環境光反射量変化≫


【Interface2013年08月号】
2013年6月25日発売

【ベールを脱いだKinect2.0】

2013年5月21日に米国ワシントン州レドモンドでMicrosoft社がPress Conferenceを開催し、年末にXBOX Oneを発売することと、同梱されるKinect2.0の新機能などを公開した。右のWIREDのYouTube動画にはKinect2.0の新機能が詳しく紹介されている。デプスカメラはTOF(Time Of Flight)方式に変更になった。これは光の飛行時間を変調波の位相遅れという形で検出する方法だ。対応する特許はUS20110188028で詳しく説明されている。これによって距離によらず精確な測距が可能となったため、骨格追尾(Skeletal Tracking)の精度が向上し、親指とそれ以外の指の追尾も可能になった。Grab/Pan(グー/パー)の認識が可能になったわけだ。
加えて、Orientationモードが追加された。これはボーン・ベクトルと回転がキャプチャできる。つまり、ポーズを折れ線近似でキャプチャーするのではなく、顔や体の向きまでもキャプチャーできるようになったのだ。
それだけではない。Muscle+Forceモードという『ドラゴンボール』に登場する『スカウター』のようなモードもある。フレーム間の観測から各部の速度、加速度を検出し、物理エンジンと組み合わせて、重力の影響も考慮して、筋肉にかかる力(f=ma)の可視化が行えるようになり、キックやパンチの強さ(エネルギーE=1/2・mv^2)までわかるようになったようなのだ。
さらに、Expressionモードという表情判断機能があり、右眼・左眼・口の開閉状態、会話中か否か、メガネの有無、何かを注視しているか、表情は喜怒哀楽のいずれかなどもわかるようだ。



【ベールを脱いだKinect2.0の仕様】
2014年にPC接続用Kinect2.0も発売される予定とのこと。
7月末までに申し込んで選ばれれば、399ドル(約4万円)で購入することができ、SDKのα版、β版の試用も可能だ。
最後に心拍計測機能も実装された。赤外線カメラ画像とRGBカメラ画像(最大1920×1080画素)を組み合わせて推定しており、測定位置も自動的に合わせている。また、測定中動くと検出してリトライできる模様だ。

これとは別に、9月にSDK Ver.1.8がリリースされる予定で、Kinect Fusionで実写画像の張り込みも可能になるようだ。

【XBOX WIRE Media Assetsからの抜粋】

Microsoft社のXbox Wire Media Assets内の『Kinect Video_Tech_ProRes_0517』という動画(.MOV)がお勧めです。







【Interface2013年07月号】
2013年5月25日発売

【Webカメラで3Dスキャナ!】『ターンテーブルの回転角度を検出する』

【全体構成】(サポートページを分離)

製作中の3Dスキャナの全体構成を図1に示します。CDケースを利用したターンテーブルとラインレーザーとウェブカメラのみで構成される簡単な3Dスキャナです。光切断法を使って対象物の3次元形状を測定して3Dポリゴンモデルへ変換することを目的としています。
ターンテーブルに動力や回転角を検出するセンサを用いるのでは製作にお金がかかってしまうので、回転角度を検出するために写真のようなパターンをレーベル印刷しており、手動で回転させてることを前提としています。
プログラムはHTML5+JavaScriptで記述していますので、最新のブラウザ(Google Chrome, FireFox, Opera)でアクセスするだけで体験できます。
  ●【HTML+JavaScript】『ターンテーブルの回転角度を検出する』


【図1】全体構成            【図2】光切断法で3Dポリゴンモデルへ 【図3】ラインレーザー

【m系列符号パターンで角度を検出】

m系列符号は、GPSや携帯電話の通信で用いられている擬似乱数です。乱数なので白色ノイズと同様非常にシャープな自己相関特性を持っています。127ビット長のm系列符号を採用しています。カメラから観測できる手前の15ビット分のパターンと原符号の相互相関を取ると最大相関ピークの位相が回転角度に対応することを利用して回転角度を検出します。今回の分解能は1/381としましたが、さらに改善することが可能です。

【ラインレーザー】

市販の400円台の赤色レーザーポインタ・モジュールを改造して作りました。実は比較的簡単にラインレーザーを作ることができます。直径6mmのアクリル棒またはホットボンドの棒を輪切りにして接着するだけで作ることができます。アクリル棒の場合、近距離だとレーザーの輝度が高く、ハレーションを起しやすいかもしれません。ホットボンドは不透明なので内部で拡散してからラインを形成するため近距離の距離測定に適しているかもしれません。自作は面倒だという方は2200円でラインレーザーモジュールが販売されていますのでそちらをご利用ください。
 ●【ラインレーザー通販サイト①】青紫2200円
 ●【ラインレーザー通販サイト②】赤色1260円

【YouTube動画】『概要説明と角度検出原理の説明』





2013年5月10日発売
【連載】
奥行カメラで俺センシング〈3〉
『手持ちのカメラで顔や手を撮影するだけ 脈拍のイメージング』

トランジスタ技術2013年6月号

【Webカメラで脈拍センシング】(サポートページを分離)

★第100回トラ技メルマガで配信されました『第2弾 俺センシング』の『Webカメラで脈拍センシング』のページを独立分離いたします。この内容は、筆者が第127回微小光学研究会(2013年3月7日)及びトランジスタ技術2013年4月号(3月9日発売)の記事で紹介したKinectの赤外線脈波検出プログラム(Visual C#)を修正して、JavaScriptに移植したプログラム(HTML5)を組んでみたものです。Webカメラに対応した最新のブラウザ(Google Chrome, FireFox, Opera)ならPC内蔵カメラかUSB接続のカメラを使って上記リンクで脈拍非接触センシングを試すことができます。環境光ノイズ除去のため矩形波相関フィルタを使っています。検出領域のサイズは60×60画素です。内容的には記事と同じです。ヘモグロビンの吸光特性の可視光領域(緑色)を使っているか、赤外線領域を使っているかの違いだけです。上記URLは製作中のJavaScriptです。テキストなので、ブラウザの『ソースを表示』で閲覧できます。ソースを見ていただければわかりますが、緑色の画素データのみ使用しています。身体の老化やストレス度をチェックできる脈拍揺らぎマップ機能も追加いたしました。
【体験!】『Webカメラで脈拍センシング』
【サポートページ】『Webカメラで脈拍センシング』

【HTML5+JavaScript】【Version 0.48】


【参考】
富士通さんが可視光(緑色)で脈波を取る方法を2013年3月18日にメディア発表、2013年3月19日に学会発表



2013年4月10日発売
【連載】
スポーツやヘルスケアの可能性を探る
『奥行カメラで俺センシング! 第2回 知覚コンバータCyber Eyeを作る』

トランジスタ技術2013年5月号

【連載】スポーツやヘルスケアの可能性を探る

『奥行カメラで俺センシング!
   第2回 知覚コンバータCyber Eyeを作る』




【Kinectの深度情報を音に変換するサイバー・アイ】
   ダウンロードはサポートページで!
視覚障害を克服し、駅のプラット・フォームからの転落を防止するツールとして、Visual C#で試作しました。サイバー・アイ (Cyber Eye)は、Kinectのデプス・カメラで取得できる深度情報を音に変換する知覚変換デバイスです。現在は、ウェアラブルにするための研究段階にあります。将来的には、健常者にとっても後方を見守る防犯ツールとして統合する予定です。

【サポート・ページ】⇒ 『知覚コンバータCyber Eye』


トランジスタ技術2013年4月号

【連載】『俺センシング』Kinect非接触脈拍・呼吸モニタ【サポート・ページ】
『Kinectが変えるセンシングの世界』

【サンプル・プログラム】【ダウンロード】
『Kinect非接触脈拍・呼吸モニタ』[Version5]
実行ファイルも添付してありますので、Kinect for Windows SDKがインストールしてあり、Kinectの接続が行われていれば、
64ビットOSのWindows7またはWindows8であれば
   Kinect_VitalMonitor5/Kinect_VitalMonitor5/bin/Release/Kinect_VitalMonitor5.exe
の実行で体験する事ができます。


【トランジスタ技術2013年3月号】
『プログラム不要!USB-シリアル変換モジュール』

【Appendix】(57-58頁)
★マイコンを使わないので、マイコンのプログラムが不要と言う意味です。
 パソコン側のソフトウェアは必要です。念のため。

【図1】I2C-USBインターフェースの構成事例


【インターフェース2013年1月号】【2012年11月24日発売予定】

スポーツ/医療/ヘルスケア…動き解析処理&プログラムを徹底解説!
『マイコン&センサで広がる!人間センシング』
ダウンロード&サポート・ページは『Kinectが変えるセンシングの世界』です。

【講演・技術セミナー予定メモ】  

■2013年4月19日(金)Kinectによるセンシング応用技術セミナー1日コース(東京巣鴨)
  デプス・カメラの動作原理
  ARセンシング、生体センシング応用事例の実演も行います。(5時間半)
■2013年5月24日(金)非接触生体計測関係技術セミナー1日コース(東京)【予定】
  デプスカメラの設計手法を紹介。生体センシング応用事例の実演も行います。(5時間)

Kionix直交3軸加速度センサ
KXTI9-1001[I2Cインターフェース]


【最新動画News】

  ●【拡張現実楽器演奏システムデモ】
 ≪CEATEC2012 幕張メッセ ローム株式会社様ブース≫
  ●【拡張現実ドラム演奏システム】【試作版】
  ●【Kinectで呼吸・脈拍モニタ ~1m離れた位置から非接触でモニタできる~】

【CQ出版トランジスタ技術2012年8月号Kinect 特集】

2012年7月10日以降のサンプルソフトやその他の情報はこちらのページへどうぞ。
Kinect for Windows SDK Ver.1.6向けサンプルプログラムも公開中です。(^_^;)
なんと赤外線照射状態の生IR画像を取得可能になったことに加え、赤外線照射を停止して赤外線カメラとして使えるようになりました。また、内蔵のKionix社製3軸加速度センサの値も読めるようになりました。
Kinect特集記事には80ページを割いて、Kinectデプスカメラの動作原理、関節の円運動から中心座標と半径を求めるジェスチャー判定の理論など、詳細に説明を行っています。まだ、バックナンバーの入手が可能ですので是非参考にしてください。


【CQ出版トランジスタ技術2012年8月号】『特集 センサとカメラで3次元センシング』

おまたせしました。Kinectを使った拡張現実センシング・システムのソースを公開します。
いままで伏せていましたデプス・カメラの動作原理、骨格追尾の残像表示、ジェスチャー判定アルゴリズムなど
Kinect関連技術を一挙公開いたします。Visual C#ソースもプロジェクト・ファイルごと公開します。
ダウンロードサポートページのエントリはここ[http://www.neo-tech-lab.jp/ARsensing]です。


【小型化した自作デプス・カメラ実験装置】★これは古典的なスライド投影方式のランダム・ドット・プロジェクターを使っています。


【Cyber Eyes (知覚コンバータ:代替視覚)】★将来的にはこんな用途に

Pironさんのホームページ   ★たかはる画伯のホームページ

Kinectのデプスカメラを試作してみた

Kinectのデプスカメラは3次元デジタイザあるいは3次元スキャナという言葉がふさわしい、被写体の深度(Z値)をピクセル単位に測定することができるセンサです。動作原理に興味を持ったので、自作してみることにしました。
動作速度を1000倍以上アップさせる方法については受託研究対象とさせていただきます。但し通常アルゴリズムに関してはDLLでの公開はあるかもしれません。(検討中です。)



Kinectのデプスカメラの測距原理について

説明加えました。
開発元のIsraelのPrime Sense社の米国特許出願明細書へのダウンロードリンクも追加しました。
 ■US20100118123 『DEPTH MAPPING USING PROJECTED PATTERNS』
 ■US20100225746 『REFERENCE IMAGE TECHNIQUES FOR THREE-DIMENSIONAL SENSING』

【レーザーポインタとウェブカメラで測距センサの原理検証実験】
KINECTセンサのデプスカメラはランダムドットパターンで赤外線を投影して撮影画像の相互相関処理をNx×Ny画素セル単位に行って水平方向の画素セルのシフト量を求めて深度(デプス)を測定しています。
まずレーザービームで1ポイントの測距が可能かどうか原理検証を行ってみました。ランダムドットのプロジェクタさえ構成すればデプスカメラは十分個人レベルで自作できそうです。
プラネタリウムのようにLED懐中電灯で投影するような方法を考えなくては....


Kinect for Windows SDKのサンプルプログラム

■あなたのパソコンでもたった15,000円でモーション・キャプチャー・アプリ開発ができる!!(開発言語C#)
掲示板で要望のあったKinect for Windows SDK版のカラー画像、デプス画像、骨格抽出のサンプルプログラムもC#プロジェクトファイルを用意しました。
Frameworks4.0でDirectXを使う方法についても進行中です。
現在、残像表示や人物切り出し、骨格抽出など基本的なものは公開済みです。
7月中旬までに、円/円弧検出アルゴリズムやそれを使ったジェスチャー、代替視覚システムの試作プログラム、拡張現実センサなどのサンプルプログラムも公開予定です。

【KINECT SDK】【Frameworks4.0】【Managed DirectX】
Kinect for Windows SDKはWindows7(Frameworks4.0)でしか動作しないので、Managed DirectXを動作させる方法を試行錯誤しました。結果、海外BBSでapp.configを追加する方法を発見し、動作させることができました。


【KINECT】
デプスイメージのPlayerIDはSkeletonStreamをEnableにしておかないと有効になりません。

【KINECT】『関節追尾で残像表示』
スポーツ関連の分析に適していそうです。


7月中旬公開予定のCyber Eye(代替視覚システム)】
デプスカメラの情報に基づいて音響オブジェクトに変換するサイボーグインターフェースの試作版です。
出し惜しみするわけではないのだが、トラ技8月号の原稿に収まりきらなかったため、マーカー方式、サイバーアイ、コンターマップ等は再度機会を変えて公開をしたいと思います。

【ランダム・ドット利用】【音響計測バージョン】『ランダム・パス・ホロフォニック・センサ』

【予告】Kinectのデプス・カメラで使われているランダム・ドットを音響分野に応用しました。
ページ・トップの【はじめに】をご参照ください。【公開予定日】6月21日
★計測原理のみの学会発表となります。詳細設計方法の開示には受託研究契約が必要です。

【μ-ARsensor】『マーカー式拡張現実のオリジナル・アルゴリズムを構築開始』

 (第1次試作2012/02/05/~)
Microsoft社のKinectセンサは、骨格抽出、デプスバッファに加え、画像キャプチャーも行うことができます。
骨格抽出とNyARToolKitのようなマーカー方式を両方同時に使いたいと考えたのですが、GPLライセンスには全ソース公開義務の制約があります。
MicrosoftのKinect for Windows SDKに頼る限り、それは不可能だし。
なら、『一からオリジナル・アルゴリズムでコーディングすればいいんじゃないの?』と考えました。
現状、キャプチャー画像からの太線枠抽出(矩形波相関トリガ・フィルタ)、輪郭点座標リストから線分抽出(オリジナル高速最小二乗法)を
Excel VBAでコーディングして動作を確認。将来的にC#、JavaScriptに移植の予定です。
この線分抽出の部分は世の中ではHough(ハフ)変換と呼ばれ、候補ベクトルを投票していく多数決型らしいです。
なんか昔のあんまり考えていない逆問題プログラムみたいな感じで好きになれそうもないのでソース無視して自力で書きます。



「たった24時間でマスターできる電子回路技術」                             掲載日 /2008/12/29/
  何かパソコンに接続する計測機器を開発しようとすると、技術者の分業化が進んでしまっているために大掛かりなプロジェクトになりがちです。世の中の大半の企業では、ソフト屋(アプリケーション、組み込み)、ハード屋(アナログ、ロジック設計、マイコン、電源)、さらには基板屋(アートワーク)までと、細かく分業化が進んでいます。ちょっとした機器開発に4、5名のエンジニアが必要になることもあります。人が増えると意思疎通に必要な会議時間も増え、開発期間も長くなってしまいます。当然、開発費は膨らみます。世界的に不景気なご時世に、このような大型開発プロジェクトはもうあり得ないと思いませんか?
  ではどうすればよいのか?答えは共有の知識を持ったHyper-Generalistを大量生産することです。
  電子回路技術(ハードウェア、ソフトウェアとも)の未経験者がシステム設計・開発に必要なエッセンスを修得するのに必要な時間は恐らくたったの24時間程度だと思います。三日坊主という言葉がありますが、1日8時間なら三日坊主にならずにすむでしょう?アナログ系電子回路の基礎 (1時間)、ディジタル系電子回路の基礎(1時間)、・・・・・と順次まとめていく予定です。(記事を書く方は三日坊主になる可能性大ですが...)
  「アナログ系電子回路の基礎」、「ディジタル系電子回路の基礎」について紹介します。内容は、アナログは取りあえず試作回路を製作するのに必要な知識程度 、ディジタルはCPLDやFPGA開発ツールのライブラリの動作が理解でき、必要であれば自分で新しいライブラリを作成するのに必要な知識程度をまとめました。市販ユニットやモジュールの利用やマクロ・ライブラリの利用だけでも一見なんとか仕事ができそうですが、これでは計測につきもののトラブルを解決する能力がまったくありません。ここは面倒くさくても基礎の理解を深めてください。

アナログ系電子回路の基礎  (1時間目)                      written by Tomoaki Ueda  (上田智章)
                     
                                                                                     
掲載日 2008/12/29
 ■アナログ系電子回路図で使うことが多い記号
 ■オペアンプの基礎
  ■オペアンプの性質 ■オペアンプの電源の処理 ■アナログ・コンパレータ   ■ボルテージ・フォロワ
   ■アクティブ・グランド   ■反転増幅器  ■非反転増幅器  ■差動増幅器  ■入力バイアス電流の小さな差動増幅器
  ■計装用アンプ(
instrumentation amplifier)   ■電流/電圧コンバータ  ■電圧/電流コンバータ
  ■積分器 ■正帰還型ロー・パス・フィルタ ■AD823を単電源で使う全波整流回路 ■AD633を使った同期検波回路


ディジタル系電子回路の基礎  (2時間目)                   written by Tomoaki Ueda  (上田智章)
                     
                                                                                 
    掲載日 2009/01/09  最終修正日 2009/01/12
 ■基本ゲート・ロジック (Basic Gate Logic)
  ■コンバータ (
Converter)  ■インバータ (Inverter)  ■シュミット・トリガ (Schmidt Trigger)  ■バッファ (Buffer)
  ■AND (論理積) ■NAND ■OR (論理和) ■NOR ■XOR (
exclusively OR 排他的論理和) ■XNOR
  ■VCCとGND(グランド) ■論理の等価変換法について (ド・モルガンの公式)
  ■入出力ピン (
Pin) ■ピンとバッファ ■デコーダ (decorder)
 ■
INV-AND-OR-treeを理解せよ!
  ■セレクタ ■プライオリティー・エンコーダ ■XORとINV-AND-OR-tree
  ■加算器 (
adder)  ■高速加算器を作るためのキャリー・ルック・アヘッド回路 (Carry Look Ahead)
  ■インクリメント (
increment)  ■ディクリメント (decrement)
 ■レジスタの活用
  ■RSフリップ・フロップ ■レジスタとラッチ (
registerlatch)
  ■これだけは押さえておきたいレジスタのバリエーション
  ■非同期カウンタとその欠点 ■同期式カウンタ(アップ・カウンタとダウン・カウンタ)
  ■シフト・レジスタの構成法とその用途 ■ステート・マシン ■シーケンサ ■マイコンもどき


 
A-1 「汎用OPアンプとロジックだけで構成するセンシング回路設計術」                                              掲載日 2008/12/15
PDM
(Pulse Density Modulation)回路設計の基礎             written by Tomoaki Ueda  (上田智章)
                                                       
     
2008年12月12日秋葉原で開催されたDSP & FPGAデザイン ワークショップ2008の講演内容(A-1)の追加情報です。

【名称】DAコンバータおよびADコンバータ【発明人】上田智章【番号】特開2008-17239
☆☆☆特許第4496493号 登録日 平成22年4月23日☆☆☆

(明細書作成だけでなく、全ての手続きを自分で実施したものだったのでとても嬉しい。)

   ■パルス密度変調(PDM : Pulse Density Modulation)型D/Aコンバータ
         簡単な外付けLPF (Low Pass Filter)だけでCPLDD/Aに!市販品 よりローコストなD/A
     ●PDM D/Aコンバータの基本構造と動作原理について
     ●PDM D/Aコンバータに必要な外付け回路の例
     ●民生機器で採用されているその他の簡易なD/Aコンバータの方式とその限界
     ●PWM (Pulse Width Modulation)PDM (Pulse Density Modulation)の違い
     ●基本構造PDM D/Aコンバータの設計例
     ●任意分解能のPDM D/Aコンバータを実現する方法 (出力分解能も自由に変更できる)
   ■PDM型電子ボリューム (乗算)  これで調整回路も不要になる?!
     ●PDM型電子ボリュームの基本原理  ●PDM型電子ボリュームの設計例
   ■PDMA/Dコンバータ
    CPLDとオペアンプでA/Dコンバータも作れる!
     ●比較フィードバック型A/Dコンバータ  ●バイナリツリー探索型A/Dコンバータ  ●逐次比較型A/Dコンバータ
     ●変化量可変方式比較フィードバック型A/Dコンバータ 
   ■オペアンプ2個で実現できる∑⊿ (シグマ・デルタ)方式A/Dコンバータ
   ■任意の周波数の信号を発生するDFL(Direct Frequency Loop)
     ●DFLを応用したボーレート・ジェネレータの例 (任意のクロックから高精度なボーレート・クロックを作る)
   ■DDS (Direct Digital Synthesizer) (任意周波数の正弦波を発生する)
     ●DDSの構成例 (Altera CPLD EPM240T100C5の場合)
     ●位相調整回路を付加した同期検波用DDSの構成例
     ●Direct Digital Synthesizerと同期検波用矩形波の生成例
   ■UART(調歩同期式シリアル通信) (CPUを介さずにCPLDだけでWindowsコンピュータと調歩同期シリアル通信を行う)
     ●最もポピュラーなシリアル通信フォーマット
     ●シリアル通信送信回路部 (A/D変換値やポート・データをWindowsに返す際に必要となる基本ブロックの構成方法)
     ●シリアル通信受信回路部
              (ボーレートの4倍クロックでスタート・ビット検出、各データ・ビットを同期格納、ストップ・ビットで受信バッファに格納)
   ■Appendix DDSPDMに特有の低周波揺らぎについて
   ■ワイヤレス生体計測システムの事例紹介 (ZigBeeでワイヤレスモニターを!  Bluetoothも同様に実現できます。)
   ■まとめ

【以前の関連記事】
 2008/08/16  時代錯誤の回路図によるCPLD設計 やっぱりAltera Max II  !
  ●シリアル通信関連
    ■ボーレート・ジェネレータ   ■シリアル通信受信回路(調歩同期方式)   ■シリアル通信送信回路(調歩同期方式)
  ●信号変換関連
    ■Pulse Density Modulation(PDM)方式D/Aコンバータ
Panoramio
World Index

ViewMyPanoramio
    
地図上に配置された写真の分布を見ることで、そのユーザーの行動範囲を知ることができます。
>PhotoViewer
そのユーザーの地図上にマップされた写真を全て閲覧できるツールです。
My Panoramio
2000枚を超える風景写真
Google Earthにも掲載中!
   
My Panoramio(←入口)
フォトギャラリー(京都編)

  番外  ★癒しの乗馬
 

海外編】
London
Boston
Singapore
Munich
Ulm
Guam

日本編】
京都編】

【μ-iVoice】『JavaScript音声合成エンジン』

 (第2次試作2011/12/29/~2012/01/09/)
μ-iVoiceはプラグインに頼らずにJavaScriptだけでシンセサイザ / 音声合成 / ボーカロイドをホームページに実装するAPIです。
ハードウェア技術であるDDS(Direct Digital Synthesizer)の変形アルゴリズムで実現しました。
Version0.06では、音声データをAI学習させたデータを使用していましたが、Version0.07以降は音声データをブラウザ上で加工する方式に変更しました。
今後は音質改善に取り組みます。
現状は漢字⇒かな変換辞書機能を実装しました。
抑揚を付けるための簡単な制御文字も持っています。自動抑揚変換も開発中です。
対応ブラウザは、Google Chrome、Mozilla Fire Fox、Apple Safariです。IEは.wav形式オーディオファイル再生に対応していないので利用できません。将来的には、ブラウザにNaCl(Native Client)+Pepperが標準実装されるようですから、漢字入力から発音させるまでを全部ブラウザ上で行うことも可能でしょう。テキスト化したMIDIデータから演奏する機能も備えています。
 ●【web.fc2.com】【μ-iVoice】
 ●【geocities.jp】【μ-iVoice】
 ●【sites.google.com】【埋め込みμ-iVoice】

AlteraのMaxIIで音声合成機能の実装試験中です。写真(右下)は、無拘束で入浴中の人の心電図を計測することができる『浴槽心電計』です。
μ-iVoiceにより、殆どコストアップせずにセンサ・プローブに音声アドバイス機能を実装することが可能になります。

【YouTube動画】初期の有線型                      【最新試作基板】ワイヤレス型

【Agent統合計画始動】

JavaScript音声合成エンジンμ-iVoiceと3次元グラフィックスモデルを統合して、著作権の心配なしに利用できるWeb Agentの開発をスタートさせました。
企画に賛同いただいた女性音声の第1回目録音を終えて現在エディット中です。
そのうち、機を見て音声データベースとμ-iVoiceのJavaScript版およびVisual C#版のソースも公開する予定です。
たかはる画伯にご協力をいただき、2タイプの原画をいただき、現在3次元化の前検討をしている段階です。
既存モデルで雰囲気や3次元形状の概略の把握を行っている段階です。
3次元メッシュにはこれから落としていくので早くて半年かかりそうですが。(なにしろ初心者なので)
WebGLでMMD(MikuMikuDance)のPMDフォーマットの読み込みには成功しているので、
今後のCPU性能の改善とNaCl実装普及を期待して開発を進めるつもりです。
最終的には、広域分散処理ホログラム記憶方式AI Web Agentに接続する予定ですが、これはいつになりますかねぇ....
何か強力な判断抑制アルゴリズム(道徳、倫理のようなロボット3原則にあたる行動抑制因子)が開発できないと、現状無理ですね。


           

●スペクトラム拡散型センサ増感技術Holophonics Augmented Realityの試みムカデ咬傷の応急処置方法
広帯域利用可能なセンサを使って本来必要な情報帯域幅の100倍~10000倍というような測定帯域幅を使用して計測を行い、ジョンソンノイズ以下の10倍~100倍の分解能を持たせる増感回路技術に属します。現在、0.5~1nTのMRセンサで100倍増感を行い、高温超電導SQUID並みの超高感度を常温センサで目指しています。心電同期トリガ法と組み合わせて常温心磁計測システムを構築予定です。心磁の測定帯域幅はせいぜい100Hz程度です。これを1MHzの帯域幅を用いて計測。ディジタル変復調回路で分解能を100倍改善する技術です。
電子回路技術だけでデバイス感度を飛躍的に向上することができます。匂いセンサ、温度センサなど、いろいろなセンサに応用可能です。(東工大 特願2007-280739)

【Google翻訳の音声合成機能】

Google翻訳にはwww.ispeech.orgのiSpeech APIのText-To-Speech[TTS]という読み上げ機能を利用したサービスが採用されています。非常に高品質の音声合成機能です。iSpeech APIは、インターネット接続可能で、音声入出力可能なデバイスなら利用できるように設計されたインターフェースです。まだ正式に利用できる訳ではなさそうですが、ちょっとページを独立して設けました。
まだ、クロスドメインで利用できるブラウザはGoogle Chromeだけのようですが、実験の様子をわかるようにメモ【Google翻訳の音声合成[Text-To-Speech:TTS]の使い方】を残しています。

【怪しい実験シリーズ①】モノポール発電機

 ちょっと怪しい実験も始めてみました。手始めはモノポール発電機。N-マシンに進みたいと思います。
【写真4】超小型モノポール発電機の実験

【各種拡張現実センサの開発】
≪NTLの真面目な研究内容のひとつ≫

どちらかと言うと、専用センサを開発するのがメインで、拡張現実センサの機能を付加しているという程度です。
用途としては、センサを放射線センサに変えれば、生活環境の汚染状況を可視化することができるので、除染の必要な場所を調べるのに役立つでしょう。
あるいは、センサを金属探知器に変えれば、壁や床に埋設された配管の位置を可視化することができます。



【Active Wave Barrier】【3次元アクティブ音響シールドへの適用】

騒音と逆位相の音を出して騒音をキャンセルするActive Noise Controlが知られています。
しかし、原理的に加算した逆位相音が騒音の入射方向に拡散するため、防音壁として利用しようとしても大きな反響音が出てしまう欠点がありました。
新技術はこれとは全く別の技術(対消滅壁)により、透過波だけでなく、反射波も抑制することができます。
右下にアクティブ音響シールド(Active Acoustic Shield)への応用例の効果説明を示します。
この技術を採用することで、音響、電磁波、ガンマ線などの波動現象におけるバリア、あるいはステルス人工素材が実現します。
アクティブ防音壁、人工静寂空間、防音室といった音響系技術だけでなく、電磁波、光波領域でも利用が期待できます。




【WebGLのページ】

JavaScriptでリアルタイム3次元グラフィックスが楽しめる時代の到来までもうすぐです。
現在、Google Chrome12、Mozilla FireFox5、及び開発版のSafari、Operaで使うことができます。
WebGLは、JavaScriptエンジンv8とDirectXを利用して高速化したOpenGLを融合して構成されたものです。
2011年5月に指摘されたセキュリティー問題はありますが、処理速度の高速性から利便性も高いので、将来的には普及するのではないでしょうか?
 ●WebGLとは? ●事前準備:利用できるウェブブラウザは? ●事前準備:FireFox5でWebGLが動作しない場合には?
 ●WebGLのサンプル ●WebGLのデモ ●クロスドメインテクスチャーを将来も利用できる方法

YouTube APIを使ったBGM playerの製作

広域分散処理型Web Agentの製作をしていますが、これに合わせてBGM playerモジュールもサーバー支援型からクライアント側管理に変更しようとしています。 従来はYouTubeを1日に2回程度巡回して動画の管理をしていましたが、Googleとクロスドメインでやり取りして、動画情報をクライアント側で受取り、管理しようとしています。 従来の簡単な造りからJSON形式で情報を受取り、SWFobjectを実装して再生する方式に変更しています。 これができれば、SWFobjectでGoogle翻訳のText-To-Speech(音声合成)をアクセスさせるつもりです。(現状はGoogle Chromeでしか音声合成できません。)
SWFobjectを使うのは初めてだったので、現状のBGM playerで可能な要素を実現してコンパチブルに近づけるのに苦労しています。漸く近づいてきました。

WindowsでKinectセンサを使うには?⇒OpenNIの導入方法について

4月にアップしながらトップページに書くのを忘れていました。
Microsoft社のXBOX360用に開発されたモーションキャプチャーセンサKinectはUSBインターフェースを持っています。オープンソースのOpenNIを導入すればパソコンでもリアルタイム・モーション・キャプチャーが可能になります。
現状、OpenNIの導入が少し困難なので、メモ代わりに書き残しました。工夫次第で拡張現実アプリ開発が容易に行えると思います。
5月27日までに海外からの質問に対応して、英語版ページも用意しました。


NyARToolkitCSで拡張現実センサを作ってみよう
                              掲載日 /2010/11/16/ 追記 /2011/01/06/
【1】【拡張現実で温度センシング】【トランジスタ技術 増刊サポートページ】1/5公開
 CQ出版 トランジスタ技術【増刊】『今すぐ使える パソコン計測USBマイコン基板』の付録基板とNyARToolkitを使って拡張現実センサを試作してみました。ソースを公開中です。
付録基板に内蔵の温度センサを使った拡張現実の実験を行いました。付録基板にマーカー(登録マークを印刷した紙)を貼り付けるだけです。電子回路製作を製作する必要はありません。
NyARToolkitCSはウェブカメラで撮影された実写画像内に写っている登録マーカーをリアルタイムに検出し、マーカーの3次元座標変換マトリックスが得られる便利なライブラリです。動画のようにパソコンで実写画像上に計測値に応じた3次元グラフィックスを重畳表示することが可能です。Microsoft社の無償ダウンロード開発ツールVisual C# 2008 Express Editionを使ってソースをビルドして評価実験を行うことができます。


【写真】付録基板

【写真】付属基板裏面にマーカーを貼り付けたところ

【2】【拡張現実で高周波磁界/超音波センシング】【トランジスタ技術2011年2月号記事】1/10発売
 オープンソース(GPLv3)の拡張現実(AR:Augmented Reality)開発用ツール[NyARToolkitCS]のサンプルプログラムSimpleLiteDirect3dを改編して、ウェブカメラで撮影した実写画像上のマーカーを検出した位置に3次元グラフィックスを重畳表示する拡張現実センサの実験を行いました。
 高周波磁界強度/超音波センサを製作し、付録基板経由でパソコンに取り込んでいます。リアルタイムに表示を行うことができました。
 YouTubeにテスト中の動画をアップしました。ソースを公開中です。無償ダウンロードできるMicrosoft社のVisual C# 2008 Express Editionでビルドを行う必要があります。
  ■高周波磁界・超音波プローブ【第3次試作】その1 30万画素ウェブ・カメラ使用
  ■高周波磁界・超音波プローブ【第3次試作】その2 300万画素ウェブ・カメラ使用
  ■高周波磁界・超音波プローブ【第3次試作】その3 DirectXプログラミングの練習(ちびミク)
  ■高周波磁界・超音波プローブ【第3次試作】その4 DirectXプログラミングの練習(3Dゲージ)
   
   【説明】画面左のコイルで周波数20kHzの高周波磁界を発生させています。
   出力はテーブル上で実験するために絞りました。せいぜい5W(300mA)程度です。
   (実験してみて市販IH機器ではパワーが強過ぎたのでここまで出力を絞りました。)
   リアルタイムにキャプチャー画像からHiroと書かれたマーカーを検出して、その座標変換
   マトリックスを求めています。マーカーを基準としてセンサの相対的位置がわかるので、
   測定値(20kHzの磁界強度)に応じて球体の色を変えて表示しています。
   磁界の強さは赤:10mGaussに相当します。センサは10kHz~100kHzの磁界測定が可能です。

  『NyARToolkitCSで拡張現実センサを作ってみよう』

ARToolKitを使えば手軽にAR(Augmented Reality:拡張現実)を実現することができる。計測の分野でポピュラーになる日は近いだろう。NyARToolKitはC#でmanaged DirectXを使うことができるので、非常に使いやすくお勧めだ。リアルタイムにキャプチャーと表示ができるようになる。医療用内視鏡や建築用計測機器で威力を発揮するだろう。

【3】【センチネルリンパ節検出用磁気プローブ】
/2011/01/21
【説明】乳がんの転移診断に使うセンサです。局注した磁性流体(リゾビスト、フェリデックス)の体内滞留位置を調べるセンサです。鉄量10~20μgの滞留位置を検出する感度を有します。
 最近の医学研究では、癌の転移はリンパ液の流れにのって剥離した癌細胞が流されて転移が発生するとされています。このため肺がん、乳がん、食道がんの摘出手術時には、癌転移を警戒して腫瘍周辺部にあるリンパ節を全て切除する郭清(かくせい)が行われています。しかし、郭清は患者さんには負担がかかるので、手術中に最も転移確率の高いセンチネルリンパ節を探し、摘出して、すぐに生検を行い、このリンパ節に転移がなければ他のリンパ節は温存するセンチネルノード・ナビゲーション手術が行われるようになってきました。米国では放射線の取扱いがラフなので、放射性物質をマーカーとして使う方法が主流ですが、日本では法規制のため大病院に限られています。
 このセンサは既に肝臓がんMRI診断用に承認済みのリゾビストやフェリデックスをマーカーとする方法です。既に秋田大学では200例の臨床試験が行われています。
 短いですが、Augmented Realityによる拡張現実表示モードの動画です。綿棒の先端に鉄量100μg程度の磁性流体をつけてバラックで実験しました。センサ・プローブは検出値が大きいほど高い周波数の音が出るスタンド・アローン・モードと、拡張現実(Augmented Reality)を使った可視化モードを持っています。

NyARToolkitCSでMikuMikuDanceの標準モデルPMDを拡張現実【ソース公開】

  MikuMikuDanceのポリゴンモデルデータ(PMD: Polygon Model Data)ファイルを読み込んで拡張現実を体験するソフトの製作をしています。
  Sphere Mappingを含めて全ての標準モデルの表示ができるようになりました。
  下に動画を用意しました。Visual C# 2010 Express Edition(無料ツール)のプロジェクトファイルを公開しています。
  現在、表情処理のコーディングを行い、表情実装機能確認テストを行いました。その後、ボーン制御のコーディングに進みます。
  【トランジスタ技術 増刊】『今すぐ使える パソコン計測USBマイコン基板』の付録基板の内蔵温度センサを使った拡張現実に反映する予定です。




下段右端はpironさんのMikuモデル。未対応のファイル名形式を使用のモデルだが、デバッガーでエラーを抜けて表示してみたところ。
Sphere Mappingについてもトライしました。(下段中央)【YouTube動画】いよいよ表情処理のコーディングを開始。

Excel VBA版1次元/2次元音響FDTDシミュレーションのソース公開

 YouTubeで要望のあった音響FDTDシミュレーションのソースと使い方を公開しました。
 音響FDTDの原理自体はどこかに書いていたかもしれませんが、様々なシミュレーション結果や理論等をこのページに追加していく予定です。
 今後、段階的に音響系技術の公開を実施していく予定です。


VBAで3次元CG(5時間目)                 written by Tomoaki Ueda  (上田智章)
                     
                                                                                 
    掲載日 2009/01/22  最終修正日 2009/10/03
  3次元グラフィックス  VBAの利用準備  VBAでの画像表示法  bmpファイル形式  2Dピクセル描画
  Zソート  Zバッファ   3Dピクセル描画  2D直線描画  3D直線描画  RGB補間直線描画
  スキャンライン描画  三角形描画  任意多角形描画  テクスチャーマッピング
  クリッピング  透視変換  ライティング  シャドーイング        ▽フォン・シェーディング
2009年4月22日にGoogleが発表したブラウザ用3Dグラフィックス・プラグイン(O3D)を試しに使ってみたところ予想以上の動作速度だったので、JavaScriptに変更予定をしています。Google Chromeだけでなく、IEやFirefoxでも使えます。動作速度もデモ1デモ2デモ3(デモを実行するにはO3Dのダウンロードが必要です。)に示すように結構速いのでかなり有望だと思います。将来的には医療・福祉分野に投入可能な単独判断も下す広域分散処理型エージェントに改良予定です。
Google O3Dへの移植のためにDirectXやMikuMikuDanceの構造体を参考にしてExcel VBAでMikuMikuDanceのモデルを閲覧できる3次元グラフィックス・ライブラリを新規に開発し、3Dビューワーを製作してみました。取り敢えず、陰面処理をかけてグローシェーディングによるポリゴン・フィルとテクスチャーマッピングが行えるようになりました。透視変換も実装しました。光源計算も2009/10/02現在、仮実装を完了しました。下の図はその出力結果です。表情[skin]、Bone等はまだですが、現状23時間ほどのコーディング&デバッグ作業でMikuMikuDanceのPMDデータから下の様なイメージを得ることができるようになりました。DirectXやWin32APIは使っていません。全てソフトウェア処理による描画です。
詳細は以下のドキュメントに記載しています。ご参考まで。
  【参考1】MikuMikuDanceモデルデータの構造とExcel VBA 3Dグラフィック・ライブラリ[NTL_3DGraphic.bas]
  【参考2】Excel VBA 透視変換処理の原理説明とVBAソース
  【参考3】鏡音リンを光源計算付きで透視変換表示するExcel VBAのソース[NTL_3DGraphic.bas付き]

   

【現時点での予定】
Quartus II Web Editionの使い方(3時間目)         written by Tomoaki Ueda  (上田智章)
  
DownloadInstall、回路図エディタの使い方、階層構造設計の仕方、回路シミュレーションの方法、UFMの使い方
  知っておくと便利なマクロ、高速回路設計のポイント等

VBAの使い方(4時間目)                          written by Tomoaki Ueda  (上田智章)
  最低限度の文法、セル値の読み出しと書き込み、フォーム部品の使い方、
    Win32APIの使い方 (sndPlaySound  GetTickCount ・・・・・・・)
  FTDI社FT232RL、FT245R、FT2232の使い方

超電導量子干渉素子を使った高感度磁気センサのお話」       掲載日2009/01/19
 SQUID (Superconducting Quantum Interference Devices)                                 written by Tomoaki Ueda  (上田智章)
  ■SQUIDとは?
  ■SQUIDのデバイス構造
  ■SQUIDのデバイス特性
    ■IV特性  ■ΦV特性
  ■環境磁気ノイズについて
  ■ピックアップ・コイルの種類
  ■FLL (Flux Locked Loop)
    ■磁気変調方式FLL ■Drung方式FLLSlope Lock方式)
    ■超ワイド・レンジ遷移カウント方式高精度FLL  ■超ワイド・レンジ超高速2相カウント方式FLL
  ■素子特性試験器の回路図
  ■FLLの回路図
  ■脳磁(MEGMagneto-Encephalograph
  ■心磁(MCGMagnetocardiograph
  ■心磁計測方法
  ■心電図同期加算方式によるノイズ除去

2007/12/25 車の侵入をパッシブに検出する高感度磁気センサ  (MRセンサでもここまでできる。)

【心電計キットの販売は終了いたしました】

【お知らせ】 2008/08/16記載 2008/08/23追記
 心電計キットの通信販売を開始いたします。
 以前BioSignal社が販売していた心電計キット(写真1下)と比較して若干小型化(写真1上)され、大幅にコストダウンしました。
  ●入力1ch、ACカップリング、フォトカプラ絶縁
  ●USBインターフェース(電源はUSBから供給。ECGアンプとマイコンはオンボード絶縁電源経由で供給。)
  ●ソフトウェア公開(C#) ダウンロードはこちら 関連ドキュメント(回路図を含む)はこちら
  ●ECGアンプは汎用OPアンプで構成。
  ●電極は2mmφの医用のものが接続できますが、ホームセンターなどで購入できるステンレス製の金具でも利用できます。
      型番 NTL-ECG-01 価格 \10,000円  ■送料 \550 ■代引手数料 \450
  ■現在、本心電計キットに接続可能な赤外線脈波計ユニット(写真2は本心電計キットとの接続の様子)も開発中です。
    ※ソフトウェアの表示画面例を示します。(ボタンをクリックするとき波形が乱れるので一人で測定するのは無理かも。)
 
     写真1        写真2              表示画面例1            表示画面例2
     
 

警告:ネットは匿名ではない。サイト運営における完全パッシブ企業研究動向調査方法について        記載日 /2009/02/20/
 情報提供サイトを利用した新しい合法的研究動向調査方法をご紹介します。マーケティングにも有効でしょう。


【2009年12月前半の当サイトへのアクセス元地理座標】Web Agent Mikuによる見守り調査結果の出力例(geo-location)
Web Agent Mikuは1つのIPアドレスを一人の個性として扱い、健康、学習進捗度等をパッシブに見守るウェブ・エージェントです。
IPアドレスだけではご覧のように誤差が大きいのですが、ドメイン名も含む推定で会社などは事業所を絞り込むことができます。
上図にはPanoramio及びMikuMikuDance関連コンテンツを含みます。海外からのアクセスでは翻訳エンジン利用で読む人もいます。
このシステムは対象コンテンツ毎の検索が行えるのでメーカーや訪問された目的の調査も行うことができます。

【概略メニュー】
  CQ出版雑誌/書籍関連の記事のメニューは移動しました。

【雑誌・書籍掲載】 管理人の記事が掲載された本です。関連情報はこちら