【本サイトのご利用指針】
当サイトはSPAM対策等のためJavaScriptを使っています。
JavaScriptの実行を可能な状態にしてご利用下さい。
Please enable the execution of JavaScript!




Vocaloid初音ミクMikuMikuDanceという驚愕のソフトウェア

  【リンクフリー】 私設研究所ネオテックラボ Neo-Tech-Lab.co.uk
【記載者】 上田智章 ☆Tomoaki Ueda☆ NTLMMD

 
ここにチェックボックス型外部コンテンツ・メニューが入ります。




【ブラウザはGoogle Chrome】

●最新版ダウンロードはこちら

【お知らせ】

現在、特にお知らせする事項はありません。

■記載日2010年12月10日■
コミPo!(その2)
コミPo!の先行体験版を入手できなかった人に朗報です。先行体験版よりさらに機能が限定されていますが、今なら誰でも無料体験版をダウンロードできます。
ダウンロードURLはここ
1月31日まで使えるそうです。
(正規版ならMMDと組み合わせて下の様な使い方も可能ではあるようです。)
(←先行体験版使用)

■記載日2010年11月10日■
コミPo!って知ってます?
誰でも簡単に漫画を作ることができるソフトウェア『コミPo!』ができたらしいのでちょっと触ってみました。
今日帰宅してメールをチェックしていると、迷惑メールフォルダの中には大量の薬通販関連のSPAMメールの山。でもその中に『コミPo! 製作委員会』から2通のメールが!
で、んんっと?なんだっけ?
あっそうか、何日か前にネットのニュースで読んですぐに脊髄反射で体験版申し込んだのすっかり忘れていました。消す前に気が付いてよかった.....(^_^;)
初音ミクやMikuMikuDanceとは関係ないのだけれども、記事にはコミPo!が3次元モデルを使っているとの事だったので興味を持った次第です。
ダウンロードしたのは11月9日体験版です。チュートリアルもあるそうですが、マニュアル読むの嫌いな人なのでまだダウンロードしていません。でも操作はとても簡単です。何でもドラッグでコマの中に落せばいいだけです。ふきだし、背景や集中線など一応揃っています。
一番気になる登場人物ですが、表情、ポーズは幾つかプリセットされたものを選択して使います。3次元モデルなのでズームや座標回転は簡単に行うことができます。ユーザーモデルとして髪の色、髪型、目つき等もプリセットされたものから選択して編集モデルを作成して使うこともできます。
......モデル自身の簡単編集機能はMikuMikuDanceには実装されていないので、その点はコミPo!はとても便利なのですが、表現力という点でボーンモデルを採用してほしかった。表情やポーズ付けるのはMikuMikuDanceが断然便利!
でもホームページやブログ向けに簡単に漫画が作成できるという着眼点はいいかも。是非、ボーンモデル、それもPMDモデルが使えるようになればなぁと思います。
じゃあ、もうちょっと使い込んでみます。


2009年12月のMikuMikuDance関心層の世界分布
■記載日2010年10月29日■
イギリスで初音ミクが人気
初音ミクがイギリスで話題となっている。Vocaloidとしての初音ミクだけでなく、ちゃんと3次元グラフィックスの動画とともに支持を集めている模様。多分、日本より正当に社会的に評価されていると思われる。ヨーロッパはこれから長い冬で家に引籠りがちになる。その状況で音楽と動画は家族全員で楽しめる趣味になるからだ。MMDのDownloadリンクを探す人も確実に増加しているように思われる。
こうした傾向は決してアメリカ、イギリスだけではない。ヨーロッパは勿論、ロシア、トルコ、セルビア、チリ、ブラジル、ベネズエラといった国でも徐々に人気が出てきたようだ。
2010年1月にMMDユーザーの世界分布を反映していると思われる地図を200911年12月の当サイトのアクセス解析によって調べてみたが、また調べてみたい。
ところで、このMETROの記事の初音ミクはなんとなくKUMANE MIKUに似ているように感じますね。

METRO.co.ukより直リン

■記載日2010年08月04日■
PMDデータを再利用されにくくする方法
ネットでナナミさん関係の記事を読んでいて思いついたアイデアがあったので。
衣装や顔などのパーツの使い回しをされてしまう原因のひとつは各部のパーツのデータが連続して並んでいる為です。パーツを破砕して前後関係をランダムに並べ替える難読化ソフトウェアを作ってはどうかと思うんですけど。
1) 頂点バッファ(Vertex List)の頂点座標の登録順序をランダムに並び変える。インデックス対照表を作ってインデックスバッファを変換。
2) インデックスバッファ(Index Buffer)の破砕化。ひとつのパーツを複数の小領域に破砕。順序もランダムに並び変える。Material Listが無駄に増えるかもしれないが気にしない。
以上のようにPMDファイルを難読化加工すればパーツ(例えば衣装)を引き剥がすのにもの凄い工数が必要となるので利用を断念させることができる。ボーンのつじつまを合わせないといけないけどね。
PMDファイル配布直前段階でコンバートすればいいわけで。1)の処理だけでもかなり労力を強いることができるはず。
パーツを利用したがる人達は大抵初心者。引き剥がし工数が大きくなればすぐに諦めるはず。
子供騙しの工夫レベルだがこれでも効果はあるのでは?

■記載日2010年07月31日■
PMDデータに著作権はあるのか?
今日、アメリカのMMDファンの女の子の一人から『七海モデルの配付が終了したって本当?』というメールがきた。
えっと? おじさんには良く分からないので世の中(USA)で何が起こったのか調べてみた。その過程で『違反者(violator)』とされる人物の主張に関する記述がpironさんのサイトに記述された英文コメントの中にあることがわかった。
どうやら自サイトで様々なPMDファイルの再配布や改造モデルの配布をしている『違反者』は『PMDファイルには著作権が存在しない』と主張しているらしい。???
ん?どういう事だ? あっ!そうか。意味わかった。(同意した訳ではありませんよ。念の為。)
実は日本の著作権法も事情は同じだが、美術、音楽、文学、プログラムには著作権が存在している事は誰でも承知されていると思うのだが、『数値データには著作権は存在していない』のだ。知ってました? (第十条第1項あたり)
どうやら 『MMDのモデルデータPMDファイルはMMDというソフトウェアが使用する数値データに過ぎず、数値データに著作権は存在しない』という主張のようだ。さらに『著作権が存在しない数値データなのだから自由に使うことができる』という主張のようだ。(ここまでだけでも腹立たしい想いをされている方が多いと思うので全部訳すのはやめときます。)
『そんな馬鹿な!デザインだろうが!!』という声がそこらじゅうから上がるだろうとは思う。
ところが、現状の法律はどうも3次元グラフィックスの進歩に追従できていないようなのだ。これは、気象データや統計データ、測量データ等の数値データには著作権を認めないというところから来ている。例外として、数値データでも『データベース』には著作権を認められる例がある。しかし、データベースでも全体でなく一部のデータだけ抜き出した場合には著作権は発生しないのだ。即ち、一部を改ざんしたエディット・モデルやいろいろなモデルを混合したミックス・モデルは『モデル・データ』と言っている以上、著作権法上の権利保護が受けられないことになるようだ。
例えば、Vocaloidの初音ミクの場合、ソフトウェアだけでなく、音声データベースにも著作権は存在している。まるごとコピーする行為は当然著作権侵害になる。しかし、Vocaloidによって音声データベースの一部を使って生成された『歌』はもはや数値利用であって作曲された音楽にはVocaloidの著作権は及ばないという事だと理解する。
(勿論、この場合、作曲されたオリジナル曲には作曲者の著作権が発生する。)
モデルは創作者の創作物に他ならないのだが、著作権法で保護されるのはハードイメージに落とされた2次元画像のデザインであって、『3次元モデルデータは色や形状を意味する数値データに他ならない』と考える人達にとっては著作権に無関係な数値データでしかないという事のようだ。
これ、かなり根深い問題かも。
しかし、様々な表情ベクトルや髪型、衣装、体型、年齢変更機能までを有していればモデルはデータベースであると主張することができるだろう。現状でも表情ベクトルを持っているのでデータベースと言えなくもない。但し、この場合においても数値の部分利用(ミックスやエディット)は対象外となるだろう。
(現行の法律ではという意味です。MMDファンのみなさん、怒りの矛先をこちらには向けないでね。)

以前にPanoramioというコミュニティー・ユーザー向けにツール(JavaScript板やExcel VBA版)を公開したがあっと言う間にフランス人らに改ざんされ、各人のサイトで公開された事がある。JavaScriptはソースが誰でも読めるからソース公開なので著作権は存在しないという考え方のようだ。そこで腹が立ったんでJavaScriptを改ざんすると起動する罠(トラップ)を複数仕込んで(畳み込んで) MikuMikuDance海外布教用ツールをバージョンアップした。案の定、そのフランス人がすぐに地雷を踏んだ。著作権警告エラー文書はこちらのサーバー上に置いてあるので相手のIPアドレスも特定することができた。以降、不正コピーは発生していない。(一流プログラマが相手なら使えない手なのですが、一流ならそもそも人のコードを改ざん利用なんかしないし。) 向うのコンピュータでは著作権侵害を警告する英語テロップ付きの『はちゅね』のリーベンポッカが高らかに鳴り響いていたはずだ。数時間彼は試行錯誤を続けたが、3度目の警告(アク禁通知)で遂に改ざんを断念した。v(^_^)v

さて、MMDの場合はどうすればいいんだろうか?
ひとつ考えられる。モデルデータもプログラム記述であればプログラムなので著作権保護の対象となる。なにかインタープリタのようなものがMMD側にあり、モデルファイル内にある動作記述言語を実行するような構造なら現行法でも著作権保護対象となるはずだ。つまり例えば色データならデータだけでなく、HairColor=0x00CC00; とか記述し、実行時に構造体変数HairColorに0x00CC00が代入されるような構造なら、モデルはプログラミング言語で記述されたプログラムなので現行法で著作権保護の対象となるのだ。モデル・データではなく、モデル・プログラムというところがミソなのだ。モデル・ロード時にはパーサー(字句解釈部)とコマンド実行部が必要になるが、これはそんなに難しいものではない。もしかしてMS(Microsoft社)がXAMLで3DCGを記述するようにしているのは著作権保護に関係した措置なのかも。

アメリカのMMDファンの女の子に日本側の事情を伝えておいた。その子からは『とても悲しい。MMDが無くなってしまったら私もうインターネットもしないと思う。その人のアカウント、ハックしてやる。フラグ立てまくってやる(警告しまくる)!!』って、おい、おい。ハックてのはまずくないか?
その子はpironさんのファンらしく、今製作されているミクモデルの完成を首を長くして待っている。日本語は殆ど読めないようだけど、何故かpironさんのブログのURLは知っていた。どうやらアメリカのMMDコミュニティーで調べた情報らしい。近所や学校にはMMDファンはいないので、コミュニティーだけが楽しみなのだそうだ。
【追記】2012/11/22
昨晩、『アクセス集中で鯖が停止しましたよ』とWeb Agent'Miku'に起こされた。運悪くサイトのアクセスが多い時刻だったので普通に入れなくなっちゃいましたね。貧弱な鯖。orz....
以下は私の過去の経験に基づく個人的見解です。誰かと論争する気は毛頭ありませんので電凸はしないで下さいね。
●何かまたPMDの著作権がらみの問題が発生したらしいですね。一番いいのはPMDをDLL化すること。例えばVMDというデータで動き回るようなモデル・プログラムにする事。プログラムは現行法で著作権の保護対象です。(しかしMMDの開発が終了した今、この選択は実現性に乏しい。)
●ただ、圧縮ファイル解凍時に利用規約を提示して同意しないと、利用できない(解凍されない)形式でないと、契約そのものが成立した事にはならないでしょう。解凍してからReadMeに書いてある利用規約に従えというのは法的には効力を発しない可能性が高いので、ご注意を!
●どういうことかというと、極端な例として、ReadMeに『表示したら100万円いただきます』等のような文言が書いてあったとしよう。ReadMeは解凍するまで見る事はできないのだから、利用条件は読まれない可能性があるし、後だしじゃんけんの契約にあたる。所謂、ワンクリック詐欺の有罪事例と同じ構造なのだ。むしろ卑怯者扱いになるケースもありますのでご注意を!
●また、ダウンロードサイトに利用条件の記述があっても、そのデータと一体のものであることが確認しづらいと判断される恐れもある。プログラム・インストール時に良く目にするあのスタイルが法的に『契約』成立を認めさせるために有効な手順です。
●また一旦配布時に添付した利用条件を後日覆す行為は法的には全く無効です。むしろ詐欺行為と認定されても仕方ありません。時間の巻き戻しはできないのです。
●利用者のモラルに任せる方法は如何にも日本的で良いやり方なのだが、世界には日本のモラル感を共有できる国の方が少ないのだ。
●また外人には『自分だけのオリジナル(カスタマイズ)』にこだわる人が非常に多く、誰かの製作したモデルをそのまま使うのは初心者と子供くらいと知っておいた方がいいかもしれない。
●極論すれば、古い家具を加工したり、つぎ合わせて、『再利用』することで、自分だけのオリジナル(カスタマイズ)家具を作るのと同じ事なんです。
●世界標準の考え方は、プログラム化した上で、①著作権を主張し一切の改竄を認めない、②オープンソースにして改竄利用を認める代わりにオープンソースとして公開義務を負わせる という2者選択しかないように思えます。日本独自の第3の方法も勿論かまわないのですが世界で認知されるかどうかは不明です。

■MMDの世界は、作詞、作曲、キャラデザイン、モデラー、映像効果ツール等の異分野の人々が多数介在して、共有し、改良を重ねる形で発展してきたものだと思います。これは、Web 2.0の典型で世界に誇れる文化だと思っています。
■作られた動画に違法性が高ければ、動画サイト運営者によって自主的あるいは削除申請によって削除されるでしょう。
表面上は反応せず、粛々と削除申請で対応するべきではないかと思います。過度な反応は、相手の思う壺だと思います。
(掲示板あらしへの基本対応と同じではないかと思います。向こうは人の反応を見て快楽を感じる変態さんなのです。)
■日本人以外の人が良く行うモデル・カスタマイズは、そのモデルが気にいっているからカスタマイズしている訳で、一意に侮辱していると考えるのはどうかとも思います。

.....って、俺は誰に語りかけているんだ? 勿論、ここは独り言のページですから。(^_^;)

下記に示されるように、3Dモデルデータは著作物として認められる9項目のいずれにも該当していない。

【著作権法 抜粋】
第二章 著作者の権利
第一節 著作物

(著作物の例示)
第十条 この法律にいう著作物を例示すると、おおむね次のとおりである。
  一 小説、脚本、論文、講演その他の言語の著作物
  二 音楽の著作物
  三 舞踊又は無言劇の著作物
  四 絵画、版画、彫刻その他の美術の著作物
  五 建築の著作物
  六 地図又は学術的な性質を有する図面、図表、模型その他の図形の著作物
  七 映画の著作物
  八 写真の著作物
  九 プログラムの著作物


■記載日2010年07月22日■
Holophonics Augmented Realityに挑戦中
(ホロフォニックス・オーギュメンティッド・リアリティー:拡張現実立体音響)
何か後追いでないこともしてみようと思い、バイノーラル録音を行わずに完全にコンピュータ上でHolophonics(立体音響)を合成する試みを始めた。手慣れたExcel VBAで頭部モデルを作って2次元/3次元音響伝搬シミュレーションを実施。どうしてバイノーラル録音だと立体に聞こえるのか調べた。普通のマイクで録音する場合には直接波を拾うだけだが、バイノーラル録音(頭部ダミーマイク)では自身の頭部で反射してできる回折波も拾う。ここに立体音響の秘密がある。
世の中では、頭部ダミーマイクを使って録音した音と直接波の測定結果を基にして音源位置毎に『頭部伝達関数』を求める方法を研究しているらしい。が、音源位置の数だけ測定して伝達関数を求めるなんて大変な工数がかかる。それに演算自体に数学的な問題がある。環境ノイズに弱いのだ。そこでNeo-Tech-Lab的なアプローチを行うことにした。
最初は2次元音響FDTDで様子を調べたが、3次元でやらないとわからないことも多い。だが、3次元音響FDTDではスパコンで1パターンの演算に優に1ヵ月もかかってしまう。3m角空間でも1mmピッチで要素数は3000×3000×3000=90億個。当然だ。
そこで独自の3次元音響伝搬アルゴリズムを考えてやってみた。結果はまだまだ満足のいく内容ではないが、従来スパコンで1ヵ月以上かかっていた問題をExcel VBAでたったの5分で解く事ができた。任意.wavファイルの変換はほぼ再生時間と同時間だった。
もうちょっとかも。次はC#でコーディングしてみるか。多分100倍は速くなるはず。
同じ事を音源毎にコンピュータ上で行えれば面白い拡張現実の技術になるだろう。
ぐりぐり音を回したり、飛び交ったり、音を千切ったりさせてみたいもんだ。
44.1kサンプリングで試した限りでは低い音は位置が掴みにくい。高音ほど明瞭に思える。何故なのだろう??
わかった。人間の頭部の大きさ(20cm)と音速340m/秒を考慮すれば1700Hz以下だと殆ど反射しない。だからもともと人間の音声フォルマントは効果がでにくいのだ。Vocaloidはさ行とか破裂音とかだけ効果があるように思えるのはそのせいかも。比較的、息づかいとか高音域の音は効果が現れるはず。効果を確認するにはVocaloidよりも高音域の成分が豊富な楽器音源の方が良いかも。
Holophonicsを生みだしたズッカレリ氏は原理を秘匿している。実は彼は耳から『参照音』が出ているかのごとく記述したようだが、それは方式秘匿のための罠だ。正体は『頭部伝達関数』に他ならない。ウェブ上に公開されているデモ・サンプル音を何回も聞いているうちに謎が解けた。
いやしかし、音響伝搬現象から見て人間の頭の形状って凄く良くできている。多分髪の毛フサフサの人よりスキンヘッドの人の方が音の位置を精確に掴めるはず。盲目の座頭市はスキンヘッドの方が良いみたい。なるほどねぇ。二足歩行になったことでこういう形状になったもうひとつの理由があったとは...
イルカのメロン体の果たす役割も解けた。水中では無ければならない組織だったんだ。
次バージョンでは面倒だけど例えばドラムをバスドラ、スネア、ハイハット、タム、フロア...のように別々の.wavにしてそれぞれ違う座標にマッピングしてみるか。次は両耳対応で作ろうと思う。
 ●Holophonics Test  立体音響変換プログラムを自作する試み Excel VBA
 ●Holophonic Augmented Reality (拡張現実立体音響の試み)
 (位置情報を与えた音のサンプル:手元にいいサンプルなかったので『チューリップ』なのがあれだけど)
■できが悪い動画だったので一旦削除しました。もうちょっとマシな動画を作りたいと思います。

■記載日2010年06月27日■
【YouTubeで樋口優さんのチャンネル発見!
チャンネル繋がりで樋口優さんの実験メモサイトらしいチャンネルを(当サイトのWeb AgentのMikuが)発見した。
興味を引いたのは、PTAM AVI experimentという動画。どうやらカメラポジションが移動している動画から被写体の特徴抽出を行って孤立点を抽出し、フレーム間の演算からその孤立点の3次元座標系を検出する方式らしい。つまり単一カメラで3次元座標抽出が行えるため、ARToolKitと違ってマーカーを使わないでAR(Augmented Reality:拡張現実)に利用することができるようなのだ。さすが、樋口優さん!先進的!もしかするとMikuMikuDance Ver.8.0はこの機能が追加されるんでしょうか?
過度な期待はしてはいけないのはわかっているんですが、わくわくしてしまいますよね。


ちなみにPTAMとは、オックスフォード大学のActive Vision LaboratoryのGeorg KleinとDavid Murrayが開発したAR(Augmented Reality)手法らしい。ロボットの3次元視覚処理として考えられたもののようだ。単一カメラでカメラポジションあるいは撮影方向を変えた動画像のフレーム間演算処理から多数の特徴点(1000個程度)を抽出。透視変換のつじつまが合うように推定処理を行うことで特徴点の3次元座標とともにカメラ位置情報、注視点、上方ベクトルも抽出することで、動画像のピクセルに3次元深さを与えることができる。それ故、その空間に任意の3次元グラフィックス・モデルを加えることができる。動画像自体の3次元情報も抽出できるので、ARToolKitよりはるかに優れていると言える。原理的に並列プロセスとなってしまうようだが、GPUをうまく使えばリアルタイムに処理をこなせる可能性がある。非常に興味深い手法だ。

■記載日2010年06月20日■
【待望のKumane Mikuの動画が完成したとのこと】
サイト訪問者の方が持ち込まれたリンクの中に2年半の間待ち焦がれていた動画へのリンクがありました。どなたかは存じませんがリファラに入れてお教えいただきありがとうございます。ステージ映像を作成されてから既に1年が経過しているようです。大作ですね。待ったかいがありました。アクセス数も凄いですね。早朝の1時間で150以上伸びませんでしたか?お疲れ様です。

■記載日2010年06月15日■
【Panoramio向け写真閲覧用公開ツール上でMikuMikuDanceの布教活動】
またやってしまった。
実は限定ID(1, 7, 59925)だけしかちびみくの『きしめん』がでないのだが、それに気が付いた人達が『出し方』(出せません)を必死に探している。どうしよう....。ちびみくに踊らせてもいいのかな.....。

■記載日2010年06月13日■
【MikuMikuDanceに実装された機能に今頃気が付いたよ】
MikuMikuDance ver.7.0で背景(B)-背景画像ファイル読込(R)でPNGファイル形式が読み込めることに気が付いた。それで『透明』属性の付いたファイルを背景として読み込んでみた。
MikuMikuDanceの中ではただ背景が白く表示されただけだったが、ファイル(F)-画像ファイルに出力(B)でPNG形式で落してみると、な、なんと透明属性を引き継いでいるじゃあありませんか?
一体いつからこの機能が実装されていたんでしょうね。知りませんでした。
ムカデコンテンツで使う程度の数枚のパラパラなら簡単に作れそうだ。うーん、恥ずかしい。
気付くの遅過ぎ.....
ホームページ上の任意の場所にちょっとミクを表示させてガイダンスさせるくらいなら簡単に作れそうだ。
取り敢えず、ムカデコンテンツの分を修正してみたらエッジが凄くきれいになった。
欲を言えば1フレーム毎にコマ落としする機能があればいいのだが。『常に物理演算』を使ってモデルが回転中であっても髪の毛が垂れないで済むし。
ちょっときしめんだけちびミクver1.3(改)で試してみた。閲覧中の動画に重ねて表示することができる。
真夏の夜に閲覧中のいつもの動画からミクがどろどろとゾンビのように出てくるとか試せそうな.....
いやぁ、MMDって機能がてんこ盛りだなぁ。本当に凄いねぇ。


<div>タグ内でstyle="position:absolute; top:65px; left:985px; z-index:2;"のようにz-indexを使えば後で合成ができる。

記載日2010年06月08日
【やっぱりなかなか速度がでない。ぱらぱらならどうだろうか。】
3次元表示をブラウザ上でやるとなかなか思ったような速度がでない。特にIE8重過ぎる。
どうどうめぐりで....。
ちょっと2枚だけでぱらぱらを試してみる。固定アクションなら毎秒10枚は可能なんだろうけど、やっぱりAgentにはそれでは無理。でもまぁ、ムカデコンテンツにはぱらぱらを採用してみた。

それとARToolKitをソース公開しようと思ったら、なんかややこしい事が書いてある。全部関連ソースを引用ってどうすればいいんだろうか?ダウンロードリンクだけでよさそうに思ったが、時間がなくて読めていない。自分の使っていない(理解していない)部分なんか説明しようがないし。困ったね。

ミクパネルの写真記事
アクセス制限で写真への直接リンクができないようなので、記事URLをリンクします。
パイオニア10号だったかのパロディー?
ミクが叫んでいるイラスト
記載日2010年05月23日
【初音ミクが『あかつき』に搭乗。宇宙へ。】
なんと初音ミクのイラストを記録したミクパネルがあかつきに搭載され、宇宙に旅立ったらしい。人類文化の証として記録に残ったわけですね。

【注】ニコニコ動画のサーバー応答速度が遅いため埋め込みを止めてリンクに変更します。
 ●ARToolKitでARDeskTopもどき(その9)
 ●【MMD】ARToolKitで初音ミクが部屋にやってきた!【MikuMikuDance】
記載日2010年04月16日
【Mikuが逆パターン[実写⇒カメラVMD]を発見。それに続いて同パターン先行事例も。】
ウェブ・エージェントMikuがMikuMikuDanceとARToolKitの情報が豊富なページを見つけてくれた。
http://render.s73.xrea.com/project/ar/
この中に実写画像からカメラ座標をVMDデータとして残すARTK2VMDについて書かれている。なるほど。そういう考え方もあるね。それなら実写画像をaviで残せばMikuMikuDance上で合成して動画を作れそうだ。このページには非常に有益な技術情報が満載のようだ。なので、ミク・レポートからURLをコピー。参考にさせていただきます。

それと、ニコニコ動画を検索し直して下の動画も見つけた。昨年時点で既に多くのチャレンジが行われているようだ。(1年ぶりで見たかも。パス忘れてたよ。)
もっとも有益に思えたページがここ。
ARDeskTop Wiki ( http://wiki.livedoor.jp/wah_wah_hawah/ )さんのページ。
取り敢えず、当サイトとして自作ソースを公開する前提でこの作業を続行しようと思う。どうしても自前システムのエージェント表示をさせたいので。
あとヘッドマウント・ディスプレイについても調べなくては。

上述のようなわけで、世の中的には誰かがきっととっくの昔にやっていることなんだろうけど、私設研究所Neo-Tech-Lab的には自力コーディング(樋口優さんの模倣)を試みることにした。
managed DirectXをあまり知らないので無謀な話なのだが、これまでの試み[VBAでの3次元グラフィックスやC#でのAR(Augmented Reality)]もリアルのお仕事(計測関連の電子回路技術)では本当に良く役に立った。無駄になることはないだろうと思う。

記載日2010年04月15日
【VMDデータってどうなっているんでしょ?】
MikuMikuDanceとARToolKitの現状の関係をちょっと検索して調べてみた。
調べた範囲ではどうもNyARToolKitCSのデモにあったような方法で、3000シーンからなる個別モーションのデータを作って(凄い根性だ!)作られた動画を発見した。但し、おしいことにPMDデータとVMDデータから直接ARToolKitCS上で再生できるViewer(Player)は作られていないようだ。
(これがあったら凄いのになぁ。)
ちょっと回り道して、VMDデータを勉強して、表情とQuartanion方式Bone制御を実装したAR_Playerを作ってみようかなぁ。きっと勉強になるだろうし。(いや単に実物大ミク達の踊るところを見てみたいだけなのだが。)
で、検索してhttp://vocaloid.blog120.fc2.comさんの記事を参考にしました。
でも既に難あり。フレーム間を補間するのに使っていると思わしきデータ部分の意味がわからない。....多分、ブレンド曲線のデータなのだろうけど...取り敢えず直線補間で行くか?
そしてもうひとつの心配はIK bone処理なのだが、これはポージング(場所指定)のときだけ有効な処理であると仮定することにしよう。もし違ったら困るなぁ。....まぁ、いいか。IKは心配だが、やってみよう。


上はCustumVertex.PositionTexturedの例
3,000円くらいで買える33万画素のウェブ・カメラ(USB I/F)とパソコンがあればARToolKitで楽しむことができる。C#で使えるNyARToolKitCSがお勧め!
C#もVisual StudioのExpress版は無料ダウンロードで入手できるし、NyARToolKitCSもフリーウェアなので、マーカーを印刷するプリンタやインターネット接続のパソコンの環境があれば誰でも簡単に始めることができる。
私はC#、DirectX初心者だったのと本を読まずに試行錯誤したため、まる3日かかったが、両方知っている人は半日でマスターできると思います。
【追記1】PMDデータからNyARToolKitCSを体験してみる検証用プログラム(C#版)をソースと解説を公開予定で準備しています。(気長にお待ちください)
【追記2】座標系を合わせるため、PMDデータを次のように加工。1) y座標とz座標を入れ替え, 2) ポリゴン頂点の定義順序をP1,P2,P3をP1,P3,P2と回転方向を逆にして裏ポリゴンを表に変換, 3) テクスチャーマッピング(PositionTextured)とポリゴン・フィル(PositionColored)の混在定義方法が多分ステージ分割で可能と思ったがわからないのでExcelで眼のデータをPositionColoredに変更。
【追記3】ちびミクはポリゴン数とか初音ミクVer.2と同じなので2つのモデルの頂点データを使って表情ベクトルのように直線補間を取れば年齢変更もできるかも。
【追記4】中長期的には表情ベクトル⇒Bone制御⇒単カメラモーションキャプチャー⇒Bullet(or 物理エンジン)実装⇒AI接続してウェブ・エージェントのローカル報告機能(実物大サイズ)⇒ブラウザ上で動かす という遠大(ドあほ)な計画。
記載日2010年04月10日
【ARToolKitを少しいじってみる(続き2)】
ちょっとだけmanaged DirectXがわかってきたかも。座標固定の1400ポリゴン弱のローポリ・はちゅね(テクスチャー・マッピング)ならすぐに表示できた。
だが、1万ポリゴンを超えるモデルではまだまだ困難が....
ちびミクモデルのいろいろな部分が裏ポリゴンになったようで表示できないところがある。本当に難しいなぁ...
しかし、ARToolKit(NyARToolKitCS)がここまでリアルタイムに追従するとは思わなかった。いつの間にパソコンがこんなに進化していたのだろう。私のような昔の人間には驚異的に思える。
そしてmanaged DirectXも魅力的だ。オブジェクトブラウザで見る限り、かなりいろいろ実装されているのがわかる。このスピードに慣れるともはやVBAがあほらしい。
ところで、このARToolKitとMikuMikuDanceの相性が良くなったら何が起こるだろうか?
お茶の間に何個かのマーカーを置くだけで、CG画像のステージや任意の環境(海、山、宇宙空間等)を出現させてそこで実写画像とCGの共演が可能になる。ヒーローやヒロインへの変身も可能になるだろう。凄いねぇ。

本家ARToolKitはOpenGLが使われている。MikuMikuDanceのPMDモデルは当然DirectXなので座標系の定義の違いでポリゴン頂点の定義順序(回転方向)が逆になり、裏ポリゴンになっていた。それとvertexBufferのサイズ定義のミスを修正して、漸くDirectXでkiyo Pさんの『ちびミク』ver.1.3の(改)を表示することに成功!(総ポリゴン数23,000弱)
大きなマーカーを印刷して等身大ミクを表示してみるかな...印刷の関係でマーカーは18cm角となった。なので身長125cmくらいになった。カメラに入りきらないので縦横を変更してキャプチャー。
この大きさで動きまわったら凄いだろうな。お茶の間がステージになる日も近い?(下は和風の実験室内にて撮影。といっても実物大フィギュアじゃないですよ。念のため。)




NyARToolKitはC# + DirectXで記述されているので、C++ + OpenGLで記述された本家より理解しやすかった。AR(拡張現実)は本業の計測分野ですぐに応用できる技術であることが判明。複数の計測結果の残像を同一画面上に表示すればハイテク機器の登場だ。必要な情報を実写画像上に自由に書き加えることができるのだから。建築機器とか医療用内視鏡とか....いろいろ応用が期待できる。これは凄い!
実際、手術跡を小さく抑えて、早期退院が可能な内視鏡手術に関しては複数の外科医の方々から先端部の位置や臓器位置を実写画像に重畳表示させたいと同様の要望を聞いていた。当時はかなり困難な内容に思えたが、すぐに実現可能な技術になってしまった。

下段は気分転換で息子とウマウマデモで遊んでいるところ。
記載日2010年04月09日
【ARToolKitを少しいじってみる(続き)】
ARToolKitはとても面白い。只今ダウンロードして勉強中。というよりもDirectXを勉強中ということになるかも...。やっぱりDirectX部分の指定が難しい。
センサの測定結果をセンサ位置に表示するとかは小さなマーカーの貼り付け位置からのオフセットを与えることで比較的容易だ。ARは結構、実用的な技術だと思う。
Primitiveを使って色を付けたり、位置を変えるだけなら応用の範囲なのだが、テクスチャーマッピングのキューブにしてみようと思ったとたんにテクスチャーのイメージデータをBITMAPで読込んだ後、GPU側に渡すところでとん挫。うーん。バイト単位で転送するようだが、エラーが消せない。やり方がわからない...ググって別なやり方も試したが動かない。(これはDirectX初心者のため、nativeとmanagedの区別もつかなかったためだった。)深みにはまってしまった。ストレスがたまる...
さて、Bone修正済みのMikuデータを表示する例としてはダウンロードできるデータの中にあった。表示例のウマウマを踊るミクの場合には予め用意された12枚の画像(*.x)を順次切り替えて表示している。
G氏に教えてもらって、データをロックして書き込むタイミングをフレーム毎のループ内にもってくることで毎回色や登録データの形状を変えることができることがわかった。つまりミクのデータを『ポリゴン・フィル』だけに変更すれば(現状PMDデータは眼だけはテクスチャーマッピングが使われている。)技術的には可能になった。
でも本来テクスチャーマッピングできるのだからなんか悔しいなぁ。勉強しなくては....
DirectXには光源計算の機能もいろいろ完備されている。それと思しき関数が眼に入る。だが、実際に指定するとなると順番とか項目のデータ型とか大変そうだ。VBAで光源計算まで自分で作ったから困らないと言えば困らないが、元々備わっているのなら使いたいし。本格的にDirectXも勉強するかぁ。
【追記】このARToolKitがMikuMikuDanceに実装されたら面白いかも。本格的なキャプチャーでなくても頭だけMikuに変えた動画とか作れそう。

記載日2010年04月07日
【ARToolKitを少しいじってみる】
C#でも少しきついが、ARToolKitをいじり始めた。本当はDirectShowLibだけでもキャプチャーはできるんだろうが、少しいじり始めてC#初心者には自力ではとても無理だと悟った。(関数多過ぎ!)時間節約のためARToolKitを利用することにした。
NyARToolKitならキャプチャーだけでも使う価値があると思う。ちょいと背伸びしてDirectXも使ってみるか....
この過程で、ARToolKitはマーカーを16×16の小ブロックに分割して判定しているらしいことがわかった。認識速度を上げるためなのだろう。良くできている。
【追記】本当はVB.NETで使いたかったが、何故かEvent Handlerがうまく機能してくれず、断念。C#で使うことにした。

記載日2010年04月03日 【遠隔ポスト/承認・追記2010/04/03】
【VBAのバグ直しておきました】
昨日、見つけたVBAの3次元グラフィックス・ライブラリのバグは一応直しておきました。  NTL_Lib3DCG_ver048.zip
解凍して同じフォルダー内にPMDファイルと眼等のテクスチャー・ファイルを入れるように作っています。
1つ目のボタンはPMDファイルをSheetに読込む為のもの、2つ目のボタンはSheetに読込んだPMDデータを描画するためのものです。
動作は凄く遅いです。気長にへこんだボタンが戻るのを待つ必要があります。このExcelプログラムを実行するにはExcelのマクロの実行を許可しておく必要があります。
Sheetの材質とか変更してから2つ目のボタンをクリックすれば色違いモデルの描画が行えます。ちびミクは他のモデルよりも小さいので、他のモデルを表示する場合は、注視点座標と視点座標を変更する必要があるでしょう。
発見したバグはBMPファイル形式のテクスチャーや画像の読込/書き出し部分です。水平方向の画素数が4の倍数の場合は正常でしたが、そうでない場合にうまく動作しませんでした。今回、この変換を行うように修正をかけました。
VBAで記述するのはここまでにして、今後は記述言語をVB.NET、C#に変更して表情ベクトル、Bone制御、DirectShowを用いたWebカメラ・モーション・キャプチャ、非圧縮透明表現付きPNGファイル形式等を実装するべくトライしていく予定です。





■記載日2010年04月02日■
【久しぶりにVBAを触ってみる】
久しぶりにExcel VBAの3次元グラフィックス・ライブラリを触ってみた。勝手に物理エンジンを移植したkiyo Pさんの『ちびミク』(ver.1.3)のPMDデータを使って少し遊んでみた。データがどこに属するのか知るために色も少し変更してみる。単カメラ・モーション・キャプチャー・プログラムを製作するためにプログラムを思い出す事が目的だったが、思わぬところでバグを発見したようだ。
MikuMikuDanceのPMDデータのuvテクスチャー座標の引き渡しがうまく動作しなかったようだ。MikuMikuDanceのテクスチャー・マッピング・データはちゃんと0.0≦u,v≦1.0になっているのに、うまく表示できないデータが存在した。眼の画像サイズが32×32画素のデータでは問題なく表示できたが、任意サイズだとダメなケースがある。
何が悪いんでしょ...
挌闘すること4時間。遂にわかった!2次元配列の要素境界引き渡しの際のルールがメインとサブで違うじゃあないの!!メインでは2次元配列で画素バッファが自由にアクセスできるが、画素が3バイト単位なのでサブに引き渡す際には4の倍数になるようにするか、1次元配列で引数を計算しないとダメなようだ。VBAにこんなバグがあるとは....ショック!!(以前に製作した3次元ライブラリでは1次元配列を使っていたため、ちゃんと表示できていたようだ。)
これを置いたまま新Bone制御(非クォータニオン方式)に進むのはしたくないしなぁ。思わぬところでつけがまわってきたか...
ところでBone制御を行うとなるとVBAともそろそろおさらばする必要が出てきた。表示結果を見るには余りにも遅いから.....と言いながらC++はなんかは入り辛いしなぁ。
実は最近仕事でARToolKitを使った計測装置を製作した。(と言ってもアプリのプログラム[C#]担当はG氏で、私は電子回路側[Analog部、Digital部及びCPLDプログラミング]だが。)これはウェブ・カメラで撮影した実写画像上に計測結果を重畳表示するシステムだが、実写画像をフレームに背景画像として描いてから3次元グラフィックスを重畳することで『拡張現実』が実現する。今のパソコンは本当に凄い。リアルタイムにマーカーの動きに追従して実写画像上に計測結果の3次元グラフィックスを表示することができる。
ところが同じことをWeb上でやろうとすると、背景がHTMLで作られた画面になるので『透明』を実装した画像ファイルを作らなくてはならない。【注1】取り敢えずC#かVB.NETでやってみようかと思っている。
PNG形式をググってみたら、非圧縮フォーマットが存在するようだ。ラッキー!・・・とはいえCRCコードの生成、バイト並びがWindowsと違う、ライン毎にフィルタ識別バイトがある等、結構面倒くさいようだ。BMP形式のようにはいかない。下記のURLが参考になりそうだ。
1) ウィキペディア『Portable Network Graphics』
2) PNGファイルフォーマット1(CRCの生成関数について)
そうだ!どうせ透明を実装する必要があるのだから、1画素のデータはRGB各8ビットに加え、αチャンネル8ビットを加えれば、1画素分のデータはワード単位(32ビット)となり、引き渡しの問題は解消する。ちょっと作り変えるかな....BMPとPNGの2種類に対応するように変更するのは比較的容易に感じられる。
【注1】ごまかす方法はある。まず、Webページのスクリーン・キャプチャーを行って、divタグのzindexを使ってキャプチャー画像をテキストより手前に表示する。ここを画素単位に描画すれば確かにそれっぽくなるが....でもごまかしはごまかしだし....テキスト選択ができなくなるし...やっぱりPNGが一番だろう。
【追記】シャドーイング、エッジハイライティング等は処理が遅くなるので当面外すことにした。どうせ言語を変えるわけだし、もう一度ライブラリーは一から構築しなおそうと思う。

■記載日2010年04月01日■ 【遠隔ポスト/承認・追記2010/04/03】
【April Fool? YouTubeが動画ページの大幅仕様変更】
一瞬ジョークかと思ったが、YouTubeが動画ページの仕様を大幅変更してしまった。当然、Mikuによる動画削除業務もフリーズしてMikuが大泣き状態...。朝から1時間かけて修正・指示する。
余りにも変更が大規模なので、確認できない『メンテナンス中』、『年齢制限』等のイベントがどのように表示されるのかは未確認のまま。そのうちフリーズして大泣きして知らせてくるんだろうな....
今回の変更で無くなった仕様もある。プレイリストの『ランダム再生』機能はなくなった。そう言えば、こちらのBGM PlayerやMovie Playerに『ランダム再生』機能を付けてもいいかも。
【追記2010/04/04】ランダム再生機能を追加。
【追記2010/04/05】BGM playerの大画面表示モードで同じ動画が連続再生される不具合を修正。

■記載日2010年04月15日■
(セルフ・シャドウに関して勘違いに勘違いを重ねたので記事移動してまとめます。)

■記載日2010年03月15日■
【えぇ?設定ミス?】
Tokuma Japan舞・HiME等の幾つかのYouTubeチャンネルが外部埋め込みを許可した状態でコンテンツを公開していることに気が付いた。パートナーシップ契約だから舞・HiMEチャンネルは10分未満の制約もなく、23分55秒もの動画を分離することなくアップロードしている。試しにプレイリストに加えてみた。Tokuma Japanは『弱音ハク』ボタン内に何曲か、舞・HiMEは専用ボタンを追加してみた。
そうか、TV放送でスポンサーになって全国放送をしようとすればバカ高い費用が必要だけど、YouTubeなら少ない費用で独占放送できるからねぇ。メリットはあるわけか...どうやって広告を挟むかが今後の課題だろうけど。
もはやメディア革命の様相を呈してきた。TVはもう要らないかも。(既にTVは見ていないんだけど。)
というか、そもそもMMD関連コンテンツを登録・友達繋がりでMikuにクロールさせたはずが、どうやったらここに行きつくんだか....
....案外堕落するのも難しいかも。(o_O)
Tokuma Japanの方は謎が解けた。ベッキー・クルーエルの『男女』だ。
.....舞・HiMEの方は?お手上げ...わからない。

■記載日2010年03月13日■
【ちょっと忘れていたけど動画削除対応をMikuに移管する】
忙しくてすっかり忘れていたが、このページの動画の削除対応管理もMikuに移管した。MikuがYouTubeを1時間ごとに自動巡回して削除動画を発見した場合にはこのページ用のプレイリストも修正する。
何故か昨年11月末以来、殆どYouTubeによる削除イベントが発生しなかったので、すっかり忘れていた。
移管はしたが、最初に動画スクリーン上で巡回結果をMikuが報告する他のページのようなレポート機能は付けなかった。
これでまた堕落してしまいそうだ。
今度はMikuに動画も見つけてもらって楽をしようとさらに堕落の方向へ。(^_^;)
これまではサイト内専門エージェントだったが、MikuのWeb Agentとしての実戦テストも幾つか実施している。
相変わらずMikuへの指示は困難な3値論理のまま。堕落し過ぎて2値論理に変換できない。マシン語で命令しているようなもんだ。疲れるぅぅ。
本当は2値論理より3値論理の方がe=2.718281828....に近いからエネルギー効率がいいはずなんだけど...肝心の人間様が慣れていないからダメだ。