2016-12-13

Hapticが今面白い

Hapticが今、主に僕の中であついです。触覚のVRとでも言うのでしょうか。
飲み会で話したりするんだけど、どこかにまとめときたいなと。

VR元年ってよばれるくらいで、HMDで視覚を再現できるようになってきてます。視覚と聴覚の再現性が上がってきて、
技術的に可能なもので次に何を再現したくなるかってことで、触覚が来てるんじゃないかと。

ちなみに以前こんなのやってたりしていて、嗅覚も面白いというか、積極的に参加してまして。匂いは色みたいにRGB出せればいいわけじゃなく、まだ嗅覚は匂いカートリッジという物質が必要で、、。制作サイドがwebでコンテンツを公開出来るようにはならない。映像も音は再生ハードさえ揃えば後はコンテンツ次第なので簡単に公開できる。
触覚はアクチュエータの振動で再現可能ってところ（もちろん他の方式も沢山あるのですが）。ディスプレイ、スピーカーみたいにハード側が整えば、触覚もデザイナーの領域になってきて、サイトで触感ファイルをダウンロードってなるかもなーと…。

最近のHaptic情報

TECHTILE toolkit

日本ではTECHTILE toolkitが一番有名でしょうか。触楽入門も触覚の教科書として勉強させて頂きました。巻末の触覚年表も面白かったです。

触楽入門

作者: 仲谷正史,筧康明,三原聡一郎,南澤孝太,是澤ゆうこ
出版社/メーカー: 朝日出版社
発売日: 2016/01/15
メディア: 単行本（ソフトカバー）
この商品を含むブログ (5件) を見る

Oculus Touch Haptic APIドキュメント

先日発売されたばかりのOculus Touchでは320Hzの振動をオーディオバッファとしてコントロール出来るようになっています。Unityからもオーディオクリップを再生出来るようになってます。

CRI HAPTIX

多くのゲームで使われていることでも有名なCRIWARE。の触覚再現ミドルウェアが最近発表されました。 Android限定ですが、バイブレーションを細かく制御することで、オーディオのタイムラインに置くのと同じ感覚でいじれるようになったみたいで。
ゲームの中の効果音と同じような感覚で、スマホが揺れるようになるかもってこと。
電車の中でゲームする人はヘッドホン付けずにゲームする人が多いので。実は音より振動の方が重要になるかも。って思ったりするわけです。

TouchSense® Design Cloud

CRI HAPTIXでも使われているらしい、immersion社が運営する、クラウド上でHaptic Effectsファイルをシェアする試み。
Webエディタも付くのかな？やはりプラットフォームを作ったところが強いと思うんす。デバイスはコンテンツありきなので。

iPhone7 TAPTIC Engine

iPhone7はホームボタンが、物理ボタンから振動デバイスによる仮想的なボタンに変わって、ボタンを押したというフィードバックをTAPTICデバイスでしてる。そしてTAPTICになって表現力が断然に上がった。↓比べてる動画

iPhone 6s Plus Taptic Engine vs iPhone 6 Plus Vibration Motor

TAPTICについてはこちらの記事が面白かったです。
iPhone 7のTaptic Engineが今後のスマホインターフェースを変えるかもの話 - FICC Workbook

OpenHaptics

Haptic demo in Unity using OpenHaptics with Phantom Omni

Phantom Omniは結構昔からあって、これ系はサーボでモノの動きを制限したりらしいです。 OpenGLぽいAPIで作られてて、Unity用のライブラリもあるらしい。

HapTONE

SIGGRAPH 2016 Emerging Technologiesにも出展していたHapTONE

HapTONE: Haptic Instrument for Enriched Musical Play -SIGGRAPH 2016 Emerging Technologies-

未来科学館DCEXPOで実物にさわる機会が合ったけど、楽器によって鍵盤の触感が全然変わる。
ピアニストに試してみて欲しい。

IEEE World Haptic Workshop 2015

World Haptic Workshopいうイベントもあるみたい。行ってみたいなー。

2016-12-12

OSCをjavascriptから贈りたい時に。

javascript osc

JavaScriptからMax/MSP, Ableton Live, SuperColliderなどなどの連携で
OSCを使いたいときもきっとあるかと思います。いつかまた自分でも使うと思うのでメモです。

すでにライブラリもあったのですが。
send("/address_a/address_b" ["thevalue", 1, 2, 3]);
のようなAPIが多く、そこそこの量を送るんだったら構造化したobjectを直接送ったほうがいいだろうなーと思ったので作りました。

コマンドラインの使い方は

#  websocket_osc_bridge.py websocket_port osc_port
websocket_osc_bridge.py 7776 7777

JS側ではobjectをjsonにして送る

var websocket = new WebSocket("ws://localhost:7776");

var msg = {
  test : [123,456],
  aaa : {
    bbb : 'boo',
    ccc : 'bar'
  },
  list: [
    {
      ddd : 1,
      eee : 2
    },
    {
      ddd : 3,
      eee : 4
    }
  ]
};
websocket.send(JSON.stringify(msg));

それでこんな感じにOSC受け取れます。

> /test [123,456]
> /aaa/bbb ['boo']
> /aaa/ccc ['bar']
> /list/ddd [1]
> /list/eee [2]
> /list/ddd [3]
> /list/eee [4]

その他のライブラリとかはこちらに。 WebSocket to OSC bridge

2016-04-28

展示・サイネージ用のMacをMackerelで監視する

よくよく展示だかサイネージだかでMacを導入するのですが

立派な一台のサーバーなわけで。安定運用したいのです。
Macが起動しなくなってたら教えてほしいのです。

だけど、サーバーエンジニアがやってるようなちゃんとしたのはめんどくさいな。
作るのそこじゃないから。見積もり増えるし。

って要件で色々調べてたところ、先輩エンジニアが作ってたmackerelがなんか良さそうと。

mackerel.io

homebrewでMacにもインストールできる
専用コンソールでステータスを見れる
プラグイン形式で独自のステータスを投稿出来る
デフォルトで、CPU、メモリ、ディスク空きとかは監視
普通のpostリクエスト形式でも投稿できる
コンソールが他のよりおしゃれ
slack連携ある

※ 展示用だと5台の範囲に収まるので、無料の範囲でも結構楽しめるけど、
一応有料サービス。このシステム作る工数分かなり浮くので。これの運用費も払ってくれない案件だったら、落ちてもいいってことで使わなくていいんじゃないかな…。

１．homebrew使ってインストール

一番homebrewをつかってインストールするのが簡単そう。
Mackerel で MacBook のバッテリー残量を記録する話 - ちなみに
こちらを参考にすればほぼ大丈夫かと。

２．homebrewも使わないでインストール

展示だとまっさらな状態のMacにしたいことが多いので。バイナリからインストールする場合はこちらを参考に。
mackerel.io

自動起動にするには、

# でLaunchDaemonsに登録
sudo launchctl load -w /Library/LaunchDaemons/job.mackerl.plist

サンプル活用例：Macの温度をマカレルに送る。

例えば、MacのCPU温度を監視するとか。
GitHub - asus4/mackerel-osx-cpu-temp: Outputs current CPU temperature for OSX

mackerel-agent.confに以下を足せばプラグインになります。プラグイン作るのも簡単。

[plugin.metrics.cputemp]
command = "/PATH_TO/mackerel-osx-cpu-temp"

カスタムメトリクスを送る。

Unityとか、oFのアプリからの値をポストも出来ます。
アプリのfps監視して50以下になった時に、自分のslackチャンネルとメールに警告送る。
とか出来ます。

github.com
よく使いそうなoF作りました。

github.com
よく使いそうなUnity作りました。

安定稼働がんばります。

2016-04-20

Adobe Fuse CC (Preview) → Mixamo → Unityでアニメーション

Unity

Adobe Creative Cloud入ってたら使えるFuse, Mixamoが面白かったので。
Creative Cloudは色々面白そうなソフトが入ってるので積極的にあそんでいきたい。

gyazo.com

Fuseは簡単にキャラクター作れるソフト。
Mixamoは簡単にアニメーションが作れるソフト。
モブキャラはこれでもいいかな。

Fuseでキャラ作り。

Fuse (Preview)版をクリエイティブクラウドからダウンロード。
作るの、テンプレートから色々選ぶだけ。
RPGゲームでアバター作ったことある人なら誰でも出来そうなくらい簡単。

右上のSave Mixamoボタンで、Mixamoへ書き出しが出来る。
書き出し前に、髪か体とかのテクスチャの解像度を最大まであげとくほうがいいはず。

Mixamo

Mixamoにアップロード終わると、自動で動いてる！
Facial BlendShapeをenabledにしておくと、Unityに取り込むときに、顔のパラメーターが全部設定された状態で見れる。
さらに、モーションを色々検索して使える。使いどころのないモーションが多いけど…たまに使えそうなのもある。

MixamoからUnity用の"FBX for Unity"を選んで書き出す。

Unityへ。

FBXインポートすると、マテリアルが、Mixamoの独自shader前提になってる気がする。特にまつげ。
でも、Unity5のStandard Shaderでも不透明にしてって、まつげだけ透明にすれば。大丈夫だと思う。冒頭の絵のやつは、Toon Shader+ライティング。

BodyのSkinned Mesh Rendererに、ブレンドシェープ項目が沢山出てくる。いじると色々な表情を作ることが出来る。
１個気をつけなきゃならないのは、パラメーターの範囲は0~1じゃなくて、0~100。思い込みで0~1でアニメーションさせてて、全然動かんってはまった…。あとはFacePlusに連携させてアニメーションさせたり。自分でアニメーションさせたり自由に遊べるよ。