AR FoundationをEditorでも動かす その2

【unityプロ技】 Advent Calendar 2019 - Qiita 6日目の記事です。*1 はじめに - ARFoundationとは 何を作った? 使い方 1. NDIのインストール 2. iPhoneに送信用アプリをインストール 3. macとiPhoneをUSBでつなげる 4. 再生する ARFoundationを中身を見て…

TensorFlow LiteをUnityから動かす その2

TensorFlow LiteのUnity Pluginを使い MNIST, SSD, DeepLab, PoseNetなどの基本的なものを動作させるサンプルを作りました

NativeArray<T>を高速にシリアライズ/デシリアライズ

高速化TIPSです。以前、ARKitの顔の頂点のデータをUnityEditorに送るプログラムを書きました。 mobile.twitter.com この様なことができます。 UnityEditorには毎フレーム以下のデータを送っています。 public NativeArray<Vector3> vertices; public NativeArray<Vector3> norm</vector3></vector3>…

Tensorflow LiteをUnityで動かす

前回のBarracudaに続きTensorflow LiteをUnityで動かしてみました。 Unity上で学習するのはML-Agentで十分で。私の用途では、軽量、複数のプラットフォーム(iOS, Android, macOS, Windows)で動作可能なUnityのプラグインが必要でした。Tensorflow Liteはコ…

Unity製MLライブラリBarracuda

Unity上でMachine Learningについてリサーチしています。Unity上でMLというとUnity社が開発しているML-Agentsが最初に出てくると思います。Tensorflowとの連携ができ強化学習などのサンプルが多く見れます。 GitHub - Unity-Technologies/ml-agents: Unity M…

Alexa-Voice-Service AVS対応スマートスピーカーを作ったときのこと

去年になりますが、Alexa-Voice-Service (以下AVS)対応スマートスピーカーのプロトタイプを作ったのでメイキングです。Alexa-Skills-Kit(ASK)の記事は多く出ていますが、AVSの情報はASKにくらべて少ないので、なにか参考になる部分があれば幸いです。 ハー…

Unity AR FoundationをEditor上でシミュレーションする方法

iOS13が公開されたことで、beta版をインストールしなくてもUnityでARKit3の新規のHuman Segmentaionなどが使えるようになりました。対応端末はiPhone X以降です。 実験としてこのようなアプリを作ってみました。 電子書籍のジャニーズになれるアプリを作りま…

CoreMLの練習にDepth PredictionができるmacOSアプリをつくりました。

github.com 近頃macOSを開発に全く使ってなく、面白そうなアップデートに全く追従できていなかったので、サンプルが少ないCoreMLをmacOSから使うアプリを作りました。GitHubのReleasesからビルド済のアプリをダウンロードできます。PythonのMLライブラリ等と…

UnityからWebRTCで動画を送る選択肢

Google Stadiaが発表されて、いいGPUを積むよりもレンダリングは全部サーバー側で頑張って、クライアントでは早いネットワーク表示するだけな時代が来ていますね。2019年10月時点での選択肢を調べてみました。 github.com Unity Japanチームが開発している。…

2019年前半に公開したOSS

GitHub - asus4/facial-landmark-annotation: Facial landmark annotation tool 動画の中の顔のランドマークを半自動で読み込み、ずれている部分は手作業で修正するツール。 初、Vuex - Typescript class base対応 Developing a facial landmark annotation …

2018年に公開したGitHubリポジトリ

2018年にGitHubに公開したツールなどをまとめました。 (頑張った感を出すためにフォークして少しだけ改良や、メンテしただけのも含む) unity-timeline-sync GitHub - asus4/unity-timeline-sync: Synchronize multiple Unity Timeline via UDP 複数UniyのT…

保育園の送迎を助けるLine Bot

ex-Kayacアドベントカレンダーの5日目です。 ​​昨日の投稿は堤修一さんの技術書の著者になるためにやったことでした。 近況 ​​本題に入る前に、近況を ​​2011年にカヤックに新卒で入社。Flasherとして入社するはずがiPhoneにFlash非搭載事件があったので、何…

調教なしで歌声合成できるSinsyを試してみた

ボーカロイドに似ているけど調教なしでもいい感じの歌を生成できる技術Sinsyを試してみました。マルコフ連鎖 - HMM 方式らしいです。(あまり詳しい事は書けない) こちらのサイトで、MusicXML形式ファイルをアップロードすると、サーバーで音声にして返して…

ベルリンに引っ越しました。

ベルリンへ引っ越してきて一ヶ月と少し経ちました。 直接会った方には話したものの、報告出来ていなかったのですが、先日やっと3年間のフリーランスビザが出たので報告です。 9月から一家3人、私、妻、息子(1歳)でベルリンに引っ越してきました。一ヶ月くら…

Google Chromeのハードウェア連携機能

IoT(もう古いかな)のような仕事をしていると、たまにWindows7でしか動かないドライバなどを頂いたりします。良いものを作る時にクリエイターが実機でトライアンドエラーを繰り返す回数が重要だと思っていて。私の周辺のデザイナー/音楽家はまだまだmacOS率…

OpenCV 3.4.0 with contrib ビルドのメモ。(Windows編)

ビルド済みの普通のOpenCVをpythonでも使いたい!って場合は、Anacondaで神のサイトからwflをダウンロードが時短できておすすめ。 私の用にOpenCV自前ビルドやりたくないけど、、CUDA入りdll作りたいしって人達の参考になれば。 ツールのダウンロード 以下の…

CESでラスベガスに行ってきてた話

先月2018年1月、気になっていたCESに初めて行ってきました。仕事です。SxSWのときも行ってきて色々感じたことがあったはずが、結局文章にせずにいて、勿体無いけど今更書くのもな~となったので、若干今更と言われようともCESのこと書こうかと。 家電業界の…

同じネットワークにあるUnityアプリのタイムラインをマルチキャストで同期する

マルチキャストを使ってみたら、IPアドレスの設定必要なく、シンプルで便利でした。 同じネットワーク内で起動しているUnityアプリのタイムラインの時間をUDPで同期するサンプル。 一応ブロードキャストもサポートしてます。 github.com マルチキャストにつ…

Webカメラの機能比較

Webカメラはどれを使おうか迷うのでいつかの自分へのメモ

再帰性反射で目立たないマーカーを作ってみる

案件で検証したものの結局違う方法を使ったので、お焚きあげ。 オブジェクトをWebカメラでトラッキングしたいという相談があったので、古き良き手法のマーカートラッキングを試してみました。 OpenCV3のcontribリポジトリに含まれるArUcoを使いました。普通…

全天球動画にAmbisonics再生

360度動画のサラウンド再生について勉強する機会があったので、まとめておきます。 Ambisonics アンビソニック 概要 4chのマイクを正四面体の配置に並べて、頭をぐるぐるまわしてパンニングが変わっても再生できるって技術です。 Ambisonicsの概要はこちらが…

WIP ノリノリで加速度センサを振ったときのテンポをJSで推定する

js

加速度センサをリズムに合わせて振ったときにBPM解析できるかなーと試してみたログです。 いっつもBeatDetectionはライブラリの中をちゃんと読まずにつかっていたので、一度しらべてみました。 調べると、自己相関 Autocorrelationというものがあるらしく、…

アルプス電気 ハプティック®の展示コンテンツ

去年の仕事ですがやってた仕事をブログにもちょっとずつまとめとこうと。 ALPSSHOW 2016, CEATEC JAPAN 2016で アルプス電気 様のハプティック®の展示をお手伝いしました。 CEATEC アルプス電気さんのブースで、展示中の触覚再現できる、パプティックデバイ…

Unity Editorでグラフを表示するAttribute

UnityとセンサーをUARTでつなげる。センサーの値で動くコンテンツを作るような仕事が多く。 時系列で変化する値を観測するときに、グラフで確認できると捗ります。 今までは別のデバッグ用シーンを作って確認したり、Debug.Logで頑張ったりしていたのですが…

toio コンテンツのプロトタイプ開発に参加させていただきました

プロジェクトサイト first-flight.sony.com https://first-flight.sony.com/pj/toio クラウドファンディングで、商品を予約できます。ぜひぜひー! コンセプトムービー www.youtube.com トイオ・コレクションムービー www.youtube.com 東京おもちゃショーで6…

360°動画にイメージマップ的に画像を貼り付ける

360°動画の中の扉を自由に出入りしたいという要件があって、どうやって実現しようかと調べていたら、 Unityエディタ上で直接ポリゴンをつくれて、4点を指定すると、歪みを計算して、ポリゴンを配置してくれる素敵ライブラリを見つけました。 使い方はテラシ…

Kml.swift

iOSアプリは本業ではないのですが、たまにswiftなお仕事頂いたり、プロトタイプ用のアプリ作ったり。Macのアプリもよくよく作るので、申し訳程度にswiftやってます。 ちょっと前ですが、 Kml.swiftというKmlパーサーを作ってたのでブログにも書いときます。 …

Raspberry Pi / Python3 / OpenCV3 Tracking Sample

先日のTrackingサンプルをRasPi + Python3で実験。解像度おとしてるけど、やっぱり重いかも。 youtu.be ソースはこちら。OpenCV3でかなりAPIが変わったぽくて、Python3 + OpenCV3な情報が少なかった。 gist.github.com 参考リンク opencv_contrib/tracker.py…

Cinder / OpenCV3 Tracking Sample

Cinderで、OpenCV3 のTracking APIを試してみました。

ESP32 ネットワーク周りの設定をしらべる

プロトタイプを作るときにESP32いいですよね。 akizukidenshi.com 秋月電子で1個1,480円 安くて高性能なので、ネットワーク使わない案件でも選択肢に入るんじゃないかと。 ESP32はBluetooth/2.4GHz Wifiモジュールが付いてるので簡単にIoTっぽいことが初め…