Onnx RuntimeをUnityで動かす

Onnx Runtimeをネイティブプラグインとして、Unity上で動かす実験とサンプルを公開しています。 github.com 開発の動機 4年前に、TensorFlow LiteをUnityで動かす実験を初めて、 はじめは全くの趣味で始めたものが、今では海外からいただく相談の半分以上が…

Unity ARFoundaitonを録画してUnity Editorで再生する方法

ARFoundationReplayというARを録画してUnity Editor上で再生するライブラリを開発中です。 GitHubリポジトリはこちら↓ github.com ARFoundaitonReplayで出来ること Unity Editor内で動作するAR Foundationです。ARを録画した専用動画をEditorで再生すること…

GoogleのARハッカソンでBest賞をもらいました

GoogleのGeospatial APIを使ったARハッカソン。Google’s Immersive Geospatial Challengeで、友人の音楽家 Twothと一緒に制作したARアプリが、AR | Best of Entertainment & Events というARのエンタメ部門で1位の賞をもらいました。 GoogleのDeveloperブロ…

Gorillaz presents… Skinny Ape

お仕事報告。Nexus Studiosのかたに声をかけてもらい、NYタイムズスクエアとLondonピカデリーサーカスでみれる、GorillazのARコンサートアプリの技術調査を少しだけお手伝いされていただきました。 www.youtube.com フルクレジットはYoutubeのDescriptionに。

KAGAMI

坂本龍一とTin DrumのxRコンサートKAGAMIのVFXを担当させていただきました。 https://theshed.org/program/299-kagami-by-ryuichi-sakamoto-and-tin-drum factoryinternational.org コンサートはアメリカ、ニューヨークとイギリス、マンチェスターで開かれま…

Unityでデバイスのスペック詳細を簡単に調べるユーティリティ

完全なリモートワーク歴も4年超。遠隔でテストしてくれている人の端末、特にAndroid、でだけ動かないという経験をした人も多いともいます。 オフィスにある端末なら直接出向いて調べる、相手がエンジニアならスペック詳細送ってくれ、とできますが、エンジ…

読書ログ 2022

2021年に三体を読み終えたあと、宇宙熱が高ぶっていたためかなり偏った読書履歴になりました。 宇宙、素粒子物理学、とか 宇宙はどこまでわかっているのか 宇宙はどこまでわかっているのか (幻冬舎新書)作者:小谷太郎幻冬舎Amazon 重力波望遠鏡の状況など、…

ドイツ カッセル 旅行 (ドクメンタ)2022.9

ドクメンタという5年に一度だけドイツのカッセルという都市で開かれる世界でも有数の現代美術の展覧会に行ってきました。 旅行記なので、ドクメンタについての積極的な批評はありません。 wired.jp ドクメンタの展示については友人である日比野さんの記事が…

スペイン サン・セバスティアン 旅行 2022.8月

夏休みは以前から興味のあったスペイン サン・セバスティアンに行ってきました。 ベルリンからサン・セバスティアンへの直行便はないので、ベルリン→バルセロナ→サン・セバスティアン→マドリード→ベルリンというルートで行きました。 バルセロナ コロナはど…

フランス リヨン 旅行 2022年5月

2022年5月に行ったフランス南西部リヨンの記録です。

お仕事まとめ 2022

2022年にやったお仕事のまとめです。 Lyric Speaker : Cotodama & Whatever Co. かれこれ2014から開発に関わっているので、かれこれ9年目!! 今年はLyric Speaker Boxという新モデルを発売しました。見た目は初代のモデルと似ていますが、コストを削減する…

オープンソース活動記録 2022

TensorFlow Lite Unity Sample 開発当初はTensorFlow Liteの公式モデルをUnityで動かすサンプル。で開発をはじめましたが、今では、Unity向けに最適化されたTensorFlow Liteのライブラリと C#バインディング、各種Delegate(GPUなどを使った高速化オプション…

ビザ更新してきました。

2018年にベルリンに引っ越して3年が経ったので、ビザを更新してきました。 …3年あっという間でした。3年経ってやっとドイツの生活も(コロナも)落ち着いてきたという感触があり、まだベルリンに住んでいたいぞと思い更新です。 ビザの更新にも審査があり、…

TensorFlow LiteのGPU delegateを高速化する

今月は仕事の空き時間はずっとTensorFlow Lite C-API上でのGPU delegateの高速化に取り組んでいました。高速化といっても、GPU delegate内部に手を付けるのではなく、CPU → GPU間をデータ転送するときの転送待ち時間をなくす作業をしていました。 GPUでの計…

ステイホーム中に使ってみたサービス in ベルリン

2020年4月に初めてのロックダウンを開始したベルリン。そして2020年12月から続いていた長いロックダウン。今週、半年ぶりにようやくレストランで食事ができるようになりました。一年もすると様々なサービスの流行りが変わってきていて、面白いことになってき…

2021年の目標

2021年も、もう12分の1が過ぎようとしているあたりで、あまりの早さに焦りつつ、一年の目標を公開して見ます。 「ブログで沢山アウトプットする!」「英語を頑張る!」的な曖昧なやつじゃなく、株式会社の決算レポートみたいに2020振り返り分析+目標設定の…

ベルリンに来て2年 雑記

ベルリンに引っ越して来たのが2018年9月末。ベルリンに来て1年の記事は書きそびれてしまったのですが、2年のメモを残しておきます。 ↓2年前ベルリンに来たときの記事です。 asus4.hatenablog.com ↓ベルリンの子育て事情や、生活のふと気づいたことなどは、…

MediaPipeのpre/post-processメモ

GoogleのMediaPipe良いですね。コア部分はTensorFlowLiteでできていて、Pre/Postプロセス部分をUnityで書き直すことで移植できました。まだ勉強中ですがメモ。 github.com ↓ こんな感じでUnity上で動作してます。 Face Tracking and Blaze Face FaceMesh fro…

NeumorphismなUIをUnity uGUI上につくる

DrribleやPinterestでよく見るデザイントレンドになっているNeumorphism。 とてもおしゃれに見えますが、みんなMaterial Designに飽きてきて、目新しさ目当てで流行ってるだけちゃうのという意見もちらほら目にします。私も懐疑派でした。 一方でこんな意見…

TensorFlow LiteとUnityでカメラアプリを作って公開しました。

こちらからダウンロードできます! AnyFilterKoki IbukuroPhoto & VideoFreeapps.apple.com 去年の年末頃からUnity上でTensorFlow Liteを動かして遊んでいます。その中でできたプロトタイプをTwitterで公開したところ↓思いの外評判が良かったので、誰でも試…

AR FoundationをEditorでも動かす その2

【unityプロ技】 Advent Calendar 2019 - Qiita 6日目の記事です。*1 はじめに - ARFoundationとは 何を作った? 使い方 1. NDIのインストール 2. iPhoneに送信用アプリをインストール 3. macとiPhoneをUSBでつなげる 4. 再生する ARFoundationを中身を見て…

TensorFlow LiteをUnityから動かす その2

TensorFlow LiteのUnity Pluginを使い MNIST, SSD, DeepLab, PoseNetなどの基本的なものを動作させるサンプルを作りました

NativeArray<T>を高速にシリアライズ/デシリアライズ

高速化TIPSです。以前、ARKitの顔の頂点のデータをUnityEditorに送るプログラムを書きました。 mobile.twitter.com この様なことができます。 UnityEditorには毎フレーム以下のデータを送っています。 public NativeArray<Vector3> vertices; public NativeArray<Vector3> norm</vector3></vector3>…

Tensorflow LiteをUnityで動かす

前回のBarracudaに続きTensorflow LiteをUnityで動かしてみました。 Unity上で学習するのはML-Agentで十分で。私の用途では、軽量、複数のプラットフォーム(iOS, Android, macOS, Windows)で動作可能なUnityのプラグインが必要でした。Tensorflow Liteはコ…

Unity製MLライブラリBarracuda

Unity上でMachine Learningについてリサーチしています。Unity上でMLというとUnity社が開発しているML-Agentsが最初に出てくると思います。Tensorflowとの連携ができ強化学習などのサンプルが多く見れます。 GitHub - Unity-Technologies/ml-agents: Unity M…

Alexa-Voice-Service AVS対応スマートスピーカーを作ったときのこと

去年になりますが、Alexa-Voice-Service (以下AVS)対応スマートスピーカーのプロトタイプを作ったのでメイキングです。Alexa-Skills-Kit(ASK)の記事は多く出ていますが、AVSの情報はASKにくらべて少ないので、なにか参考になる部分があれば幸いです。 ハー…

Unity AR FoundationをEditor上でシミュレーションする方法

iOS13が公開されたことで、beta版をインストールしなくてもUnityでARKit3の新規のHuman Segmentaionなどが使えるようになりました。対応端末はiPhone X以降です。 実験としてこのようなアプリを作ってみました。 電子書籍のジャニーズになれるアプリを作りま…

CoreMLの練習にDepth PredictionができるmacOSアプリをつくりました。

github.com 近頃macOSを開発に全く使ってなく、面白そうなアップデートに全く追従できていなかったので、サンプルが少ないCoreMLをmacOSから使うアプリを作りました。GitHubのReleasesからビルド済のアプリをダウンロードできます。PythonのMLライブラリ等と…

UnityからWebRTCで動画を送る選択肢

Google Stadiaが発表されて、いいGPUを積むよりもレンダリングは全部サーバー側で頑張って、クライアントでは早いネットワーク表示するだけな時代が来ていますね。2019年10月時点での選択肢を調べてみました。 github.com Unity Japanチームが開発している。…

2019年前半に公開したOSS

GitHub - asus4/facial-landmark-annotation: Facial landmark annotation tool 動画の中の顔のランドマークを半自動で読み込み、ずれている部分は手作業で修正するツール。 初、Vuex - Typescript class base対応 Developing a facial landmark annotation …