VR・MR・AR システム

 

  ARを活用した作業ガイドと作業記録のサポートシステム
端末 iPadなどのタブレット端末とPC
技術 openCV、AR技術、Unity Unet
概要 特長 タブレット端末で利用可能な「ARマニュアル」や「ARナビゲーション」のアプリケーションと、ノンプログラミングでマニュアルなどを作成・編集可能な「ARコンテンツジェネレータ」をパッケージ化しています。複雑な作業が求められる生産現場はもちろん、生産現場以外の複雑な管理工程においても、本サポートシステムが大幅な業務効率化を実現させます!
→ 生産現場の複雑な作業工程(設備の操作やメンテナンス作業など)において、熟練作業員でなくても対応できるように作業をガイドし、作業ミスの防止に貢献!
→ 作業履歴のデジタル化により、記録の負担を大幅に減らせるため、作業の省力化と業務効率化を実現!また、熟練作業員の技術継承もサポートできます!
→ 「ARコンテンツジェネレータ」がコンテンツを作るので、「ARマニュアル」と「ARナビゲーション」の活用が簡単に!
ご参考 デーモ①デーモ②

 

  MRフレームワーク
端末 Microsoft HololensとPCという、様々な作業現場で導入しやすい組み合わせで実現
概要  現場空間とデータ空間を融合させて、「作業現場における直観的で正確な作業の完全ガイド」を目的とした包括的システム
「IOTのセンサーを活用した現場の不具合などの情報収集」、「MR技術を活用した直感的でスピーディーな作業手順のMR映像での提示」、そして「AIを活用した高速かつ効率的な判断」、これら3つを融合させた高度なシステム開発を、弊社はサポート致しました。
特長 MRとAIが有するポテンシャルを最大限に活用して構築され、「あらゆる作業現場をわかりやすい作業手順で直感的にガイドできる」画期的なシステムで、作業効率を大幅に改善します!
Mixed Realityが、実際の作業場所におけるMR空間上に、作業対象となる機器を指し示しながら「わかりやすい作業手順」を表示させ、
作業者の正確な作業を直感的にガイドして行きます。さらに、本部サイドとの映像を介した高度な情報共有までも、操作負担なくシームレスに実現しています。
IOTを通じて得られる情報から、現場作業者を通じて得られる情報まで、AIがそれらの膨大な情報に基づいて高速かつ正確に判断し、作業者にその後のしかるべき作業の流れを素早くガイドします。
ご利用いただける機能の具体例 あらかじめ用意した手順書、本部からの緊急な指示などを、Microsoft Hololensを通じて、作業対象となる機器を指し示しながら、作業者が直感的にわかるように表示
作業現場との間で、映像と音声による、リアルタイムでの高度なコミュニケーション(文字、イメージ、動画、オブジェクト、矢印などを使った作業の指示で、複雑な作業手順も一目瞭然!)
Microsoft Hololensのカメラで作業現場を撮影し、オブジェクト認識のAIにより、その現場にある各種メーターや機器・プラントの操作盤など(オブジェクト認識が可能な対象物)に表示されている数値を認識・記録(確認作業・記録作業における人為的ミスを防ぎ、作業を効率化!)

 

  ARKitとARCoreの技術を利用した、リアルタイム同期ARフレームワーク(自社プロダクト)
端末 iPhone、Android端末のどちらでもご利用可能
技術 openCV、 AR技術(ARKit, ARCore)、Unity Unet
概要 実際の空間を上記端末のカメラにて撮影し、それをAR空間にして好きなキャラクターを表示させられます。さらに、マルチ端末においても、LAN経由でキャラクターの位置と動きをリアルタイムで同期することができます。下記のご参考映像を是非ご覧ください。
特長 フレームワークとして開発しており、お客様側でゲームなどに応用可能!(キャラクターの位置と動きをマルチ端末でリアルタイム同期させて、臨場感あふれるバトルゲームなどが可能)
単純な比較として、ポケモンGOでは、「AR空間上でモンスターをゲット」できますが、マルチ端末での位置と動きのリアルタイム同期に対応していないため、「AR空間上でモンスター同士がバトルすることは不可能」ですが、このフレームワークでは可能です!
自分の端末のカメラで撮影した実際の空間をAR空間にできて、「いつでも、どこでも、バトルができる!」を、弊社のフレームワークが支えます!
ご参考 このリンクをクリックしてください!

 

  VRフレームワーク(自社プロダクト)
端末 VRグラス( oculus go、oculus rift、windowsMRに対応)
概要 特長 VR空間をマルチ端末で同期できるVRフレームワークです。インターネット経由により、VR空間上のオブジェクトの位置や動きを同期でき、使用ユーザーとVR空間上のアバタ―を同期させられます。
このフレームワークは通話機能を用意していますので、端末同士でリアルタイムコミュニケーションが可能です。
応用例 工場の危険な場所での作業、通常は見ることができない機械や装置の内部の修理など、実際に何かを見せながら説明したり、体験させたりできたらと思っても、それを実際にすることが難しいケースがあります。
そのようなケースでは、事前にわかりやすく説明することも、何かを体験させることも極めて困難ですが、このVRフレームワークでは、それを可能にします。 自動車、鉄道、飛行機などの修理の手順、工場の生産活動や管理方法の手順などを、グローバルに共有し、さらに体験させるところまで、サポートができるフレームワークです。
グローバルに展開してきた今までの会議、Eラーニングのあり方さえも、大きく前進させるお手伝いをミラボがさせていただきます。
ご参考 マルチVRShootingLeapMotionデーモエンジン研修デーモ
教育分野業務システム

 

  大手英会話教室のために開発した、通常学習モードとVR学習モードを備えた英会話学習モバイルアプリ
概要 一問一答の練習ではなく、テーマや場面別に長い会話が設定され、大きな流れの中での会話力が自然と向上していきます。
テーマは、会話相手の国(イギリス、アメリカなど)、スポーツ、天気、ファッション、食文化、旅行など、そして、質問の選択肢から選んだ回答から、さらに会話が発展するように構築されています。
また、お手本となるテキストと音声データを、字幕再生の操作などで、視覚と聴覚のセットで学習でき、Vocabulary単位やSentence単位でも、ユーザーが自由に練習できる設計になっております。
特長 英会話をテーマや場面別に長い会話の流れの中で学べる設計で、記憶に残りやすい場面をVRによりバーチャル空間に再現し、ジェスチャーや表情を交えたコミュニケーションによる練習を実現!
運営者が自ら簡単に学習内容を作成・更新可能!(Excelを使ってコンテンツをアップデート可能)
Rule Base AIが学習ログと学習結果をまとめ、次回の学習プランを自動的に提案!
建設業界業務システム

 

  地所ボリュームチェックアプリ
概要 新たに建築する建物の3Dモデルを自動的に表示し、さらに、その建物のレイアウトを自由に設定することができるモバイルアプリシステムです。
いつでも、どこでも、便利に利用できるので、お客様との打ち合わせと意思決定をスムーズにします。
何階建てにするかから、玄関、リビング、台所などの各部屋の配置、そしてドアの位置を決めることまで、レイアウトを自由自在に調整できます。
特長 新たに建築する建物の3Dモデルを自動表示!
建築会社様がお客様と建物の設計の打ち合わせをする際に便利なツールとして活躍!
建築に関する日本の法令に基づき、建ぺい率はもちろん、日影規制まで強力にサポート!

 

  ARとAIと3D化技術を利用して部屋の内装を自由に設定できるモバイルアプリシステム
概要 AR技術に基づいて部屋をARモード(iPhone、iPad)で撮影し、3D化技術を使って、実際の部屋を正確に3Dモデル化します。
画像解析ディープラーニング(AI)技術により、実際に配置されている家具を解析します。その解析に基づいて、家具データベースから類似家具を提示させて、その家具も3Dモデルの部屋に表示できます。
ドアや窓の位置、壁の色や壁紙の種類、家具などを、自由に楽しみながら設定可能です。
特長 AR技術を使って実際の部屋を正確に3Dモデルにし、お客様が検討中の家具の配置を可視化!
モバイルで、いつでも、どこでも、簡単に、部屋の間取りや内装の設定が自由自在!
高機能対応 ★自分で設定した家具の配置をSNSで共有(インテリアコーディネーターに自分の配置設定のカウンセリング相談など)
★アプリ内でのコミュニケーション機能の追加(家具販売やインテリア関連企業の店舗ページとの連携など)
研究、検証業務システム

 

  脳外科手術シミュレーションのAIシステム
概要 有名国立大学の研究者と協力して開発された、複雑な脳外科手術の判断や手技を、3D化技術を活用して直感的にシミュレーションできるAIシステム
特長 症例に対する最適な手術の手順を、PC上で再現可能です!
単に3D化された患部を確認できるだけではなく、「頭蓋骨のどこに穴を空けて」「実際に脳ヘラを使って」「血管を移動させて」手術するかのように、とても具体的に脳外科の手技や操作を疑似体験できます!

 

  脳外科手術の技術向上を目的とした研究・教育のための、視点座標と映像利用に関するシステム(Tobbi Proグラス2 端末との連携システム)
概要 UDPで映像データをストリーミング通信
OpenCVを使って、Tobbi Proグラスから入手した視野映像内に、大型モニターに貼り付けられたARマーカーを認識して大型モニター枠を取得し、さらに、視野映像の座標系から大型モニターの座標系に変換
時間同期:Tobbi Proグラスのシングルタイムシステムとリアルタイムシステムを同期
映像同期:HDMIケーブル経由に入手した大型モニターの映像データと変換された被験者注視点座標を同期
特長 アイトラッキング装置から取得された被験者の注視点座標を、視野映像の座標系から大型モニターの座標系に正確に変換!
大型モニターに映る映像において、被験者の注視点を重畳させた映像(合成映像)を表⽰し、また、記録までサポート!
脳外科手術のみならず、人間の注視点座標を取得して活用することが求められる、あらゆるケースに応用可能!
Eコマースサイト、販売とローン管理

 

  Eコマースサイト向けに販売を効率的に管理する業務システム
概要 店舗登録自体も簡単にでき、販売する商品を登録する際には、業務システムの共有データにある既存商品データを利用できる便利な機能を追加しました(新商品登録以外の場合、 また、その商品データを共有させるかどうかは販売者側で選択可能)。
ユーザー目線での安心感をご提供するために、商品の配達会社の伝票番号の表示や、お問い合わせ機能にもご対応しております。
管理画面 決済システム(3Dセキュアでのクレジットカード決済)に連動して、売上と在庫も瞬時に把握でき、任意の期間での売上のグラフ化、商品やカテゴリー別の売上と在庫のグラフ化も簡単操作で見やすく表示可能です。また、お客様のレビューを整理して、活用する機能も備えています。
特長 海外顧客向けに日本の商品を販売するEコマースサイトに適応した業務システム!
商品の登録、在庫管理、決済、商品の発送まで、それぞれの場面における使いやすさと見やすさを追求!
クレジットカード決済を3Dセキュアにより構築して、安全と安心をご提供!

 

  販売とローン管理を一括管理できる業務システム
概要 ローン決済の管理システムとして、販売側はリアルタイムに売上と在庫、そしてローン販売までスムーズに管理可能(ローン決済されるお客様側の銀行口座は多くの銀行との連携を実現)!
管理画面 決済システムに連動して、売上と在庫も瞬時に把握でき、任意の期間での売上のグラフ化、商品やカテゴリー別の売上と在庫のグラフ化も簡単操作で見やすく表示可能です。
Unity3D技術を利用したゲーム開発

 

  モバイル向けソーシャルゲームの開発・運営
概要 新感覚のアクション・タワーディフェンスゲーム
自分の戦闘チームを自由に作り上げて、ゾンビと戦うゲームで、お互いに友だちの承認をし合ったプレイヤーからも戦闘員を借りて戦うことができ、ゲーム内のグループでメッセージを自由にやりとりできるコミュニティーも完備しています。
KPIを分析して、ガチャとアイテムの設定やイベントなどで活性化を図りながら、ゲーム運営を行いました。
ご参考 GOTCHA WARRIOR By: THE ONE OF THEM

 

  カジュアルアクションゲーム(自社プロダクト)
概要 人気ゲーム「Lead Of Legends」のファンに向けて開発した3Dミニバトルゲーム 搭載されたルールベースAIとの対戦や、プレイヤー同士の対戦が手軽に楽しめます。
ご参考 Battle of Legends

 

  VRヘッドセットを利用した3Dレースゲーム(ゲームセンター向けに開発)
概要 実際のレース環境を3Dにて再現し、VRヘッドセットとハンドルコントローラーを使った、臨場感あふれる直感的なレースゲーム

 

  ARと3D化技術を利用したモバイル向けゲームおよびアプリ (自社プロダクト:無料)
概要
AR空間にいる恐竜を探し、捕まえて、コレクションするゲーム
スマートフォンでの撮影時に、AR空間上に恐竜を出現させて写真を撮ることができる、カメラ機能を使って遊べるアプリ(恐竜の配置、体の向き、ポーズ、移動まで制御可能)
ご参考 Pocket CatchDinosuar3DArcore

 

  パズルゲーム(自社プロダクト)
概要 7×7の格子のゲームボード上に、同じ数字のブロックが繋がるように操作して、その数字のブロックをゲームボード上から消していくゲーム
ご参考 Block Puzzle
医療介護分野 業務管理システム

 

  介護施設向け業務管理システム
特長 業務の時間短縮と効率化、省力化までもサポートします!
現場で端末(iPad、タブレット)を使えるようにWEBシステムにて構築
介護スタッフが通常業務をしながら、端末(iPad、タブレット)をいつでも、どこでも使用可能
端末(iPad、タブレット)の入力しやすさ、使いやすさを最大限に追求
高機能対応 ★画像認識技術(ディープラーニングを活用したAI)による入力支援機能への対応
★簡単な音声認識への対応
管理データと機能等のご紹介 入居者の病歴や健康診断結果などを含む個人情報
入居者の「バイタル」「衛生状態」「水分・食事」「排泄」等のデータやコメントの簡便な入力と管理
一定の時間軸でデータをまとめて、そのデータをグラフ化可能(CSVファイルにてアウトプット)
介護スタッフ、看護師の勤務と入居者担当状況の管理
緊急連絡機能を含む、メンバー同士の連絡システム(チャットツール、タイムラインにコメントなど)
スマートスピーカーアプリ

 

  スマートスピーカーにおける「医師・専門家への医療相談を自動化する」アプリ
端末 GoogleHome, Alexa
技術 Nodejs, Alexa skill kit, DialogFlow
概要 スマートスピーカーのAIが、音声アシスタント機能を通じて、医師・専門家への医療相談として必要になる相談内容を確認・整理し、自動的に文字情報にして、医療相談サイトへの転送まで行うアプリです。
特長 ユーザーはAIからの質問に答えるだけ!医療相談に必要な文字化や転送手続きは、すべてAIが代行します!
AIは、ユーザーからの相談内容に対して、あらかじめ定義されたシナリオに基づき、適切に応対と質問を行って相談内容をまとめます。また、このシナリオはシナリオファイルにて簡単に設定できるため、編集と追加が容易です。
「医師の問診部分をスマートスピーカーによって事前に簡便に行える」ため、ユーザー側だけでなく、医療機関側にも大きなメリットをご提供できております。
開発のポイント あるアプリを、グーグルホームでもアレクサでも変わりなく機能するようにケアするのは、実はとても大変なことなのですが、ゼロから開発する能力を有する弊社では、細かい部分もきちんとケアさせていただきます。
スマートスピーカーの音声の日本語認識のケアは、大変複雑な設定が必要になりますが、これらをケアしないことには、サービスの利便性も向上しません。
弊社は音声アシスタントの認識の設定について、基本的な部分をきちんとご案内させていただいて、お客様側で設定方法がわかるレベルまでケアさせていただきます。