次のステップは、これらのオプションを使用して実際にカメラフィードを引き込むことです。このために、MediaStream APIを使用します。これは、ローカルオーディオおよびビデオストリームからデータを引き込むことができるJavaScript APIのセットであり、攜帯電話のカメラストリームを入手するのに最適です。特に、getUsermedia関數(shù)を使用します。 MediaStream APIはまだ「W3Cエディターのドラフト」にあり、ブラウザとはわずかに異なるブラウザーが実裝されています。このデモは主にGoogle Chrome for Mobileに焦點(diǎn)を當(dāng)てていますが、將來(lái)の互換性のために、ユーザーの現(xiàn)在のブラウザで動(dòng)作するものをnavigator.getusermediaに割り當(dāng)てます：

video<span>,
</span>      canvas<span>,
</span>      context<span>,</span>

<span>var scene,
</span>      camera<span>, 
</span>      renderer<span>,
</span>      element<span>,
</span>      container<span>,
</span>      effect<span>,</span>

video<span>,
</span>      canvas<span>,
</span>      context<span>,</span>

カメラフィードをシーンに入れます

themes <span>= ['blackandwhite', 'sepia', 'arcade', 'inverse'],
</span>      currentTheme <span>= 0,
</span>      lookingAtGround <span>= false;</span>

ページでカメラストリームを再生した後、ビデオデータの操作を行うために使用するJavaScriptにキャンバス要素を作成します。 Canvas要素自體がページ自體に追加されることはなく、JavaScriptのままです。

<span>init();
</span>
  <span>function init() {
</span>    scene <span>= new THREE<span>.Scene</span>();
</span>    camera <span>= new THREE<span>.PerspectiveCamera</span>(90, window.innerWidth / window.innerHeight, 0.001, 700);
</span>    camera<span>.position.set(0, 15, 0);
</span>    scene<span>.add(camera);
</span>
    renderer <span>= new THREE<span>.WebGLRenderer</span>();
</span>    element <span>= renderer.domElement;
</span>    container <span>= document.getElementById('webglviewer');
</span>    container<span>.appendChild(element);
</span>
    effect <span>= new THREE<span>.StereoEffect</span>(renderer);
</span>
    element<span>.addEventListener('click', fullscreen, false);</span>

次に、ストリーミングビデオ映像を含む3つのテクスチャを作成し、キャンバス要素を渡します。作成されたCanvas要素のコンテキストにコンテキスト変數(shù)を設(shè)定し、Canvaのコンテキストにテクスチャのコンテキストを割り當(dāng)てます。すべてを同期に保ちます。

<span>if (window.<span>DeviceOrientationEvent</span>) {
</span>    <span>window.addEventListener('deviceorientation', function(evt) {
</span>      <span>if (evt.gamma > -1 && evt.gamma < 1 && !lookingAtGround) {
</span>        lookingAtGround <span>= true;
</span>        currentTheme <span>= (themes.length > currentTheme+1) ? currentTheme+1 : 0;
</span>
        <span>setTimeout(function() {
</span>          lookingAtGround <span>= false;
</span>        <span>}, 4000);
</span>      <span>}
</span>    <span>}.bind(this));
</span>  <span>}</span>

次に、平面とビデオフィードを使用してテクスチャを使用して3 -meshオブジェクトを作成します。 Z軸に-600を配置し、それを視野から遠(yuǎn)ざけ、3つのシーンに追加します。別のサイズのビデオフィードがある場(chǎng)合は、Z位置を調(diào)整して、形狀がビューポートを埋めることを確認(rèn)する必要がある場(chǎng)合があります。

video <span>= document.createElement('video');
</span>  video<span>.setAttribute('autoplay', true);
</span>  
  <span>var options = {
</span>    <span>video: {
</span>      <span>optional: [{facingMode: "environment"}]
</span>    <span>}
</span>  <span>};</span>

init（）関數(shù)の最後に、animate（）関數(shù)が表示されます。これは、ビデオ畫像の処理を行う場(chǎng)所です。

<span>var scene,
</span>      camera<span>, 
</span>      renderer<span>,
</span>      element<span>,
</span>      container<span>,
</span>      effect<span>,</span>

フィルターの適用

animate（）関數(shù)は、Context.drawimage（）：

video<span>,
</span>      canvas<span>,
</span>      context<span>,</span>

それはそうです：

themes <span>= ['blackandwhite', 'sepia', 'arcade', 'inverse'],
</span>      currentTheme <span>= 0,
</span>      lookingAtGround <span>= false;</span>

次のテーマはピクセルを反転するので、白は黒などです。畫像にX線スタイルを提供します：

それはそうです：

<span>init();
</span>
  <span>function init() {
</span>    scene <span>= new THREE<span>.Scene</span>();
</span>    camera <span>= new THREE<span>.PerspectiveCamera</span>(90, window.innerWidth / window.innerHeight, 0.001, 700);
</span>    camera<span>.position.set(0, 15, 0);
</span>    scene<span>.add(camera);
</span>
    renderer <span>= new THREE<span>.WebGLRenderer</span>();
</span>    element <span>= renderer.domElement;
</span>    container <span>= document.getElementById('webglviewer');
</span>    container<span>.appendChild(element);
</span>
    effect <span>= new THREE<span>.StereoEffect</span>(renderer);
</span>
    element<span>.addEventListener('click', fullscreen, false);</span>

セピアのテーマは、ウェブ上のさまざまな場(chǎng)所で見た式を使用して、畫像にセピア、古い學(xué)校の色の感觸を與えます。また、各ピクセルに赤、緑、青のランダムレベルを追加することにより、畫像にノイズを追加します。 Sepia経由のピクセルが255よりも大きな色レベルになる場(chǎng)合、私は255でそれをキャップします

それはそうです：

最後に、すべてのエフェクトの私のお?dú)荬巳毪辘扦?！畫像をピクセル化してレトロな世界のように見える「アーケード」スタイルのスタイル。この効果を?qū)g現(xiàn)するために、David DesandroとJohn Schulzによって緊密なPixelateプラグインを調(diào)整しました。プラグインの元のバージョンは、インライン畫像を変換し、ピクセル化されたキャンバスバージョンに置き換えます。代わりに、私のバージョンはキャンバスデータを取得し、同じキャンバスとコンテキストに戻すため、ライブビデオに使用できます。調(diào)整されたバージョンは、プラグインページのパラメーターと同じパラメーターをすべて受け入れます。上記の他のフィルターよりも少し遅いため、調(diào)べる時(shí)間があれば最適化される可能性があります。今のところ、私は少し遅れて大丈夫です、それをもっとレトロに感じさせます！そのフィルターに新しいオプションを適用しようとしている人のためのメモ（例えば、世界を代わりにダイヤモンドに変える） - それはさらに遅れることができます！

<span>if (window.<span>DeviceOrientationEvent</span>) {
</span>    <span>window.addEventListener('deviceorientation', function(evt) {
</span>      <span>if (evt.gamma > -1 && evt.gamma < 1 && !lookingAtGround) {
</span>        lookingAtGround <span>= true;
</span>        currentTheme <span>= (themes.length > currentTheme+1) ? currentTheme+1 : 0;
</span>
        <span>setTimeout(function() {
</span>          lookingAtGround <span>= false;
</span>        <span>}, 4000);
</span>      <span>}
</span>    <span>}.bind(this));
</span>  <span>}</span>

それはそうです：

最後に、3.jsの次のフレームで更新するテクスチャを設(shè)定します（何らかの方法で間違いなく変更したため）。また、3つのシーンを更新および再送信するためのコードを?qū)g行します。

<span>var scene,
</span>      camera<span>, 
</span>      renderer<span>,
</span>      element<span>,
</span>      container<span>,
</span>      effect<span>,</span>

それはhttps time

です

2015年後半の更新 - この記事に戻って、かなり重要な情報(bào)の新しいビットを追加します。Chromeでは、カメラを使用したWebページがHTTPSで提供されることが必要です。したがって、これを?qū)g行しようとする前に、HTTPSを介してサービスを?qū)g行する方法を見つける必要があります。これまでにテストに使用した方法の1つは、Ngrokです。これは、LocalHostにHTTPSトンネルを提供できます。 SitePointのどこからでもローカルホストにアクセスするガイドがあります。 アクション中

ウェブカメラなどにアクセスできるようにするには、サーバーをローカルで実行するのではなく、サーバーでホストする必要があるようです。テストのために、ngrokを使用して攜帯電話でMacからテストしました。それ以外の場(chǎng)合は、どこかでWebサーバーにftpをftpしてテストしてください！

Google Cardboardまたは他のVRヘッドセット內(nèi)で実行すると、最初から白黒フィルターを使用して周囲の環(huán)境が表示されます。地面を見下ろすと、フィルターを切り替える必要があります。とても楽しいです！以下は、アクション中の小さなアニメーションGIFです（ヘッドセットの外側(cè)で表示されているものが表示されます）：

結(jié)論 Google Cardboard、HTML5、JavaScript、およびThree.jsのパワーを組み合わせることで、仮想現(xiàn)実だけに限定されない非常にきちんとした可能性をもたらします。カメラの入力を使用して、あなたの周りの世界をシーンに持ち込むことができます！この最初のアイデアを発展させることができる他の領(lǐng)域がたくさんあります。シェーダーを使用して3.js自體を介して畫像をフィルタリングし、拡張現(xiàn)実オブジェクトをシーンに追加することもできます。將來(lái)の記事で説明する2つのアイデア。

このデモに基づいて本當(dāng)にきちんとした経験をしている場(chǎng)合は、コメントにメモを殘すか、Twitter（@thatpatrickguy）で私と連絡(luò)を取ります。 JavaScriptとGoogle Cardboardに関するよくある質(zhì)問(wèn)（FAQ）

Web開発プロジェクトにHTML5をARとARに統(tǒng)合するにはどうすればよいですか？

HTML5を拡張現(xiàn)実（AR）と統(tǒng)合することは、AR.JSのようなライブラリを使用して達(dá)成できます。このライブラリを使用すると、特定のアプリを必要とせずに、Webブラウザーから直接アクセスできるARエクスペリエンスを作成できます。 Aフレームまたは他の3Dモデリングソフトウェアを使用して3Dモデルを作成し、AR.JSを使用して、デバイスのカメラを介して表示されるときにこれらのモデルを現(xiàn)実世界にオーバーレイできます。これは、數(shù)行のコードで行うことができ、初心者でもアクセスできるようにします。

ARエクスペリエンスの作成におけるJavaScriptの役割は何ですか？

JavaScriptは、ARエクスペリエンスを作成する上で重要な役割を果たします。これは、AR要素の動(dòng)き、ユーザーの入力への反応、または時(shí)間の経過(guò)とともに変化するなど、AR要素の動(dòng)作を制御するために使用されます。 JavaScriptを使用して、ユーザーの位置と方向の追跡や複數(shù)のARオブジェクト間の相互作用の管理など、より複雑なタスクを処理することもできます。

Google Cardboardは、Virtual Reality（VR）プラットフォームで、折りたたみ式の段ボールビューアとスマートフォンを使用しています。 JavaScriptを使用してWebVR APIを使用して、Google Cardboardの沒入型VRエクスペリエンスを作成できます。 WebVR APIは、3Dシーンをヘッドセットにレンダリングし、ユーザー入力を処理し、VRディスプレイを管理するために必要なツールを提供します。 HTMLはWebページのコンテンツを構(gòu)築するために重要ですが、ARアプリケーションを作成することはできません。 AR機(jī)能を処理するには、JavaScriptおよび潛在的に他のライブラリを使用する必要があります。ただし、AR.JSのようなライブラリはこのプロセスをはるかに簡(jiǎn)単にすることができ、數(shù)行のコードでARエクスペリエンスを作成できます。 > HTML5をARと統(tǒng)合するための多くの潛在的なユースケースがあります。たとえば、ユーザーが購(gòu)入する前に家具が自宅でどのように見えるかをユーザーが確認(rèn)できるARショッピングアプリを作成できます。または、実際のオブジェクトに情報(bào)をオーバーレイする教育アプリを作成し、學(xué)生がよりインタラクティブな方法で學(xué)習(xí)できるようにすることができます。 HTMLはWebページのコンテンツを構(gòu)築するために重要ですが、ARアプリケーションを作成することはできません。 AR機(jī)能を処理するには、JavaScriptおよび潛在的に他のライブラリを使用する必要があります。ただし、AR.JSのようなライブラリはこのプロセスをより簡(jiǎn)単にすることができ、數(shù)行のコードでARエクスペリエンスを作成できます。

JavaScriptの「フィルター」プロパティは、要素に適用されたフィルターを設(shè)定または返すために使用されます。これには、ぼやけ、明るさ、コントラスト、グレースケール、色相、反転、不透明、飽和、セピアなどのようなものが含まれます。 Webページにさまざまな視覚効果を作成するために使用できます。

JavaScriptを使用してARエクスペリエンスを作成するにはどうすればよいですか？それらがどのように移動(dòng)するか、ユーザー入力に反応する、または時(shí)間の経過(guò)とともに変化するなどのAR要素。 AR.JSのようなライブラリは、このプロセスを簡(jiǎn)素化でき、ほんの數(shù)行のコードでARエクスペリエンスを作成できます。

ARエクスペリエンスにGoogle Cardboardを使用できますか？

Google Cardboardは主にVRエクスペリエンス用に設(shè)計(jì)されていますが、適切なソフトウェアでARにも使用できます。 JavaScriptとWebVR APIを使用して、Google CardboardのARエクスペリエンスを作成できます。 。たとえば、ユーザーが購(gòu)入する前に家具が自宅でどのように見えるかをユーザーが確認(rèn)できるARショッピングアプリを作成できます。または、実際のオブジェクトに情報(bào)をオーバーレイする教育アプリを作成し、學(xué)生がよりインタラクティブな方法で學(xué)習(xí)するのを支援することができます。