аⅴ资源中文在线天堂,成人白浆超碰人人人人

?? ????

?? ??

Openai Realtime API : ????? ???

Jennifer Aniston

Mar 03, 2025 am 10:38 AM

?? ?? ? OpenAi ??? API? ?? ?? ??? ??? ?? ?? ??? ?? ????? ?? ? ? ????. ? API? ???? ???? ?? ?? ?? (LLMS) ?? ??? ?? ?? ?? ??? ?? ? ????. ? API? ??? ?? API?? ??? ???? ????? ?? ?? ??? ???? ?? ?? ??? ???? ????. ??? ?? ??? ??? ?? ??? ??? ??? ??? ???? ??? ????? ??? ?????.

. ? ????? OpenAi ??? API? ???? ?? ?? AI ??? ???? ??? ????. Node.js? ???? ???? WebSocket ??? ??? ??? ??? ???? API? ???? ??? ?????. ??? API? ??? ???? React ? ??? ?????. WebSockets? ?? ??? API? ???? OpenAI API? ?? ?? ??? ?? ??? API? WebSockets? ?????. Websockets? ?????? ?? ?? ??? ?? ??? ???? ?? ???????. HTTP?? ???? ??? ??-?? ??? ?? Websockets? ???? ??? ?? ??? ?????. ?? ?? WebSockets? Voice Chat? ?? ??? ?? ????? ?? ?????. ? ??? WebSockets? ?? ??? ??? ??? API? ?? ???? ? ?? ?? ?????.?

??? node.js? ????? ???? ???????. ??? ?? ?? ?? ? ????? Node.js? ?????? ??? ? ????. ???? ???

? ?? ??? ??? ?? .env ??? ??? ??? ?? ????. ?? ?? ???? ?? ??? ???? ????? ??????.

? ??? ????? ??? ?? ??? ??????.

??? ?? ? ?? ???? ???? ??????

WS : ??? API? ?? ???? ? ??? ?? ??? ? WebSocket ??????. <: :> dotenv : .env ???? API ?????? ???? ???.

??? ???? ??? ??????

??? api ? ?? ??? API?? ??? ????? API URL? ???? ? WebSocket ??? ????.

??? ??? ??? ????? ?? ??? API? ?? ? ?? ??? ????? ?? ?????? ????. ??? ??? ???? ?? ???? ??? ? ??? ??? ??? ? ????. Open ???? ???? ??? ???? ????? ?? ??? ??? ? ????.??? ???? ????? ?? ??? ??? ????.

?? & lt; event & gt; ???? ??? ???? ??? ? & lt; function & gt; ???? ??? ? ??? ?????.?

npm init -y && touch index.js

??? ???? ???? ???? ??? ??? ????.

? ??? ????? ?? ??? ?????

API ?? ???? ???? ???? "??? ??"???? ?????. ??? ??? ?? ???? ????? ?? ????? ???? ???????.

???? ?? ? ? ??? ????? WebSockets? ??? ? ?? ? ??? ? ?? ???? ??? ??????. ??? ???? ???? ?? ? ??? ??????. ?? ? ? ???? ???? ??? ???????

????? ???? ??? ???????. ??? ??? ? ? API? ???? ???? ?????. ?? WebSocket ???

npm install ws dotenv

?? ??? ??? ???? Open ? ??? ???? ???? ??? ?????. Websockets? ??? ??? ??? ? ?? ?? ???? ?????.

?? ???? ??? ?? ? ??? ???? ? ??? ? ????.

?? ???? ????? ? ??? ???? ? ?????.

// Import the web socket library
const WebSocket = require("ws");
// Load the .env file into memory so the code has access to the key
const dotenv = require("dotenv");
dotenv.config();
function main() {
  // Connect to the API
  const url = "wss://api.openai.com/v1/realtime?model=gpt-4o-realtime-preview-2024-10-01";
  const ws = new WebSocket(url, {
      headers: {
          "Authorization": "Bearer " + process.env.OPENAI_API_KEY,
          "OpenAI-Beta": "realtime=v1",
      },
  });
}
main();

??? api ? ?? ?? WebSockets? ????? ??? ?? ???? ??????????. ???? ?? ???? ??? ???? ??? ???? ????? ??????? ?? ? ? ????.?

??????? ??? ??? handleOpen () ?? ????????. o ??? ??? ? ?? ?? ??? ???? ?? ?? ??? ??? ? ???? ??? ?????. ?? ?? ???? ???? ???????. ?? ??? handlemessage () ??? ??????? ???? ???? ?? ??? ????? ???????. ??? ???? handleOpen () ? handlemessage ()? ?????? ?? ??? ????.

??? API? ???? ???? ??? ????? ??? API?? ??????? ???? ???? ?????. OpenAI ??? ?? API? ???? ???? ?????. ??? ???? ?? ??? ?????. ???? ??? ??? ?? ? JSON ??? ?????. ??? ??? ?? ??? ????. item.item.create ????? ??????.”????? ?????.”? ???? ? ??? ???? ??????.

? ???? API? ??? ??? ???????? ????. ??? "input_text"??? ???? ??? ??? ???? ??? ????? ?????. ??? ws.send () ???? ???? ???? ????. ? ?? ???? ??? ???? ????? JSON.stringify () ??? ???? JSON ???? ???? ???????. ???? ??? ?? ???? ?? ??? ??? ??? ????.

??? ??? ????? API? ???? ??? ???? ?????? ????. ??? ?????? ??? ????. ?? ??? ????.

npm init -y && touch index.js

? ???? Modalities Response ?? ??? ???? ??? ??? ?????. ??? ??? ????? ???? ?? ??? ?????.? ?? ???? ???? ???? ???????. ???? ? ???? handleOpen () ??? ????. ??? ?? ? ??? ??? ????????. ? ???? handleOpen () ??? ?? ??? ??? ????.

?? ???? ?? ??? ??? ??? ????? ? ?? ??? ???? ????. response.text.delta, response.text.done ? response.done ??? :

response.text.delta ????? ?? ??? ??? ?? ? ??? ???? ????. ??? ??? ??? ??? ????? ?? ? ?????. ??? ??? ??? ?? ???? ? ? ?? ?????.?

npm install ws dotenv

response.text.done ???? ??? ??? ?? ???? ??? ??? ?? ??? ?????. ??. ???? ??? ?? ?????

handlemessage () ??? ??? ?? ???? ????? ??? ???? ????? ??? ??? ? ????.

? ???? ?? .text.delta ???? ???? ????? ? ??? ?? ?? ???? ?????. ??? ???? response.text.done ???? ????? ??? ?????? ???? ?? ??? ?? ?????. ????? ??? ??? ? ??? ????. ? ??? ?????? ??? ?? ??? ??? ?? ?? ???? ?????.

??? ????? ????? ?? ??? ?????. "? ???? ? ??? ???? ??????."?

// Import the web socket library
const WebSocket = require("ws");
// Load the .env file into memory so the code has access to the key
const dotenv = require("dotenv");
dotenv.config();
function main() {
  // Connect to the API
  const url = "wss://api.openai.com/v1/realtime?model=gpt-4o-realtime-preview-2024-10-01";
  const ws = new WebSocket(url, {
      headers: {
          "Authorization": "Bearer " + process.env.OPENAI_API_KEY,
          "OpenAI-Beta": "realtime=v1",
      },
  });
}
main();

??? ??? ?? ??? ???? ??? ? ????. ??? API? ???? ???? ??? ????? ?? ??? ??? ???? ???? ??? ???????. ??? ??? API? ?? ???? ??? ????? ???? ?? ?????? ??? ????. ??? ??? ??? ??? ???? ??? ??? ?? ? ?????. ???? ??? ?? ???? ??? ???? ? ? ???? ??? ?????? ?? ? ?? ?? ??? ?? ? ????. ??, ??? ? ?? ???? ????? :

npm init -y && touch index.js

node-record-lpcm16 ?? ????? ?? ? ??? ????? ???? ?????. ???? AI ?? ??? ???? ? ?????

??? ?? ?? ?????? ???? ??????? ??? ??? ???? ??????? ? ??? ??? ????? ?? ? ???? ? Sox (Sound Exchange)? ???????. Brew Install Sox? ???? MacOS ?? Sudo Apt Install Sox? ??????. ? ???? ??? ???? ? ?? ?? ???? ??? ????? ???? ?? startrecording ()? ?????. ??? ?? ???? ??? ?? ?? ?? ? ? ????? ??? ??? ???? ????.?

 ????? ? ? index.js ??? ?? ??? ??????.
<li>
<ec> Startrecording () ??? ????? ???? ???? "Enter"? ?? ??? ??? ?????.?</ec>
</li>
<update update> ??, AI? ??? ???? ? ???? ??? ()? ????? Main () ??? ???????.
</update>

? ??? ???? handleOpen () ? handleMessage ()? ???? ???? ?? ? ? ??????. handleOpen () ????? ???? ??? ????? ???? ?? startrecording () ?? ? ???????. ?? ???? ?? ?????????

CreateConversationEvent? ??? ?????? "input_text ??"Input_audio "??? ???? ??? ??? ???? ????? : base64audiodata. ??? ??? ?? ??? "???"? ??????

??? ???? ? handleOpen () ????? :

handlemessage () ??? ????? ??? ??? ?????? ??? ??? ??? ???? ?? "response.audio.delta"???? ?????.

??? ??? ??? "response.text.done"???? ???? ???? ???? ?? "response.done"???? ??????? :

handlemessage () ??? ?? ??? ??? ????.

? ??? ?????? ?? ??? ??? ??? ???? ???? ??????.

npm install ws dotenv

???? ??? ?????. ??? ??? ??? ???“Enter”? ?? ??? ?? ? ????. ??? AI? ??? ????? ????? (???? ????? ?? ???? ??? ??? ??). ??? ??? ?? ??? ???? ??? ? ????.

?? ?? OpenAI API? ?? ?? ? ??? ?? ??? ???? ?????. ??? ??? ?? ? ? ??? ?? ?? ? ??? ?? ???? ? ?? ? ? ??? ???? ?? ??? ???? ???? ????. OpenAi ??? ?? ??? ????? ???? ?? ?????? ?????.

Openai Realtime API : ????? ??? ?? : Openai ??????? ?????? LLM? ?? ? ??? ??? ??? ???????. ?? ?? ??? ????? ??? ?????. AI? ??? ????? ???? ???? ? ??? ????. ?? ?? ??? ?? ??? ??? ???? ????? ? ?? ??? ???? ??? ?????. ?? ??? ??? ?? ??? ??? ?????.

?? ??? ??? ????? LLM? ?? ??? ???????. ? ??? ??? ?? ??? ???? JSON ?????. ? ??? ?? ??? ???? ??? ??? ????.

?? ??? ??? ??? :

??? ??? ???? ??? ????? ??? ??? ???? ? ?????. ??? LLM? ????? ??? ???? ?? ???? ????. ??? LLM ?? ??? ??????? ???? ? ?????.

?? ??? ??? ??? ???? ? ?????. ? ?? a? b

?? ??? ??? ??? ???? ????. ?? ?? ???? ?? ? ? key calculate_sum? ?? ??? ???? ??? ??? ?? ?? ? ? ??????.

API? ?? ?? ??? ?? ? ??? ??? ?? ???? ?? ??? ?????. ? ??, 3? 5? ???? ?? ??? { "a": 3, "b": 5}???. SumTool ? Functions ??? INDEX.js? ??? ?? ? ? ????. ????, ??? ??? ???????. ??? ??? ??? ??? ???? ?????.

LLM? ??? ????? ???? ??? ????? .function_call_arguments.done ???. ??? ??? ?? ???????

?? ??? ?? ?? ??.

?? ??? ?? ??? ?? ??

npm init -y && touch index.js

??? hanldemessage () ?? ??? ??? ???? ?? ??? ?????? ?????.

?? ????? ???? ? ??? ?? ? ??? ???? ??? ??? ???? ??? ???????. ? ??? ??? ????? ??? ?????? ?? ???? ??? ???? ? ? ????. ?? ????? ? ??? ??? ? ?? ?? ?????.

? ??? ?? ??? ???? ?????.

?? mlops ?? ?? ??

???? ???? ?? ?? mlops ??? ?????. OpenAI ?? ??? API? ???? ?? ?? ?? ?????. ??? ??? ??? ???? ?? ??? ???? ??? ????. ??? ? ??? ?? ?????? ?? ??????.

? ?? ?? ??? ??? ???? ???? ? ??? ??? ???? ????. ??? ??? ???????. ?? ?? ??.

??? ??? ????? ??????. ????? ?? git ??? ???? ???? ??????.

?? GitHub ??????? ???? ???? ? ?? ????. ?? ????? ?? NPM (Node Package Manage) ??? ?????.

??? ???? ????? ?? ???? .env?? ??? ??? ?? ??? ?? ????.

?? & lt; openai_api_key & gt; OpenAI API ?? ?? ?? ?? ????? ??? ????? ??????. ? ???? ???? ???? :

?? ????? ? ??? ?????? ??? React Frontend. ??? ??? ??? ??? OpenAI API ??? ???? ?????.?

??? ??? OpenAI API ??? ??? ??? ???? ?? ??? API ?? ???? ???? ????. ? ? ??? API? ?? ???? ?? ?????? ??? ?? ??? ??? ??? ?? ?? ???? ??? ? ? ????. ??? ????? ?? ???? ???? API? ??? ?? ?? ??? ??? ?????? ??? ???? ?? ?????. ? ?? ??????? ?? ????? ???? ????? ?? ??? ??????.?

npm init -y && touch index.js

?? ????? ????? ??? ??? ??? ??? ?? ???????. ??? ??? ????? ?? ??? ??????

?? ??? ??? ????? ??? ??????

??? ???? ?? ????? ???? ???? ?????? ?? ????.

? npm install ws dotenv ? ??? ???? ?? ???? ???? ?? ??? ???? ??????? ???? ??? ? ? ???????. ??? "Connect"??? ???? ?????. ????? ??? API? "Hello"???? ??? ???? ?????. .

??? ???? ??? ? ??? ???? AI ??? ?? ? ? ????.?

// Import the web socket library
const WebSocket = require("ws");
// Load the .env file into memory so the code has access to the key
const dotenv = require("dotenv");
dotenv.config();
function main() {
  // Connect to the API
  const url = "wss://api.openai.com/v1/realtime?model=gpt-4o-realtime-preview-2024-10-01";
  const ws = new WebSocket(url, {
      headers: {
          "Authorization": "Bearer " + process.env.OPENAI_API_KEY,
          "OpenAI-Beta": "realtime=v1",
      },
  });
}
main();

Openai Realtime API : ????? ??? ? ????? ??? ?? ?? ?? ??????. ??? ????? ???? ?????.

?? ?????? VAD (?? ?? ??) ????? ??? ?? ??? ????. ? ????? ?? ????? ????? ?? ??? ????? ?? ? ? ????. ????? "vad"??? ??? ?????.

?? ??? ????, ??? API? AI? ?? ??? ?? ? ??? ??? ?????. ? ??? ? ?? ??? ?????. ??? ?? ??? ?? ??? ?? ???? ?? ??? ??? ????? ?? ??? ??? ?????? ????.?

"??? ?? ??? ??????"? ?? ??????? ??? ??? ??????. ??? "?? ?? ???? ?? ??????."? ?? ???? ?????. ????? ??? ?? ?? ??? ?? ? ??? ??? ?? ????? ????? ?????.

Openai Realtime API : ????? ??? ?? ???? ???? ?? ???? ? ??? ? ??? ??? ? ? ??? ?????. ??? ??? ???? ????? ???????. ?? ??? ??? ??? ???? ??? ??? API? ??? ???? ??????. ????? ??