ChatGPT? ??? ? ??? ??????? ?? ??? 10,000 ??? ??? ? ??? GPT-3.5 ??? ??? ?? ?????.
Apr 11, 2023 pm 09:37 PM
OpenAI? ?? ??? ChatGPT? ???? ??? ? ? ? ??????. ? ??? ??? ?? ?? ????? ??? ?? ??????.
ChatGPT? ??? ????? ????? ??? ?? ??? ?? ? ????. ?? GPT 3? ??? ChatGPT? ?????? GPT 3.5? ??? ?? ??? ??? ?? ????
?? Allen Institute for Artificial Intelligence? ????? ChatGPT? Emergent Ability? ???? ??? ??? ??? ???? ???? ??? ????? ??? ??????. ???? GPT-3.5 ??? ??? ????? ?????. ??? ? ?? ??? ?? ??? ??? ??? ??? ????? ??????.
?? ??: ?https://yaofu.notion.site/GPT-3-5-360081d91ec245f29029d37b54573756?
?? FU堯 ???? ??? ???? ??????? ?? 2020?? ???? ????? ?? ???, ??? ????? ?? ??? ????? ?? Allen Institute for Artificial Intelligence?? ?? ???? ??? ????. ?? ?? ?? ??? ?? ??? ??? ?? ?? ?????.
?? Peng Hao? ??? ????? ?? ? ?? ??? ????? ?? Allen Institute for Artificial Intelligence?? ?? ????? ???? ??? ?????? ??? ?????. 2023? 8? ??????? ???-??? ??? ??? ???? ??. ?? ?? ?? ????? ?? AI? ?? ????? ???? ?? ??? ?? ??? ?? ??? ???? ????.
?? Tushar KhotPh.D.? University of Wisconsin-Madison? ???? ?? Allen Institute for Artificial Intelligence? ?? ??????. ?? ?? ?? ??? ???? ?? ????.
1. 1?? GPT-3? 2020 ?? ? ??? ?? ??
1?? GPT-3? ? ?? ??? ??? ??????.
- ?? ??: ???? ??( ????), ?? ???? ??? ?? ??? ?????. ?? ??? ??? ?? ??? ?? ???? ?? ???? ????? ???.
- ??? ?? ??: ??? ??? ? ?? ?? ?? ?? ??? ??? ??? ?? ???? ?????. ?? ??? ?? GPT-3? ?? ????? ?? ????? "?? ???"? ?? ?? ???? ???? ????. ??? ??? ?? ??? ?? ??? ???? ?????. ??? GPT-3? ??? ?????.
- ????: ??? ??(??? ??)? ??(??)? ?????.
?? ??? ??? ??? ??? ????
????? ?? ? ?? ??? ??? ?? ???? ????. ?, 3,000? ??? ???? 1,750? ?? ????? ?? ??? ?? ?????(?? ??? 60%? 2016??? C4+22?? ????. 2019? WebText2? % + ??? 16% + Wikipedia? 3%). ????:
- ?? ?? ??? ?? ???(Language Modeling)??? ?? ???? ?????.
- ?? ??? 3?? ??? ??? ?? ???? ????(?? ???? ??).
- ??? 1,750? ????? ??? ???? ?? ???, ?? Liang et al.(2022)? ???? ?? ???????. ??? ?? ??? ??? ??? ?? ??? ??? ??? ??? ??? ?????.
- ??? ?? ??? ??? ??? ??? ???? ? ?? ??? ??? ???? ?????. ????? ? ??? ?? ?? ??? ??? ????? ??? ??? ??? ??? ????? ?? ? ????. ??? ?? ?? ?? ??? ??? ??? ???? ??? ??? ??? ?? ??? ??? ???? ??? ?? ??? ?? ????? ?????.
??? ?? 1?? GPT-3? ??? ???????.
?? ?? GPT-3(OpenAI API??? davinci?? ?)? "??"?? "??"?? ???? ?????.
?? ?? ??? ????? ???? ?? ??? ???? ??? ??? ?????.
?? ????? ?? ???? T5?? ??? ?? ????. ?? ??(?? ??) ??).
??(2022? 12?) ChatGPT ????? ?? GPT-3? "???"??? ??? ?????. Meta? ?? ?? OPT ??? ?? GPT-3? ????? ????? ? ??? ???? ??? ??? ??? ????. OPT? ???? ?? ???? ?? text-davinci-002? ???? ??? ??? "??? ?? ??"? ????.
???? ???? OPT? ?? GPT-3? ?? ??? ?? ?? ?? ???? ? ????(OPT ?? ? ???? ??? HELM ??? ???).
1?? GPT-3? ????? ?? ?? ? ??? ?? ????? 1?? GPT-3? ?? ??? ???? ??? ??? ???????. ??? ???? ??? ?? ??, ?? ?? ? ?? ???? ?? ?? ??(RLHF)? ?? ?? ?????? ?? ??? ?? ??? ?? ??? ???????.
2 2020? ??? GPT-3?? 2022? ??? ChatGPT??
?? GPT-3? ???? OpenAI? ChatGPT? ??? ????? ????? ?? GPT? ????? ???????. -3.5:
2020? 7? OpenAI? ?? ???? ??? davinci? ?? GPT-3 ??? ????? ?? ???? ??? ????.
2021? 7? Codex ??? ???????. ??? ?? Codex? (??? ??) 120? ???? GPT-3 ??? ???? ?? ???????. ? 120? ?? ???? ??? ??? OpenAI API?? code-cushman-001? ??????.
2022? 3? OpenAI? ??? ??? ?? ??? ?????, ?? ??? ?? ??? davinci-instruct-beta ? text-davinci-001? ?????.
2022? 4??? 7??? OpenAI? Codex??? ??? code-davinci-002 ??? ?? ???? ??????. ?? ?? code-davinci-002, text-davinci-003 ? ChatGPT? ?? code-davinci-002? ??? ?? ???? ????. ??? ??? OpenAI? ?? ??? ??? ?????.
Codex? ?? ?? ???? ???? code-davinci-002? ??? ???? ?? ?? ??? GPT-3.5 ??? ????(text-davinci-002 ? -003?? ???). code-davinci-002? ???? ?? ??? ?? ??? ?? ?? ??(?? ??)? ?? ????? ???? ????.
??? 2022? 5?~6?? ???? text-davinci-002? code-davinci-002? ???? ? ?? ?? ?? ?????. text-davinci-002? ?? ??? ?? ???? ??? ??? ?? ??? ??? ? ??? ??? ??? ??? ?????(??? ???).
??? 2022? 11?? ??? text-davinci-003? ChatGPT? ???, ?? ??? ?? ???? ?? ?? ??? ?? ?? ??? ???? ??? ? ?? ?????.
text-davinci-003? text-davinci-002?? ??? ??? ?? ?? ? ??? ?????(??? code-davinci-002?? ??? ????)(??? ?? ?? ?? ?? ???? ????? ??? ????). ??? ?? ?? ??(RLHF ???) ?? ChatGPT? ?? ??? ????? ??? ?? ?? ?? ?? ?? ??? ???? ??? ????.
????? code-davinci-002 ??? 2020~2021? ?? OpenAI? ?? ?? ? ??? ?? ??? ?? GPT-3? ????? ? ?? ??? ??????. code-davinci-002? ??? ???? ?? ?? ??? ??? ?????. ?? ???? ?? ?? ???? ?? ?? ?? ??? ??? ??? ???? ????(??? ??? ??).
- ?? ?? ??? ??? ??? ??? ???? ????. ?? ??? ?? ?????. ?? ??? ??? ??? ??? ?? ??/????? ????. ?? ?? ?? ?? ??? ?? ??? ?? ?? ?? ??? ??? ? ? ? ?? ?????(?? ??? ?? ??? ?? ???).
- ?? ?? ??? ?? GPT-3.5? ??? ?? ??? ??????. text-davinci-003? ?? ??? ??? ??? ? ???? ??? ChatGPT? ?? ??? ? ????.
-
??? ?? ???? ???? ??? ?? ??? ?????. OpenAI? ??? ?? ?? ?? ???? ?? "?? ??"??? ????.
?? ????? code-davinci-002? ?????? ??? ??? ????? ?????(??? ??? ??? ??? ??? ????? ????). code-davinci-002? ?? ??? ?? ??? ? ??? ?? ?? ?? ? ??, ???? ??? ?? ??? ?? ??? ??? ? ????(?? ??? ??? ????) ???? ??? ? ????. ??? ?? ??? ???? ?? ? ?? ?????.
3?, Code-Davinci-002? Text-Davinci-002, ??? ?? ??? ?? ??? ?? ?? ??
code-davinci-002? text-davinci-002 ???? ? ?? ?? ??? ?????. , ?? davinci-instruct-beta ? text-davinci-001???. ? ? ?? ???? ??? ??? two-002 ???? ????(?? ?? text-davinci-001? ?? ?? ?? ??? ??? ????).
??? ? ????? -002 ??? ??? ???.
3.1 ??? ?? ??? ???? ??? ???? ????? ??
??? code-davinci-002? text-davinci-002? ??? ?? ???, ? ? ??? GPT3.5 ??? ? ?? ????, ??? ????? ?? ??? ???????. ?? GPT-3? ?? ? ?? ??? ??? ?????.
- ?? ??? ??: ???? GPT-3? ??? ?? ?? ??? ???? ??? ??? ?????. ?? ??? ??/??? ?? (??? ??? ???? ??? ??) ? ???? ??? ?????.
- ??? ?? ??? ?? ???: ??? ???? ? ???? ??? ?? ?? ??? ???? ??? ??? ? ?? ?? ??? ??? ?? ???? ???? ??? ??? ? ????. ???? ?? ??? ??? ?? ??? ?? ?? ? ??? ?? ??? ? ??? ??? ??? ?? ?????.
- ?? ?? ? ?? ??: ??? ??? ????? ??? ? ??? ?????.
- ??? ??? ?? ?? ?? ??: ?? GPT3 ??? ?? ?? ?? ??? ???? ??? ????? ?????. code-davinci-002 ? text-davinci-002? ??? ??? ?? ?? ?? ??? ?? ? ?? ?????.
- ?? ??? ??? ??? ???? ?? ??? ???? ??? ? ? ?? ??? ?? ?? ??? ?????.
??? ??? ??? ?? ????
?? ??? ???? ?, ? ?? ?? ???? ?? ?? ??? ?? ?????. ?????:
- ??? ??? ???? ??? ?? ?? ??? ???? ?????.
- ?? ??? ?? ??? ???? ??? ??? ??? ?? ?? ??? ???? ???? ????, T0, Flan ? FlanPaLM ??? ?? ?? ?????.
- ??? ??? ?? ?? ??? ???? ??? ?? ??? ?? ?? ???? ?? ????. ?? ?? ??? ?? ??? ?????.
- ?? GPT-3? ?? ??? ?? ???? ?? ??? ??? ? ?????.
- text-davinci-001 ??? ??? ?? ?? ?????? ?? ??? ? ?? ????? ?? ?? ??? ?? ???? ??? ?? ???? ????? ?? ?? ??? ?? ?? ? ????. ??? ?? ?? ??? ??? ? ?? ?? ??? ?? ??? ?? ?????.
- PaLM? 5%? ?? ?? ???? ???? ??? ?? ??? ?????.
- Codex ??? ?? ??? ?? 159G?, ?? GPT-3? ?? ??? 5,700? ? ? ? 28%? ?????. code-davinci-002? ? ?? ??? ??? ?? ??? ??? ? ????.
- HELM ????? Liang et al.(2022)? ??? ??? ?? ??? ??? ??????. ??? ??? ?? ??? ??? 120? ?? ???? code-cushman-001? ???? ??? ?? ?? ??? ??? ??? ??????.
- AI2? ?? ??? ??? ?? ??? ?? ??? ?? ?? code-davinci-002? ?? GSM8K? ?? ??? ??? ?????? ?? ??? ?? ???? ?????.
- ????? ???? ?????? ??? ??? ???? ???? ??? ?? ????, ???? ?????? ??? ??? ??? ?? ?? ??? ???? ???? ??? ?? ?????.
- ?? ?? ??? ??? ?? ??/?? ?? ?? ?? ????? ??? ?? ??? ????. ? ?? ??? ????? ?? ???? ? ?? ?????. ????? ??? ?? ??? ??? ??? ????? ???? ??? ????.
- ?? Peter Liu? ??? ??? ?? ??? ? ?? ??? ???? ??? ??????. "??? ?? ?? ??? ????? ?? ????? ??? ????? ??? ?? ??? ???? ?? ? ? ???? ?????. ?? ? ?? ???? ?????? ?? ?? ??? ?????." ???? ? ???? ?? ?? ?? ?? ?????? ??? ???? ?? ??? ?? ?? ??? ???? ??? ???? ??? ? ??? ????. ? ??? ?? ???? ?? ??? ????.
?? ?? ??? ?? ???? ?????:
- text-davinci-002 ? code-davinci-002
- Code-davinci-002? ?? ????, text-davinci-002? ?? ?? ?? ??-davinci-002? ?????. (OpenAI ?? ??) ?? ?? ???? ?? ?? ?????. (1) ??? ??? ??? ?? ? ?? ??, (2) ??? ??? ??? ?? ??.
- ???? ? ??? ?? ?? Code-davinci-002? ???? ??? ? ??, ???? ??/?? ??? ??? text-davinci-002? ?? ?? ?? ???? ? ? ?????. ??? ???? text-davinci-002? ??? ??? ? ?????(??? ?? ??? ??? ???? ?? ???? ? ?? ??).
- OpenAI? ?? ?? ?? ?? ??? ?? ??? ????? ???? ???? ????. ??? ?? ??? ??? OpenAI? ?? ?? ????? ????.
- 001 ??(code-cushman-001 ? text-davinci-001) v.s. 002 ??(code-davinci-002 ? text-davinci-002)
- 001 ??? ?? ?? ??/?? ??? ??? ?????. 002 ??? ?? ?? ? ?? ?? ??? ?? ???? ??? ???? ?? ??? ? ????.
- Code-davinci-002? ?? ??? ??? ?? ??? ?? ??? ??? ??? ? ????. ??? ??? ????: code-cushman-001? ??? ??? ? ??? ?? ?????? ? ???? ????. text-davinci-001? ?? ?????? ? ????? ????? ?? ????. code-davinci-002? ? ??? ??? ??? ? ????.
3.2 ??? ??? ?? ?? ?? ?? ?????, ??? ??? ?? ??? ?? ??????
? ???? ??? ?? ?? ?? ? ?? ??? ?? ??? ??????. ??? ??? ?? ?? ? ?? ?? ??? ??? ??? ???? ?????.
?????: ?? ? ?? ??? ?? ?? GPT-3? ???? ??? ?? ??? ???? ???/?? ?????? ??? ?? GPT-3?? ??? ??? ??? ??? ?? ??? ?? ????????
??? ?? ?? GPT-3? ?? ?? ??? ??? OPT? ??? ???. ??? ??? ??? ????? ??? ??? ?? OPT? ?? ???? ?? ??? ?? ????.
?, code-davinci-002? ?? GPT-3 ???? ???? ? ?? ??? ?? GPT-3?? ? ? ??? ???? ? ????. ?? ?? OPT? ???? ??? ? ?? ??? ?? ?? ????.
?? ????? code-davinci-002? ?? ??? ??? OpenAI? ?? ???? ? ??? ?? ???.
??? ?? ??? ??? ????.
- code-davinci-002? ?? ??? 1?? GPT-3 ??? ??? ?? ?? ????.
- 1?? GPT-3? ??? ?? C4 2016~2019?? ??????, code-davinci-002 ?? ??? 2021??? ???????. ??? code-davinci-002? C4 2019-2021 ???? ????? ???? ????.
- ?? GPT-3?? 2048 ??? ???? ?? ?????. code-davinci-002? ???? ?? 8192???. GPT ???? ?? ?? ???? ?????. ?? ?? ?? ?? ???? ?? ???? ?? ??? ?? ??? ???? ??????(Press et al., 2022 ??). code-davinci-002? ?? GPT-3? ???? ?? ?? OpenAI? ??? ???? ?? ??????
- ??? ?? ??? ?? GPT-3?? ??? ??? ???? ??? ??? ?? ? ????? ??? ?? ??? ?? ???? ?? ??? ? ????. ??? ??? ?? ??? ?????(???? ??).
- ?? ?? OpenAI ??? ??? ?? ???? ??? 77K? ???? ?????. ?? ?? ?? ????? ? ? ?? ?????.
- ?? ?? ?? ?? ????? ?? ??? ?? ??? ?? ??? ??? ??? ?????. ?? ?? Chung et al.(2022)? ???? Flan-PaLM? ?? ?? ??? 0.4%? ?????. ?? ?? ??. ????? ??? ?? ???? ?? ?? ????? ?? ????.
- ??? ??? ??? ?? ??? ?? ?? ???? ?? ??? ??? ?? ???? ? ????.
- ?? ??? ??? ??? ?? ??? ?? ?? ??? ????. ??? ?? ???? ?? ?? ???? ?? ??? ??? ?? ???(?? ?? PaLM? ?? ?? ???? 8%? ?????)
- ??? ????? ?? ??? ?? text-davinci-001- davinci-002? ?? ???? ?? ?? ??? ????? ?? ??/?? ?? ??? ?? ?????. Think Chain ??? ? ?? ???? ??? ??? ??? code-cushman?? ? ????. 001?? ?? ?? ????? ?????.
- ??? ?? ??? ?? ?? ??? ??? ???? ?? ?? ??? code-cushman-001, T5 ? FlanT5? ???? ????.
- ?? ??(110?? 120?)? ???? ?? ??? ??(C4)? ???? ??? ?? ??? ?? ? ???? ??? ?? ??? ???? ??/??? ? ????? ?????. -??.
- ?? ?? ??? ????. ??? ??? ?? ??? ????.
4. text-davinci-003? ChatGPT, RLHF(Reinforcement Learning from Human Feedback)? ?
?? ??(2022? 12?)??? text-davinci-002 ??? ??? ??? ??? ?? ????. text-davinci-003 ? ChatGPT, ?? ? ??:
- text-davinci-003 ? ChatGPT? ? ?? ?? ???? ? ?? ? ?? ?? ???????.
- ChatGPT? OpenAI API? ?? ??? ? ???? ?? ?????? ????? ?? ??????.
??? ??? ?? ?? ??? ?? ????? ??? ??? ???? ???(????? ??? ????? ??). ??? ??? ???? ??? ??? ??? ??? ????? ?? ? ??? ????.
?? text-davinci-002, text-davinci-003 ? ChatGPT? ???? ??? ????.
- ? ?? ?? ??? ?? ?? ???????.
- text-davinci-002? Supervised Instruction Tuning?? ????? ?????.
- text-davinci-003 ? ChatGPT? ?? ??? RLHF? ?? ??? ??? ?? ?????. ??? ?? ??? ?? ??? ??????.
?? ???? ? ??? ??? RLHF? ?????? ?? ?????.
??? RLHF ???? ??? ???????.
- ?? ?? ??: text-davinci-003? ????? text-davinci-002?? ???? ? ??? ? ?? ????. ChatGPT? ??? ? ?? ??? ???? ?? ??? ??? ???? "? ???? ??? ???"?? ????? ???? ???. ?? RLHF? ???? ??????.
- ??? ??: ChatGPT? ????? ?? ??? ?? ?? ??? ??? ??? ???? ?? ?? ?? ?? ??? ?????. ??? RLHF? ?????.
- ???? ?? ??: ??? RLHF? ?? ??? ??? ??? ?? ?? ??? ????, ??? ??? ???? ?? ??? ??? ?????.
- ? ? ?? ?? ??: ?? ?? 2021? 6? ??? ??? ??? ???? ?????(? ???? ???? ?? ??? ?? ??? ?????). ?? ??? ?? ?? ?? ??? ??? ?? ??? ????? ??? ? ?? ??? ??? RLHF? ?? ??? ?????.
??? ?? ? ?? ??? ????.
- ?? ??? RLHF? ?? ???? ?? ??? ??? ???? ????. RLHF? ?? ?? ?? ??? ??/?? ???? ????. ? ??? ?? ??? ??? ???? ?????. ?? ??? ???? ?? ?? RLHF? ?? ?? ??? ??/???? ?????.
- ??? ??? ???? ?? ??? RLHF? ?? ??? ???? ??? ??? ?? ?? ????. RLHF? ?? ??? ??? ??? ??? ???? ??? ????? ?? ???? ??? ?? ?? ??? ?????. ?? ??? ?? ??? ?? ???? ??? ??? ??? ??? ????? ?? ?? ? ?????.
??? ???? ?? ?? ??? ????:
- ChatGPT: ?? ??? ????? ??? ???? ??? ???? ??? ?????. ?? ??? ?????. ChatGPT? text-davinci-003?? ?? ??? ?? ??? ?? ?? ??? ????.
- text-davinci-003: text-davinci-002? ?? ??? ???? ?? ??? ???? ?? ?? ??? ??????. instructGPT ??? ??? ?? (RLHF ??? ??) ?? ???? ??? ??? ?? ?? ?? ???? ?????.
5. ?? ??? GPT-3.5 ?? ?? ??
???? ?? ??? ?? ??? ?? ??? ?? ?? ???????.
??:
- ?? ?? ?? + ?? ?? ?? + ?? ??? ?? ?? ??(???)?? ????.
- ??? ??? ??? ? ?? ??? 1,750? ?? ?????? ????.
- ??? ??? ??? ??? ????? ??? ?? ??(Davinci-instruct-beta)? ?? ?? ???? ?? ?????.
- ??? ??? ???? ??? ?? ??(code-davinci-002)?? ?? ???? ????.
- ????? ????? ???? ??? ??? ???? ??? ???? ???? ?????. ?????:
- ?? ?? ??? ?? ?? ??? text-davinci-002???.
- ???? ??(RLHF)??? ??? ??? text-davinci-003 ???.
- Supervised? RLHF? ??? ??? ?? ???? code-davinci-002? ??? ? ????. ??? ??? ?? ?? ?? ??? ?? ????? ???.
- ?? ??? RLHF(ChatGPT)??? ?????. ?? ??? ?? ??? ?? ?? ??? ?????.
- ?? ?? ???.
- ?? ???? ?????.
- ?? ?? ??? ???? ??? ?????.
6. ?? GPT-3.5? ? ? ?? ?
GPT-3.5? ??? ?? ??? ??? ????? AI2? ??? ?? ????? ???? ???? ??? ?? ??? ????? ????. GPT-3.5?? ?? ? ?? ??? ??? ??? ????.
- ??? ??? ????? ?? ??: ??? ?? ?? ?? ??? ??? ? ? ??? ??? ?? ?? ???? ? ???? ?? ? ????.
- ??? ?? ?? ?? ??? ????. : ChatGPT? 3599 = 59 * 61?? ????? 3599? ???? ?????. ?? ?? ??? ???? ?? ???? ?? Reddit? ?? ?????.
- ??? ??? ??? ???? ??? ??? ?? ??? ????. ? ?? ?? ?????(???? ?? ? ???)? 2020? ???? ????? ??? ??? ??? ??? ?? ???? ?????? ??? ???? ???. ??? ?? ??? 2024??? ??? ???? ??????? 2026? ???? ?? ? ???.
- ?? ??: GPT-3.5 ???? ???? 1? ??? ?? ????? ??? ?????? ??? ? ????.
- ??? ?? ???? "??"??? ??? ??? ???? ??? ????. ??? ?? ?? ???? ???? ?? ?? ??? (a) ?? ???? ??? ????. (b) ??? ??? ??? ????? ??? ?? ????. c) ?? ???? ?? ???? ???? ? ???.
- ??? ??? ???? ?? (b) ??? ? ??? ? ????. ?? ??? ????.
- ?? ?? ??? ??? ?????. ?? ??? ?? ? ???? ?? ?? ?? ? ?? ???? ?? ???? ?????. ???? ??? ????? ???? ?? ??? ?? ? ????.
- ?? ?? ??? ?? ????. ?? ????? ??? ??? ????? ??? ?????, ? ??? ??? ??? ?? ???? ??? ????. ?? ????? ?? ??? ?? ?????. ??? ????? ??? ?? ??? ???? ? ???? ????? ??? ? ????. ?? ?? ??? ????? ???? ?? ?? ??? ??? ???? ?? ?????.
- GPT-3.5? (c) ??? ??? ??? ? ????(??? ???? ??? ? ??).
- ?? ?? ??? ??? ??? ???? ?? ??? ????? ??? ??? ?? ? ??? ?????.
- ??? ??? ??? ??? ?? ??? ???? ??? ??? ?? ????? ???? ???? ??? ????? ???. ? ?? ?? GPT? ? ?? ??? ????? ?? ?? Python? ???? ????.
- ????? ??: GPT-3.5 ???(?????)? ????? ?? ??? ? ????.
- ??? GPT? ?? ??? ??? ? ??? ?? WebGPT ??? 2021? 12?? ???????. ??? ?? ??? OpenAI ??? ????????.
- ??? ???? ? ?? GPT-3.5? ????? ?? ? ?? ??? ??? ????? ????. ????? ???, ?? ??? ?? ?? ????? ?????? ?? ??? ???? ??? ? ??? ?? ????. ????:
- ??? ?? ??? ?? ?? ???? ?????. ???? ?? ??? ??? ?? ?? ?? ??? ?????.
- 1,750? ?? ????? ??? ???? ? ?? ????? ?? ??? ?? ?????. ?? ??? ??? ????? ? ??? ?? ????? ?? ?? ???? ?? ?????? ??? ? ????(?? ????? ChatGPT? ?? ??? ??? ??? ??? ??? ??? ?? ?????).
7. ??
? ??? ????? ??? GPT-3.5 ???? ??? ??? ?? ?? ???? ?? ??? ??? ??? ??????.
1?? GPT-3 ??? ?? ??? ?? ?? ??, ?? ?? ? ?? ? ??? ?????. ?? ?? ?? ??? ?? ??? ?? ??? ??? ??? ?? ???? ????? ??? ?????. ??? ??? ?? ??? ?? ??? ????? ??? ???? ??? ????. ??? ????? ??? ??? ???? ??? ????.
? ? ??? ??? code-davinci-002? ?? ??? ??? ?? ?? ??? GPT-3.5 ??? ? ????. ???? ?? ?? ??? RLHF? ?? ?? ??, ? ?? ??? ???? ?? ??? ?????. RLHF? ???? ??? ?? ??? ???? ??? ????? ? ???? ?? ?? ??? ??? ? ????.
? ??? GPT ??? ?? ??? ??? ???? ?? ??, ?? ?? ? ?? ??? ?? ??? ???? ? ??? ??? ????. ?? ??? ?? ? ??? ?? ?? ???? ??? GPT-3.5? ???? ?? ??? ??? ? ? ??? ????.
FAQ
- ? ?? ??? ??? ???? ??? ??? ?????
- ??? ?? ??? ?? ???? ???? ?? ??? ?? ??? ?? ?????.
- ?? ??? ?? ???? ????? ??? ??? ?? ???? ????? ?? ?? 4?? ??? ?????.
- GPT-3.5? 1,750? ????? GPT-3? ?? ?? ?? ?? ???? ?? ???? ?? ???? ?????.
- ??? ?? ??? ?? ???? ?? ???? ???? ?? ??? ?? ??? ?? ?? ?????. ?? ?? ?? ? ?? ?? ??? ?????. ?? ?? ?? ???? ?? ?? ?? ???? ??? ? ?? ?? ?????.
- ?? = ??? ??? ???? ????? ?? ??; ?? = ???? ????? ??? ???? ?? = ??? ??? ??? ?? ??? ? ??? ??? ? ??
- ??? ?? ?? (OPT ? BLOOM? ??) ??? ???? ?????
- OPT? ??? ?? ??? ?? ????? ?? ? ???.
- BLOOM? ??? ???? ?????.
? ??? ChatGPT? ??? ? ??? ??????? ?? ??? 10,000 ??? ??? ? ??? GPT-3.5 ??? ??? ?? ?????.? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!
? AI ??
Undress AI Tool
??? ???? ??
Undresser.AI Undress
???? ?? ??? ??? ?? AI ?? ?
AI Clothes Remover
???? ?? ???? ??? AI ?????.
Clothoff.io
AI ? ???
Video Face Swap
??? ??? AI ?? ?? ??? ???? ?? ???? ??? ?? ????!
?? ??
??? ??
???++7.3.1
???? ?? ?? ?? ???
SublimeText3 ??? ??
??? ??, ???? ?? ????.
???? 13.0.1 ???
??? PHP ?? ?? ??
???? CS6
??? ? ?? ??
SublimeText3 Mac ??
? ??? ?? ?? ?????(SublimeText3)
?? ChatGPT? ???? ?? ???? ?? ??? ?? DALL-E 3? ???? ???? ??? ? ????.
Aug 09, 2024 pm 09:37 PM
DALL-E 3? ?? ???? ?? ??? ??? 2023? 9? ?? ???????. ??? ???? ???? ??? ? ?? ???? ??? AI ??? ??? ? ??? ?????. ??? ?? ???? ???????.
???? chatgpt? ???? ??
Mar 05, 2024 pm 02:31 PM
?? ??: 1. ChatGTP ?? ???? ?? ??? ????? ChatGTP ?????? ???????. 2. ?? ? ? ?? ??????? ??? ???? ?????. 3. ?? ??????? ??-?? ??? ???? ?????. 4. ??? ? ?? ?? ??? ???? ?????? ?? ?????.
ChatGPT? Python? ??? ??: ??? ?? ??? ?? ???
Oct 27, 2023 pm 06:00 PM
ChatGPT? Python? ??? ??: ??? ?? ??? ?? ??? ??: ???? ??? ??? ??? ?? ??? ???? ??? ?? ?? ??? ?????? ??? ?????. ? ?? ?? ??? ??? ???? ?? ?? ??? ?? ??, ?? ?? ?? ??? ???? ?? ??? ???? ??????. ? ????? OpenAI? ??? ??? ChatGPT? Python ??? ???? ??? ?? ??? ??? ??? ??? ?????.
ChatGPT? Java? ???? ??? ??? ???? ??
Oct 28, 2023 am 08:54 AM
? ????? ChatGPT? Java? ???? ??? ??? ???? ??? ???? ? ?? ???? ?? ??? ?????. ChatGPT? ???? ???? ??? ??? ???? ??? ? ?? ??? ?? ???? ??? OpenAI? ??? Generative Pre-training Transformer? ?? ?????. ChatGPT? ???? ??? ??? ?? ?? ? ????.
ChatGPT PHP? ???? ??? ?? ??? ??? ???? ??
Oct 28, 2023 am 09:34 AM
ChatGPTPHP? ???? ??? ?? ??? ??? ???? ?? ??: ?? ?? ??? ???? ??? ?? ??? ???? ?? ? ?? ???? ????. ChatGPTPHP? ???? ??? ?? ??? ??? ???? ??? ?? ????? ???? ?? ???? ???? ? ??? ? ? ????. ? ????? ChatGPTPHP? ???? ??? ?? ??? ??? ???? ??? ???? ?? ?? ??? ?????. 1. ChatGPTPHP? ???? ChatGPTPHP? ???? ??? ?? ??? ??? ?????.
ChatGPT? Python? ??? ??: ??? ?? ??
Oct 28, 2023 am 08:37 AM
ChatGPT? Python? ??? ??: ??? ?? ?? ??: ???? ??? ??? ???? ?? ??? ??? ???? ?? ? ??? ??? ?? ????. ??? ???? ????? ???? ??? ???? ??? ??? ???? ?? ???? ????? ?? ? ????. ? ????? OpenAI? ChatGPT ??? Python ??? ???? ??? ?? ??? ??? ??? ???? ???? ?? ??? ?????. 1. ??GPT
chatgpt? ???? ??? ? ????
Mar 05, 2024 pm 03:05 PM
chatgpt? ????? ??? ? ??? ??? ? ???, ??, ?????? ??? ??? ?? ?? ??? ??? ???? ??? ? ????. ?? ???? ???? ??? ???? ???. ?? IP?.
?? ? ??? ?? macOS?? ChatGPT? ??? ? ????.
Jun 27, 2024 am 10:05 AM
Open AI? ChatGPT Mac ??????? ?? ?? ??? ??? ? ?? ????, ?? ? ? ?? ChatGPT Plus? ???? ?????? ???????. ?? Apple S? ?? ? ?? ?? ?? Mac ?? ????? ?????.
