【案例】
& `1 k) e9 J* T t: H" Y' s6 k* _7 r# E5 ]
GPT-4「变懒」bug被修复,价格暴降80%!OpenAI连更5款新模型,性能狂飙 新智元 2024-01-26 12:18 发表于北京
, U6 R4 t" d7 V6 j( `新智元报道 编辑:编辑部 3 I. A- W, i3 y6 |
【新智元导读】昨夜,OpenAI一口气连更5款新模型。GPT-4 Turbo变懒问题修复,代码生成能力史诗级加强。另外,多款模型价格大幅暴降。# ]# A, R# U, o+ Z. p
B: s' N1 M0 V- j
* o# M$ c% Y2 @' b GPT-4又双叒叕变强了!. J% A# `1 s- t! E/ C
" Q2 {& }5 W$ i9 F
今天,OpenAI正式发布了更新版的GPT-4 Turbo——gpt-4-0125-preview。$ M) E7 ^" T7 j7 }$ t1 b
: q7 ^" s4 k. `* w9 m
不仅大幅改善了模型「偷懒」的情况,而且还极大地提升了代码生成的能力。$ J8 T: v3 f1 P" [6 Z
$ a1 W1 ?1 v- E) p3 p; ]3 _! O \* L- @7 u5 Z' Y8 |3 w6 b7 S
# ?3 X. `. o7 H) ]% `$ n8 F 与此同时,OpenAI还发布了一系列模型和API更新,总体来说就是「更强的性能,更低的价格」。
3 R) Z$ L9 v* Q% W- f9 P& a$ x
1 W9 I G; c- B* P h( R0 ~, j - GPT-3.5 Turbo更新——gpt-3.5-turbo-0125。输入价格大降50%,输出价格下降25%。性能上也有升级。6 ~% u8 i' t" h6 N I' b6 O
5 B7 w4 u$ W! {5 _# n
- 「迄今为止最强」的审核模型text-moderation-007,帮助开发者有效地识别有害文本。
! l- T( I' V# f8 _
$ P1 a- O; C- A 两个新一代embedding模型:# s$ d4 j3 m% l: Q3 U, ^
% C7 d0 Z9 C p - text-embedding-3-small,体积更小效率更高,价格直接砍到了原模型20%!支持512维和1536维两种大小。/ y1 z4 i0 c1 F& ~8 g
- text-embedding-3-large,性能相比之前模型大幅提升,高达3072维的嵌入向量,价格是小模型的6.5倍。
. x- T0 x& Z# l 最后,OpenAI还强调称,用户通过API传送的数据,都不会被用于训练新的模型。) A& r6 b; V5 }1 j$ b, {4 e$ k/ }
. J9 U( c5 T' V: I3 j( a0 j. B$ W+ `9 r9 O. h: v1 x
+ |- i% {0 d W' T) B. N& p( R- v3 i
GPT-4更强了,变懒bug修复 自从去年11月份开发者大会发布GPT-4-Turbo以来,超过70%的GPT-4 API用户已经转用了GPT-4-Turbo预览版,从而能够享受最新的知识戒指日期、更大的128k上下文窗口和更低的价格。7 u" j2 c6 K. Q
0 c2 P1 N. z5 l
最新更新的GPT-4-Turbo 预览模型——gpt-4-0125-preview在执行任务(如代码生成)方面比之前的预览版要更强,能够减少模型有可能出现的「偷懒」现象。( A5 Y, U# b1 t: D8 [
' v& Z Y- A c% ^8 @7 V
新模型还修复了一个影响非英文UTF-8生成的漏洞。
8 X7 V n1 F' _5 _) S( E 对于那些希望自动升级到最新GPT-4-Turbo预览版的用户,OpenAI还推出了一个新的模型名别名gpt-4-turbo-preview,它将始终指向最新的GPT-4-Turbo预览版模型。
! ^ C; V8 R% a8 ^4 L; l
9 [9 C# y! i& G# V 在未来几个月内,OpenAI还会推出具备视觉功能的GPT-4-Turbo正式版。
; r- ~( \5 L8 W/ D. f. y) G2 @. K' ~# |/ Z2 ?/ o
, h1 ?/ y& [- Z' y# J
GPT-3.5-Turbo喜迎「降价增效」 下周,OpenAI即将推出新版的GPT-3.5-Turbo,型号为gpt-3.5-turbo-0125。
% t6 u7 r6 @( v
* x# O, N, G& r# Y+ z+ S! O 在过去的一年里,OpenAI已经第三次下调GPT-3.5-Turbo的价格。
" o8 Y: {. y( t% L# Y+ E* j$ V0 s9 M6 `- o
新模型的输入价格下降了50%,现为0.0005美元/1k token;输出价格下降了 25%,现为0.0015美元/1k token。- a+ d6 h0 o( H! ]1 V. B, t7 \, ?
此外,模型还进行了多项改进,比如提高了按要求格式响应的准确性,并修复了一个导致非英文语言函数调用出现文本编码问题的漏洞。; g7 x' `4 E1 o
* @) X, k7 V. [: i$ s 在API中使用固定gpt-3.5-turbo模型名称的用户,将在这款新模型推出两周后,自动从gpt-3.5-turbo-0613升级至gpt-3.5-turbo-0125版本。$ [$ H6 F- B* Y& _
+ @3 x' V$ \! q1 P o# e- g( T. |
4 s: z" \- u* }. S; v 全新嵌入模型2连发:性能大涨价格狂降 OpenAI推出了两款新的嵌入模型:体积更小、效率更高的text-embedding-3-small模型,以及更大、性能更强的text-embedding-3-large模型。* R$ B* |# N* W
, L& C5 b, y7 O* ]
1 V* R" L5 M+ z
" m; _2 b, ]+ @3 E" ~. O 所谓嵌入(Embedding),就是将内容(如文字或代码)中的概念转化为一串数字序列。
2 ] p3 w+ B( j1 N- W8 m8 q% Z 通过这种方式,机器学习模型和其他算法可以轻松理解不同内容之间的关系,执行聚类、检索等操作。7 F! }, y8 x8 e6 ?- j/ }
. x. F8 U5 m( L1 _; F3 K
嵌入技术为 ChatGPT 和 Assistants API 中的知识检索功能,以及许多检索增强生成([color=var(--weui-LINK)][url=]RAG[/url])开发工具提供了强大动力。' z& X ]( i& ]" v
「小」文本嵌入模型:text-embedding-3-smalltext-embedding-3-small是OpenAI的新型高效嵌入模型,与2022年12月推出的前代产品text-embedding-ada-002相比,性能有了大幅提升。
* a; B- @( l7 R$ }; X
& J0 B" @5 f r0 v6 ]5 ^' C
+ T. {- \5 K1 ^) C6 w7 P - 性能更强+ z# h' w. f7 Q; q$ o9 T* R' ?! [# D2 T s
7 u* d% ]+ p2 \* S 在多语言检索(MIRACL)的常用基准测试中,text-embedding-3-small的平均得分从31.4%提高到44.0%,在英语任务(MTEB)的常用基准测试中,平均得分从61.0%提高到 62.3%。
9 ?4 {. {( J& @+ ?
' ?; y; q9 p' f( q! @" s
; \4 s$ u2 V' A* j( _ - 价格实惠! ^( p' D( q1 r% m% }
, k+ s2 S& ^0 o- @# ^7 \+ @
text-embedding-3-small远比OpenAI之前的text-embedding-ada-002模型效率高,因此价格也大幅降低了5倍,从每千token的0.0001美元降至0.00002美元。& E5 Z- w! A9 _" [9 Y& W2 s
5 e3 _' v# A- M( p OpenAI不会停用text-embedding-ada-002,尽管OpenAI更推荐用户使用新模型,客户仍可选择继续使用上一代产品。5 V/ O3 f) H7 u6 {
, ^7 F9 N# ~2 T1 {2 ?2 f
. w& Q# b3 v r2 x. V「大」文本嵌入模型:text-embedding-3-large
3 _% b5 G0 k4 z4 o0 B' B! H- w# g6 D9 ?/ s& ?& |" b
text-embedding-3-large是OpenAI的新一代大型嵌入模型,能够生成高达3072维的嵌入向量。
6 Z; B+ K1 ^* {( R [" S text-embedding-3-large是OpenAI目前性能最强的模型——
" E: `0 v1 I; w7 i7 b+ u7 q: O/ ~" N, g3 K/ n2 C4 ^+ l
与text-embedding-ada-002相比,它在MIRACL上的平均得分从31.4%提升至54.9%,在MTEB上的平均得分从61.0%提升至 64.6%。* f* f) D( ]" O n' n) U& w
% e: ^# B$ u% B5 L3 G- j, q4 M
# D4 d4 t' r$ {0 M% ]6 g! W. g G1 ~' U7 j# v& |5 [( @( L* S
text-embedding-3-large的价格定为0.00013美元/1k token。
4 Z9 b' ]1 N7 f% l* @. Y& P7 f
. i& ], k, t- T8 G5 L$ F: j2 l4 n3 S) p
/ b7 Q" t2 O8 _/ g$ z0 w# \
3 n/ E' r2 ^/ c/ y6 b6 d. e
灵活调整嵌入向量
0 |2 }5 G o% {5 ~8 q3 k
E& |& V+ d3 A& u 相比于小型嵌入,大型嵌入的存储和检索,如放置于向量存储库中,往往需要更高的成本,也消耗更多的计算资源、内存和存储空间。
5 p* R6 K9 J0 }+ r1 [* e% e* e$ S0 h0 x4 [0 u
OpenAI的两款新嵌入模型均采用了一种特殊的训练技术,使得开发者可以在嵌入的使用成本和性能之间做出权衡。, f2 g1 q3 h0 P
具体来说,开发者可以通过设定dimensions API参数来有效缩短嵌入向量的长度(也就是去掉数列末端的一些数字),而这样做不会影响嵌入向量代表概念的核心特性。
! C% w# D2 i8 r- `0 ]
6 o( ?, {7 U# ?3 D; Y' V+ _* B 例如,在MTEB基准测试中,即使将text-embedding-3-large嵌入向量的长度缩减到 256,它的性能仍然超过了长度为1536的未经缩减的text-embedding-ada-002嵌入向量。) n$ m$ A5 ^$ U0 J! ]
这种做法极大地增加了使用上的灵活性。
- }' o+ x# f& H: W. h
: e0 q R- R3 E% S7 H! |7 ^* ? 比如说,当开发者需要使用一个只支持最大1024维度嵌入向量的向量数据存储时,可以选择OpenAI性能最佳的嵌入模型text-embedding-3-large,并通过设置dimensions API参数为1024,从而将原本3072维的嵌入向量缩减下来,以较小的向量尺寸为代价换取了准确度。
& E8 d% X$ }! \! f$ M3 f0 y; f6 Y* O. J, P
& L6 D `3 J% M% [4 l
0 l, Z2 m1 H5 i. t. { 迄今最强的内容审核模型 OpenAI提供的免费内容审核API可以帮助开发者识别可能有害的文本。& |) _8 G4 F; L
' e2 K/ J: q5 P1 O& L; j
作为OpenAI持续安全工作的一部分,OpenAI发布了迄今为止最强大的内容审核模型text-moderation-007。
+ o; v( a# L1 S
' J/ W( f0 N6 c' a+ d; w, R 此前的text-moderation-latest和text-moderation-stable,也将重新指向这个新模型。
# U; j* X* M3 `: M: F. ]9 c3 \: e5 X" D1 F
# r) g! L5 O2 t5 a4 V5 M' S API后台更新,更好的API密钥管理 OpenAI正在推出两项重要的平台升级,旨在为开发者提供对他们的API使用情况更清晰的洞察,并加强对API密钥的管理。
/ v9 x3 e/ V& @4 o1 K, N' H0 w' s b4 y5 {1 X4 ?2 s- O! o. R3 E2 |
首先,开发者可以直接在API密钥页面设置不同的密钥权限。: e, P! N3 v9 H! {9 C0 V% G1 d2 h
8 k4 x0 T5 j' n2 B/ g( B/ Q4 t 举个例子,用户可以为一个密钥配置只读权限,以便用于内部的跟踪数据面板,或者设置为仅限访问某些特定的接口。: l, `2 e4 u3 u" x4 ]) D6 @) I( S
其次,一旦开启了密钥使用跟踪功能,使用仪表盘和数据导出功能就能够提供基于每个API 密钥的详细使用指标。这样一来,只需为不同的功能、团队、产品或项目分配独立的 API 密钥,就可以轻松地监控到各自的使用情况。- M! B! F3 I% q& h0 F
, X5 K' n; n& n1 M8 R7 M5 ]
在接下来的几个月里,OpenAI计划为开发者提供更多便利,让他们能够更好地监控 API 使用情况并管理 API 密钥,这一点对于大型组织来说尤其重要。$ q1 [% I. z4 b3 J
; D+ G7 Y$ B( Y+ H, l
' t+ _6 x: B/ r( y+ B6 R/ J! d1 c
2 I( X3 _ v. U, k$ c3 s
! l7 }4 _& S, L, D, Q* H* x; H+ c2 Q* t o' [
/ A0 N# Q/ L& D9 _
|