GPT的最后一个T是Transformer,不是Train…… 全名是Generative Pre-trained Transformer。 这个Transformer,本身就是Google Brain给的灵魂(Attention is All You Need - Google Brain, 2017) 加上OpenAI的工作实际上在技术上没有什么大的改进,主要的价值是证明只要你参数量(GPT3有1750亿个)够多Transformer就一定可以work。 Google要是想做,像SimCLR这种力大砖飞的工作本身就属于Google最擅长的领域。
感謝補充,沒錯,尤其這又與BERT的T相對應(Bidirectional Encoder Representations from Transformers)。最早OpenAI還未給他名字,GPT-3的論文"Improving Language Understanding by Generative Pre-Training"也還是僅使用Generative Pre-Training,GPT算是外界對它的稱呼,但在ChatGPT中,OpenAI明確正名為"Chat Generative Pre-trained Transformer",這個名字也確實能看出GPT的發展脈絡
@freedom753 Жыл бұрын
@@PanScitw 嗯,我覺得這個定義蠻重要的,也許可以說明多了這個技術的重要性
@team6612 Жыл бұрын
Bard 的介紹有誤,Bard 使用的是 Google 於 2020 年發表的 LaMDA 而非 BERT,LaMDA 和 GPT 一樣是 decoder-only transformer model