通過拆解ChatGPT，我們發現：1）單一大模型或為未來AI訓練主流方向；2）大模型訓練可以積累底層語言能力，但需要大算力支持；3）預訓練語言模型和Transformer架構是模型底層能力的根源；4）ChatGPT商業化應用前景廣闊。基于此，我們認為國產廠商或將訓練出自己的GPT模型，AI產業有望迎來景氣周期。
ChatGPT引發范式革命，AI產業發展前景可期
近期由OpenAI團隊發布的聊天機器人軟件ChatGPT，憑借類人的語言理解和表達能力，引發AI產業范式革命。通過拆解ChatGPT，我們發現：1）單一大模型或為未來AI訓練主流方向；2）大模型訓練可以積累底層語言能力，但需要大算力支持；3）預訓練語言模型和Transformer架構是模型底層能力的根源；4）ChatGPT商業化應用前景廣闊。基于此，我們認為國產廠商或將訓練出自己的GPT模型，AI產業有望迎來景氣周期。
背景：發源于OpenAI，成名于生成式語言
OpenAI于2015年在舊金山成立，主要從事人工智能研究。2019年OpenAI收到微軟注資 10億美元，就Azure業務開發人工智能技術。2020年發布GPT-3語言模型，由微軟獲得獨家授權。2022年，OpenAI在GPT-3.5的基礎上推出了ChatGPT，強化了人工智能的語言對話能力，引起社會廣泛關注。2023年，微軟擬對OpenAI追加數十億美元投資，利用自身算力基礎設施資源發揮與OpenAI業務協同效應，深入布局生成式AI技術。
原理：AI大模型里程碑式的勝利
ChatGPT采用監督學習+獎勵模型進行語言模型訓練，主要包括三個步驟：1）第一階段：訓練監督策略模型。在ChatGPT模型的訓練過程中，需要標記者的參與監督過程；2）第二階段：訓練獎勵模型。借助標記者的人工標注，訓練出合意的獎勵模型，為監督策略建立評價標準；3）第三階段：采用近端策略優化進行強化學習。通過監督學習策略生成PPO模型，將最優結果用于優化和迭代原有的PPO模型參數。
我們認為，ChatGPT的訓練過程采用單一模型+小樣本學習+人類微調監督方式進行，取得了良好效果，驗證了AI大模型應用前景，大模型路線有望成為未來主流。
模型：三個維度拆解GPT模型特征
我們認為，ChatGPT的成功離不開AI大模型的加持，強大的算法訓練模型，使得ChatGPT在迭代中獲得實現接近自然語言的表達能力。拆解模型來看：
1）ChatGPT使用單一大模型，積累強大底層通用能力，背后來自微軟豐富的算力資源支持，并通過引入監督學習，有效填補了大模型同質化漏洞；
2）模型的具體訓練模式，采用的是預訓練語言模型，而預訓練語言模型無需人工標簽，具備高效性、通用性與正則化等內生優勢，且二代模型具備上下文交互能力，推動模型語義理解能力升級；
3）Transformer是大模型高效運行的根基，天然適合高并發訓練，通過編碼器堆疊實現底層架構搭建。
應用：打開AIGC應用新局面
ChatGPT屬于AIGC的具體應用，相比過去的AI產品，在模型類型、應用領域、商業化等層面呈現出新的特點。
1）技術方面：ChatGPT屬于自然語言處理領域，與早期的自然語言技術相比，ChatGPT采用大模型進行訓練，并加入人工反饋增強學習(RLHF)方法，實現了效果提升；
2）應用方面：ChatGPT屬于生成式AI，相比于分析型AI，不局限于已有的內容，已在文藝創作，代碼處理，營銷等多個創造性場景內得到應用；
3）商業化方面：ChatGPT在商業化方面彰顯出強于以往AI應用的潛力，一方面用戶數快速增長，另一方面得到了微軟為代表的科技巨頭的支持，應用有望快速推廣。
風險提示：宏觀經濟波動；下游需求不及預期。
01 背景：發源于OpenAI，成名于生成式語言
OpenAI是一家世界領先的非營利性人工智能研究公司。OpenAI于2015年在舊金山成立，是一家非營利的人工智能研究公司，公司的目標是以最有可能造福全人類的方式推進人工智能，而不受財務回報需求的約束。OpenAI創始人背景深厚，由埃隆·馬斯克與硅谷孵化器Y Combinator投資人山姆·阿爾特曼等人聯合創立。公司研究人員經驗豐富，包括前Google Brain研究科學家伊利亞·蘇茨凱弗與前Stripe首席技術官格雷格·布羅克曼等世界一流研究工程師與科學家。
微軟持續增資，布局生成式AI技術。2018年，隨著特斯拉對AI的應用深入，為避免潛在利益沖突，馬斯克主動離任董事會，僅保留捐資人和顧問的身份。由于AI訓練花費金額巨大，2019年公司從非營利性公司轉向部分盈利公司，成立了OpenAI LP利潤上限子公司，即任何對OpenAI LP投資的收益都將統一轉移至一家非盈利公司，回報達到投資的100倍后進行利潤分配。同年，OpenAI收到微軟注資 10億美元，就Azure業務開發人工智能技術。2020年發布GPT-3語言模型，由微軟獲得獨家授權。2022年發布ChatGPT的自然語言生成式模型，帶來更大潛在應用空間。2023年，微軟擬對OpenAI追加數十億美元投資，利用自身算力基礎設施資源發揮與OpenAI業務協同效應，深入布局生成式AI技術。
OpenAI產品發布密集，產品涵蓋音頻制作、圖像生成和語言對話人工智能。2016年，推出用于開發和比較強化學習算法的工具包OpenAI Gym，加速公開社會中RL研究進度。同時推出Universe軟件平臺，用于測試和訓練 AI 在全球游戲、網站和其他應用程序中的智能程度。2019年，OpenAI推出深度神經網絡MuseNet，可以使用 4 種不同的樂器生成 10 分鐘的音樂作品以及最終模型版本的GPT-2。2020年，研發團隊在GPT-2的基礎上拓展參數，發布了GPT-3語言模型。2021年，發布了轉換器語言模型DALL·E，從文本描述生成圖像。2022年，OpenAI在GPT-3.5的基礎上推出了ChatGPT，強化了人工智能的語言對話能力，引起社會廣泛關注。
OpenAI當前盈利主要通過付費API接口，并嘗試拓展盈利模式。目前，OpenAI提供GPT-3、Codex以及DALL·E的API數據接口，分別執行用戶自然語言任務、自然語言轉換為代碼的任務以及創建和編輯圖像的任務。API接口根據類型不同以流量收費，比如圖像模型以分辨率分類按張數收費，語言模型則以基于的子模型型號按字符數收費。OpenAI API盈利情況較好，據路透社數據，OpenAI 2022年收入數千萬美元，公司預計2023與2024年收入分別為2億美元和10億美元。同時，OpenAI正嘗試拓展自身盈利模式，2023年1月試點推出訂閱制ChatGPT Plus，收取每月20美元的會員費以得到各類優先服務。
02 原理：AI大模型里程碑式的勝利
ChatGPT采用監督學習+獎勵模型進行語言模型訓練。ChatGPT使用來自人類反饋的強化學習 (RLHF) 來訓練該模型。首先使用監督微調訓練了一個初始模型：人類 AI 訓練員提供對話，他們在對話中扮演雙方——用戶和 AI 助手。其次，ChatGPT讓標記者可以訪問模型編寫的建議，以幫助他們撰寫回復。最后，ChatGPT將這個新的對話數據集與原有數據集混合，將其轉換為對話格式。具體來看，主要包括三個步驟：
1）第一階段：訓練監督策略模型。在ChatGPT模型的訓練過程中，需要標記者的參與監督過程。首先，ChatGPT會從問題數據集中隨機抽取若干問題并向模型解釋強化學習機制，其次標記者通過給予特定獎勵或懲罰引導AI行為，最后通過監督學習將這一條數據用于微調GPT3.5模型。
2）第二階段：訓練獎勵模型。這一階段的主要目標，在于借助標記者的人工標注，訓練出合意的獎勵模型，為監督策略建立評價標準。訓練獎勵模型的過程同樣可以分為三步：1、抽樣出一個問題及其對應的幾個模型輸出結果；2、標記員將這幾個結果按質量排序；3、將排序后的這套數據結果用于訓練獎勵模型。
3）第三階段：采用近端策略優化進行強化學習。近端策略優化（Proximal Policy Optimization）是一種強化學習算法，核心思路在于將Policy Gradient中On-policy的訓練過程轉化為Off-policy，即將在線學習轉化為離線學習。具體來說，也就是先通過監督學習策略生成PPO模型，經過獎勵機制反饋最優結果后，再將結果用于優化和迭代原有的PPO模型參數。往復多次第二階段和第三階段，從而得到參數質量越來越高的ChatGPT模型。
從ChatGPT的訓練原理中，我們不難發現，這一訓練過程存在幾個特點：
1）采用的是單一大模型。在GPT模型興起之前，大多數AI模型主要是針對特定應用場景需求進行訓練的小模型，存在通用性差、訓練數據少、適應范圍小的弊端。而我們看到，ChatGPT雖然在過程中使用了獎勵模型等輔助手段，但最終用于實現自然語言理解和生成式功能的主模型只有一個，但卻在語義理解、推理、協作等方面表現出了更強能力。因此，我們認為，ChatGPT的成功，驗證了參數增長、訓練數據量增大，對AI模型的重要意義。
2）采用的是小樣本學習方法。在小樣本學習（Few-shot Learning）方法下，AI預訓練模型在不必使用大量標記的訓練數據，就可以建立起比較通用的泛化能力。簡單來說，小樣本學習即是在給定有限信息和較少訓練數據的情況下，嘗試對總體規律進行理解和預測，這一過程類似于“學習如何去學習”。對于小樣本學習在ChatGPT中的應用，我們認為，這一方法解決了大模型數據標注工作量巨大的問題，是模型得以迅速迭代的基礎。
3）采用人類反饋微調監督學習。ChatGPT是從GPT3.5（即InstructGPT）改進而來的版本，相比于前代，ChatGPT主要變化在于采用了人類反饋機制，對監督學習過程進行微調。本質上來說，無論是大模型還是小樣本學習，解決的目標都是提升訓練的效率，但真正令ChatGPT實現結果準確、合理的關鍵技術，還是在于加入了人類反饋。據Long Ouyang等人2022年發表的《Training language models to follow instructions with human feedback》，InstructGPT僅用13億個參數就實現了比1750億個參數的GPT-3更優的輸出解雇，顯著提升了真實性、減少了有害信息的輸出。
03 模型：三個維度拆解GPT模型特征
拆解GPT模型可以幫助理解ChatGPT之所以強大的原因。從前面的討論中，我們發現，ChatGPT的成功離不開AI大模型的加持，強大的算法訓練模型，使得ChatGPT在迭代中獲得實現接近自然語言的表達能力。而這一切的核心，都來自一個模型：GPT模型。因此，我們以GPT模型為核心，從三個維度出發去拆解GPT模型，以此進一步挖掘ChatGPT強大背后的原因。
維度一：單一大模型
ChatGPT使用單一大模型，積累強大底層通用能力。對于ChatGPT所用到的訓練模型，從模型體量來看，屬于AI單一大模型的范疇。對比傳統AI訓練模型，單一大模型的“大”體現在：1）更多的模型參數量；2）更大的數據處理量；3）更大的訓練計算量。模型體量的增大，帶來的最直接變化，在于AI模型通用能力的跨越式提升。傳統的AI訓練方法，大多以單一知識領域的應用為目標，主要使用特定領域有標注的數據進行模型訓練，模型通用性差，如果更換使用場景，往往需要進行重新訓練。而大模型的訓練，一是能使用的數據來源更加廣泛，可用數據量更大；二是對標注要求更低，只需要對數據進行微調甚至不調就可以用于訓練；三是輸出的能力更加泛化通用，在語義理解、邏輯推理、文本表達等方面能力更出眾。
從通用到特殊，單一大模性具備豐富的垂直領域應用潛力。基于對底層能力的訓練，AI大模型積累了對于數據背后特征和規則的理解，因此在進行垂直領域的時候，可以做到“舉一反三”。這一過程，與人類學習知識的過程類似，都是先學習如何去學習，再構建聽說讀寫能力，最后在不同學科深入探索。AI大模型也是一樣，在完成通用能力積累之后，可以將學習能力移植到需要應用的特定領域，通過投喂垂直領域數據，可以使模型達到目標場景所需的性能。
大模型訓練需要大算力支持，ChatGPT坐擁豐富算力資源。我們認為，從大模型自身的發展過程來看，參數量的變化是一個非常值得關注的指標。從最早的ResNet、Inception等模型，到如今的GPT，模型參數量不斷增長。2018年前后OpenAI先后推出Transformer和GPT-1模型，參數量來到1億級別。隨后谷歌提出3億參數的BERT模型，參數量再次增長。2019、2020年，OpenAI加速追趕，陸續迭代出GPT-2、GPT-3模型，參數量分別為15億、1750億，實現模型體量質的飛躍。另一方面，參數運算需要大規模并行計算的支持，核心難點在于內存交換效率，取決于底層GPU內存容量。以英特爾為例，從2017年V100的32GB內存到2020年A100的80GB內存，GPU內存容量的提升量級與模型參數相比顯然不在同一量級。而ChatGPT的解決方法，則是與微軟聯手，借助Azure強大的基礎算力設施，為ChatGPT提供訓練支持。
AI大模型會帶來特性涌現和模型同質化問題。2021年8月，李飛飛等學者于arXiv發表《On the Opportunities and Risk of Foundation Models》，將大模型統一命名為Foundation Models，即基礎模型或基石模型。此外，論文還提出基礎模型面臨的兩大問題：1）同質化。盡管基礎模型基于標準的深度學習和遷移學習，但其規模導致了新能力的涌現，其在眾多任務中的有效性激勵了同質化的產生；2）特性涌現。盡管基礎模型即將被廣泛部署，但目前研究者對其如何工作、何時失效以及其涌現的特性衍生了何種能力尚缺乏清晰的理解。舉例來看，如機器學習的引入，使得算法從數據案例中學會了如何執行（自動推斷）；深度學習的引入，涌現了用于預測的高級特征；基礎模型的引入，涌現了上下文學習等高級功能。但在這一過程中，機器學習使學習算法變得同質化（例如，邏輯回歸），深度學習使模型架構同質化（例如，卷積神經網絡架構），大模型使得下游模型同質化（例如，下游模型一定會繼承上游模型缺陷）。
ChatGPT通過引入監督學習，有效填補了大模型同質化漏洞。從本質上來說，上下游模型同質化的問題無法被完全解決，OpenAI選擇的方向是盡可能填補缺陷漏洞。從GPT-3.5版本開始，OpenAI團隊在模型中引入了監督學習過程。在監督學習模式下，人類反饋機制開始加入到模型訓練過程，從而不斷糾正模型生成結果，逐步提升輸出結果的準確性和真實性。隨著大模型朝著越來越符合人類期望的方向演進，對話邏輯和表達方式逐漸逼近人類水平，才最終達到我們今天所看到的樣子。
AI大模型加持下，ChatGPT有望加速迭代。通過拆解單一大模型的原理、特征及發展歷程，我們發現單一大模型的引入，是ChatGPT強大語言的根本來源。展望未來，我們認為ChatGPT或將在大模型加持下加速迭代，主要因為：1）大模型訓練效果取決于數據量，目前ChatGPT僅使用2021年之前的數據，隨著更多數據的加入，模型底層語言能力有望進一步加強；2）大模型具備能力遷移潛力，垂直領域應用或將加速ChatGPT進化；3）OpenAI背靠微軟，大算力資源為模型演進提供保障；4）隨著軟件用戶規模持續擴張，用戶自身的反饋又會帶來類似監督學習的效果，或將帶動ChatGPT加速迭代。基于此，我們看好AI大模型及ChatGPT未來應用前景，商業化落地或將加快。
維度二：預訓練語言模型
拆解模型來看，主要關注預訓練語言模型和Transformer特征抽取器。我們前面討論了ChatGPT背后所使用的AI大模型及其迭代過程，但如果我們將拆解動作繼續深入，在更細顆粒度的視角下，其實可以將訓練模型做進一步的拆解。實際上，GPT（General Pre-Training）即通用預訓練語言模型，簡單來說就是一種利用Transformer作為特征抽取器，基于語言模型進行預訓練的模型。因此，接下來我們從模型的兩個關鍵特征出發，分別從預訓練語言模型和Transformer特征抽取器的角度來分析GPT模型的迭代過程。
預訓練語言模型無需人工標簽，為NLP研究帶來質變。預訓練屬于遷移學習的范疇，其思想是在利用標注數據之前，先利用無標注的數據，即純文本數據訓練模型，從而使模型能夠學到一些潛在的跟標注無關的知識，最終在具體的任務上，預訓練模型就可以利用大量的無標注數據知識，標志著自然語言處理模型進入了大規模復制階段。從實現原理上來看，預訓練語言模型是通過計算某個詞句w的出現概率，即p(W)，在給定詞句的情況下，可以自行計算出后一個詞或句出現的概率。因此，GPT的訓練可以在無人工標簽的基礎上進行，通過連續不斷地預測、迭代參數、再預測，模型最終實現語言能力的學習。
預訓練語言模型與神經網絡語言模型的區別在于初始參數的選取。上一代神經網絡語言模型訓練思想是基于后向傳播（BP）算法：先通過對網絡模型參數進行隨機初始化，然后通過優化算法去優化模型參數。而預訓練語言模型的初始參數并非隨機，而是先通過一個任務訓練得到一套模型參數，再以這套參數對模型初始化，進而繼續反復訓練。
預訓練語言模型的內生優勢：高效性、通用性與正則化。模型初始參數選取方式不同使得預訓練語言模型擁有諸多優勢：1）訓練高效性，神經網絡語言模型中隨機的初始參數加大訓練復雜度，而預訓練能得到較好的初始化參數，后續訓練更加高效。2）語言通用性，經過預訓練的語言模型更接近通用語言表示（Universial Language Representations），適應于多領域實際應用場景。3）提供正則化，由于模型復雜性高，神經網絡模型的優化算法易陷入過度擬合，導致實際測試表現遠低于樣本測試表現。預訓練模型相當于一個正則化過程，僅通過幾步精修得到模型，很大程度上避免了過度擬合。
預訓練語言模型的應用優勢：對數據處理程度要求低，可利用海量無標注數據。在大多數基于統計方法和神經網絡的自然語言處理模型中都需要大量已標注的數據集來滿足模型訓練，但并非所有的訓練任務都能獲取足夠的標注信息。同時，隨著模型復雜度和參數數量的增加，大多數數據集的大小難以支持訓練。而預訓練模型能先通過利用無標注的數據訓練模型，解決傳統模型無法解決的實際問題。而且由于預訓練語言模型可以利用現實世界中大量的純文本數據訓練，擴大了其訓練范圍和規模，擁有發掘大模型（Foundation Models）的潛力。
對比兩代預訓練語言模型，二代模型具備上下文交互能力。第一代預訓練模型是靜態詞向量模型，經訓練給每一個詞賦予靜態詞向量，讓相似的詞聚集在一起，實現了符號空間到向量空間的映射，經典結構有Continuous Bag-of-Words(CBOW)和Skip-Gram(SG)等。而由于第一代模型的詞向量靜態性，使其不能結合上下文，進而有無法分辯同義詞等缺陷。最新的第二代預訓練模型，包括BERT、GPT等則在此基礎上允許靜態詞向量與上下文交互，這種動態詞向量優化了同義詞問題。目前，第二代預訓練模型的標準范式是“預訓練+微調”：首先在大量的文本上訓練出一個預訓練語言模型，再根據實際情況對得到的預訓練語言模型進行微調，加強了模型對下游應用場景的契合度。
維度三：Transformer特征抽取器
Transformer是大模型高效運行的根基。前面我們從單一大模型出發，對預訓練語言模型進行了拆解。但如果我們繼續深入，會發現語言模型仍然不是GPT模型的最底層，語言模型之下還需要有具體的調度架構和運算邏輯，來實現最終的計算。我們認為，Transformer特征抽取器在GPT模型中，就承擔了這樣的一個角色，直接決定了AI大模型能否實現高效率的運算和學習。
Transformer模型較RNN并行計算能力更強，提升了大模型訓練效率。Transformer模型最早由谷歌在2017年提出，屬于深度學習模型架構的一種，特點是在學習中引入了注意力機制。對比循環神經網絡(RNN)來看，Transformer與RNN均對輸入數據，如自然語言等，進行順序處理，并主要應用于翻譯和文本摘要等工作。但Transformer與RNN不同的是，Transformer中的注意機制可以為輸入序列中的任何字符提供上下文，因此可以一次處理所有輸入，而不是一次只處理一個詞。因此，與RNN相比，Transformer可以實現更大規模的并行計算，大大減少了模型訓練時間，使得大規模AI模型得以被應用。
Transformer解碼模塊是GPT模型的核心要建。從Transformer架構細節來看，核心是由編碼模塊和解碼模塊構成，而GPT模型只用到了解碼模塊。拆解模塊來看，大致分為三層：前饋神經網絡層、編碼/解碼自注意力機制層（Self-Attention）、自注意力機制掩碼層。其中，自注意力機制層主要作用在于計算某個單詞對于全部單詞的權重（即Attention），掩碼層則需要在這一過程中幫助模型屏蔽位于計算位置右側尚未出現的單詞，最后輸出的向量結果輸入前饋神經網絡，完成模型參數計算。
解碼模塊大量堆疊，最終形成GPT模型完整架構。在GPT模型中，解碼模塊相當于基本架構單元，通過彼此堆疊的方式，拼湊成最終我們看到的GPT模型底層架構。這里有兩個值得關注的要點：1）解碼模塊的數量決定了模型的規模，GPT-1一般有12個模塊，GPT-2有48個，GPT-3則有96個模塊；2）針對模塊輸出的結果還需要進行Finetune（對模型進行調優）。
04 應用：打開AIGC應用新局面
ChatGPT屬于AIGC的具體應用，相比過去的AI產品，在模型類型、應用領域、商業化等層面呈現出新的特點。1）技術方面：ChatGPT屬于自然語言處理領域，與早期的自然語言技術相比，ChatGPT采用大模型進行訓練，并加入人工反饋增強學習(RLHF)方法，實現了效果的明顯提升；2）應用方面：ChatGPT屬于生成式AI，相比于分析型AI，不局限于已有的內容，已在文藝創作，代碼處理，營銷等多個創造性場景內得到應用；3）商業化方面：ChatGPT在商業化方面彰顯出強于以往AI應用的潛力，一方面用戶數快速增長，另一方面得到了微軟為代表的科技巨頭的支持，應用有望快速推廣。
技術新：Transformer架構+RLHF，NLP領域迎來新突破
Transformer架構逐步成為主流。自然語言處理從技術的發展可分為三個時期：1）一般機器學習模型階段（2013年前）：自然語言處理多采用機器學習和一般的統計學方法來分析詞語或者句子之間的聯系；2）深度學習模型階段（2013-2017年）：深度學習算法被引入NLP領域，在這一階段內主要通過增加層深和模型容量提升訓練效果；3）Transformer架構逐步成為主流（2017至今）：2017年transformer架構面世，使得深度學習對語言的理解更加深入，基于transformer架構的GPT及BERT的陸續發布，影響力進一步擴大。
ChatGPT模型優勢在于語言生成。2017年后，應用范圍最廣的是BERT和GPT模型以及在這些模型基礎上做出的改進模型。BERT模型在結構上是一個多層的雙向transformer的Encoder模型，GPT是由12個Transformer中的Decoder模塊經修改后組成。相比來說，BERT模型的核心優勢在于自然語言理解，GPT模型的核心優勢在于自然語言生成。BERT的改進模型有RoBERTa、ALBERT等，GPT的改進模型有GPT2、GPT3、ChatGPT等。隨著人工反饋增強學習(RLHF)方法的加入，模型能夠在與人類標注者互動時通過人類的反饋進行強化學習。人類標注者則可對初始模型生成的結果進行修改、比較和排序，幫助模型進行訓練。ChatGPT在效果上取得重大突破，在語言生成領域形成優勢。
應用新：生成式AI應用于創造性工作
生成式AI應用于創造性工作。AI可分為生成式AI和分析型AI，其中分析型AI（Analytical AI），主要在給定數據的情況下，通過分析找出規律和關系，并在此基礎上生成報告或給出建議。比如通過追蹤客戶行為以刻畫用戶畫像，并基于此進行個性化推薦，實現精準營銷；通過收集城市中傳感器的大量數據并分析，預測天氣及環境污染情況，從而幫助相關部門進行政策制定。不同于分析型AI局限于分析已有內容，生成式AI（Generative AI）可以通過學習已有數據和信息生成多種形式的新的內容，在創造性工作的領域進行應用，目前生成式AI的應用主要包括生成文本、圖像、對話、音視頻、代碼、3D等。
ChatGPT是典型的生成式AI。ChatGPT通過學習大量語料并通過生成模型生成文本回答，其基礎GPT-3是一個大型語言模型。該模型通過對大量語料的預訓練，學習了語言的語法、語義、語用等特征，并通過對語言的生成任務進行微調，以適應各種應用場景。目前，除了ChatGPT外，有大量AIGC應用產品基于GPT-3模型。
商業化潛力：巨頭紛紛發力，商業化潛力較大
ChatGPT用戶突增彰顯商業化潛力，內容生成或成ChatGPT重要應用。據各公司官網，ChatGPT從0到100萬用戶數僅花費5天，速度遠超其他平臺。從活躍用戶角度，據Similarweb，2023年1月期間，ChatGPT平均每天約有1300萬獨立訪客，超出22年12月一倍。用戶數量的快速擴大反映了ChatGPT具備較強的商業化潛力。
國內外巨頭持續發力布局AIGC。AIGC（AI Generated Content）指由人工智能生成的內容，包括文本、圖像、音頻、3D等多種類型，具有高效及自動化生產的特點。近年來谷歌、亞馬遜、百度等國內外巨頭持續布局AIGC。2014年，谷歌以超5億美元的價格收購人工智能公司DeepMind；2023年3月，谷歌宣布向人工智能初創公司Anthropic投資約3億美元，建立新的合作伙伴關系；2022年11月，亞馬遜宣布與AI制圖平臺Stability AI合作，成為其首選云合作伙伴，同時為其提供亞馬遜Tradium芯片；2021年4月，華為諾亞方舟實驗室聯合多部門推出首個2000億參數中文預訓練模型盤古α；2023年2月，百度官宣類ChatGPT大模型新項目文心一言（英文名 ERNIE Bot）。
風險提示：
1、宏觀經濟波動。若宏觀經濟波動，產業變革及新技術的落地節奏或將受到影響，宏觀經濟波動還可能對IT投資產生負面影響，從而導致整體行業增長不及預期。
2、下游需求不及預期。若下游數字化需求不及預期，相關的數字化投入增長或慢于預期，致使行業增長不及預期。
