人工智能[1579]
一、Sora的概念介紹
OpenAI發(fā)布了“文生視頻”（text-to-video）的大模型工具，Sora（利用自然語言描述，生成視頻）。這個消息一經(jīng)發(fā)出，全球社交主流媒體平臺以及整個世界都再次被OpenAI震撼了。AI視頻的高度一下子被Sora拉高了，要知道Runway Pika等文生視頻工具，都還在突破幾秒內(nèi)的連貫性，而Sora已經(jīng)可以直接生成長達60s的一鏡到底視頻，要知道目前Sora還沒有正式發(fā)布，就已經(jīng)能達到這個效果。
Sora這一名稱源于日文“空”（そら sora），即天空之意，以示其無限的創(chuàng)造潛力。
看完這個圖，各位應(yīng)該就能明白Sora對同類工具的沖擊力有多大了吧。
Sora有別于上述AI視頻模型的優(yōu)勢在于，既能準(zhǔn)確呈現(xiàn)細(xì)節(jié)，又能理解物體在物理世界中的存在，并生成具有豐富情感的角色，甚至該模型還可以根據(jù)提示、靜止圖像甚至填補現(xiàn)有視頻中的缺失幀來生成視頻。
二、Sora的實現(xiàn)路徑
Sora的重要意義在于它再次推動了AIGC在AI驅(qū)動內(nèi)容創(chuàng)作方面的上限。在此之前，ChatGPT等文本類模型已經(jīng)開始輔助內(nèi)容創(chuàng)作，包括插圖和畫面的生成，甚至使用虛擬人制作短視頻。而Sora則是一款專注于視頻生成的大模型，通過輸入文本或圖片，以多種方式編輯視頻，包括生成、連接和擴展，屬于多模態(tài)大模型的范疇。這類模型在GPT等語言模型的基礎(chǔ)上進行了延伸和拓展。
Sora采用類似于GPT-4對文本令牌進行操作的方式來處理視頻“補丁”。其關(guān)鍵創(chuàng)新在于將視頻幀視為補丁序列，類似于語言模型中的單詞令牌，使其能夠有效地管理各種視頻信息。通過結(jié)合文本條件生成，Sora能夠根據(jù)文本提示生成上下文相關(guān)且視覺上連貫的視頻。
在原理上，Sora主要通過三個步驟實現(xiàn)視頻訓(xùn)練。首先是視頻壓縮網(wǎng)絡(luò)，將視頻或圖片降維成緊湊而高效的形式。其次是時空補丁提取，將視圖信息分解成更小的單元，每個單元都包含了視圖中一部分的空間和時間信息，以便Sora在后續(xù)步驟中進行有針對性的處理。最后是視頻生成，通過輸入文本或圖片進行解碼加碼，由Transformer模型（即ChatGPT基礎(chǔ)轉(zhuǎn)換器）決定如何將這些單元轉(zhuǎn)換或組合，從而形成完整的視頻內(nèi)容。
總體而言，Sora的出現(xiàn)將進一步推動AI視頻生成和多模態(tài)大模型的發(fā)展，為內(nèi)容創(chuàng)作領(lǐng)域帶來了新的可能性。
三、Sora的6大優(yōu)勢
記者對報告進行梳理，總結(jié)出了Sora的六大優(yōu)勢：
（1）準(zhǔn)確性和多樣性：Sora可將簡短的文本描述轉(zhuǎn)化成長達1分鐘的高清視頻。它可以準(zhǔn)確地解釋用戶提供的文本輸入，并生成具有各種場景和人物的高質(zhì)量視頻剪輯。它涵蓋了廣泛的主題，從人物和動物到郁郁蔥蔥的風(fēng)景、城市場景、花園，甚至是水下的紐約市，可根據(jù)用戶的要求提供多樣化的內(nèi)容。另據(jù)Medium，Sora能夠準(zhǔn)確解釋長達135個單詞的長提示。
（2）強大的語言理解：OpenAI利用Dall·E模型的recaptioning（重述要點）技術(shù)，生成視覺訓(xùn)練數(shù)據(jù)的描述性字幕，不僅能提高文本的準(zhǔn)確性，還能提升視頻的整體質(zhì)量。此外，與DALL·E 3類似，OpenAI還利用GPT技術(shù)將簡短的用戶提示轉(zhuǎn)換為更長的詳細(xì)轉(zhuǎn)譯，并將其發(fā)送到視頻模型。這使Sora能夠精確地按照用戶提示生成高質(zhì)量的視頻。
（3）以圖/視頻生成視頻：Sora除了可以將文本轉(zhuǎn)化為視頻，還能接受其他類型的輸入提示，如已經(jīng)存在的圖像或視頻。這使Sora能夠執(zhí)行廣泛的圖像和視頻編輯任務(wù)，如創(chuàng)建完美的循環(huán)視頻、將靜態(tài)圖像轉(zhuǎn)化為動畫、向前或向后擴展視頻等。OpenAI在報告中展示了基于DALL·E 2和DALL·E 3的圖像生成的demo視頻。這不僅證明了Sora的強大功能，還展示了它在圖像和視頻編輯領(lǐng)域的無限潛力。
（4）視頻擴展功能：由于可接受多樣化的輸入提示，用戶可以根據(jù)圖像創(chuàng)建視頻或補充現(xiàn)有視頻。作為基于Transformer的擴散模型，Sora還能沿時間線向前或向后擴展視頻。
（5）優(yōu)異的設(shè)備適配性：Sora具備出色的采樣能力，從寬屏的 1920x1080p 到 豎 屏 的1080x1920，兩者之間的任何視頻尺寸都能輕松應(yīng)對。這意味著Sora能夠為各種設(shè)備生成與其原始縱橫比完美匹配的內(nèi)容。而在生成高分辨率內(nèi)容之前，Sora還能以小尺寸迅速創(chuàng)建內(nèi)容原型。
（6）場景和物體的一致性和連續(xù)性：Sora可以生成帶有動態(tài)視角變化的視頻，人物和場景元素在三維空間中的移動會顯得更加自然。Sora 能夠很好地處理遮擋問題。現(xiàn)有模型的一個問題是，當(dāng)物體離開視野時，它們可能無法對其進行追蹤。而通過一次性提供多幀預(yù)測，Sora可確保畫面主體即使暫時離開視野也能保持不變。
四、Sora存在的缺點
盡管Sora的功能十分的強大，但其在模擬復(fù)雜場景的物理現(xiàn)象、理解特定因果關(guān)系、處理空間細(xì)節(jié)、以及準(zhǔn)確描述隨時間變化的事件方面OpenAI Sora都存在一定的問題。
在這個由Sora生成的視頻里我們可以看到，整體的畫面具有高度的連貫性，畫質(zhì)、細(xì)節(jié)、光影和色彩等方面表現(xiàn)都非常的出色，但是當(dāng)我們仔細(xì)的觀察的時候會發(fā)現(xiàn)，在視頻中人物的腿部會有一些扭曲，且移動的步伐與整體畫面的調(diào)性不相符。
在這個視頻里，可以看到狗的數(shù)量是越來越多的，盡管在這個過程中銜接的非常流暢，但是它可能已經(jīng)背離了我們對于這個視頻最初始的需求。
（1）物理交互的不準(zhǔn)確模擬：
Sora模型在模擬基本物理交互，如玻璃破碎等方面，不夠精確。這可能是因為模型在訓(xùn)練數(shù)據(jù)中缺乏足夠的這類物理事件的示例，或者模型無法充分學(xué)習(xí)和理解這些復(fù)雜物理過程的底層原理。
（2）對象狀態(tài)變化的不正確：
在模擬如吃食物這類涉及對象狀態(tài)顯著變化的交互時，Sora可能無法始終正確反映出變化。這表明模型可能在理解和預(yù)測對象狀態(tài)變化的動態(tài)過程方面存在局限。
（3）長時視頻樣本的不連貫性：
在生成長時間的視頻樣本時，Sora可能會產(chǎn)生不連貫的情節(jié)或細(xì)節(jié)，這可能是由于模型難以在長時間跨度內(nèi)保持上下文的一致性。
（4）對象的突然出現(xiàn)：
視頻中可能會出現(xiàn)對象的無緣無故出現(xiàn)，這表明模型在空間和時間連續(xù)性的理解上還有待提高。
在這里需要引入一個概念“世界模型”
什么是，世界模型？我舉個例子。
你的“記憶”中，知道一杯咖啡的重量。所以當(dāng)你想拿起一杯咖啡時，大腦準(zhǔn)確“預(yù)測”了應(yīng)該用多大的力。于是，杯子被順利拿起來。你都沒意識到。但如果，杯子里碰巧沒有咖啡呢？你就會用很大的力，去拿很輕的杯子。你的手，立刻能感覺到不對。然后，你的“記憶”里會加上一條：杯子也有可能是空的。于是，下次再“預(yù)測”，就不會錯了。你做的事情越多，大腦里就會形成越復(fù)雜的世界模型，用于更準(zhǔn)確地預(yù)測這個世界的反應(yīng)。這就是人類與世界交互的方式：世界模型。
用Sora生成的視頻，并不總是能“咬就會有痕”。它“有時”也會出錯。但這已經(jīng)很厲害，很可怕了。因為“先記憶，再預(yù)測”，這種理解世界的方式，是人類理解世界的方式。這種思維模式就叫做：世界模型。
Sora的技術(shù)文檔里有一句話：
Our results suggest that scaling video generation models is a promising path towards building general purpose simulators of the physical world.
翻譯過來就是：
我們的結(jié)果表明，擴展視頻生成模型是向著構(gòu)建通用物理世界模擬器邁進的有希望的路徑。
意思就是說，OpenAI最終想做的，其實不是一個“文生視頻”的工具，而是一個通用的“物理世界模擬器”。也就是世界模型，為真實世界建模。
五、Sora到底可能產(chǎn)生哪些影響？
未來，AI自動創(chuàng)作將深刻影響各行業(yè)，特別是在處理熱點話題的“時效性覆蓋”方面，AIGC的效率將成為競爭的關(guān)鍵。競爭將主要體現(xiàn)在誰能更有效地駕馭AI的能力，尤其是像Sora這樣強大的AI生產(chǎn)工具。未來可能實現(xiàn)“扔一部小說、出一部大片”的情景，Sora已經(jīng)展示了生成長達1分鐘視頻的能力，包括一鏡到底、多角度切換等多樣化特點。其視頻能夠運用景物、表情和色彩等元素，傳達出各種情感色彩，如孤獨、繁華、呆萌等。
多模態(tài)模型的應(yīng)用也在2024年將達到巔峰，對影視、直播、媒體、廣告、動漫、藝術(shù)設(shè)計等多個行業(yè)產(chǎn)生深遠(yuǎn)影響。在當(dāng)前短視頻時代，Sora已經(jīng)可以承擔(dān)短視頻的攝影、導(dǎo)演和剪輯等任務(wù)。未來，Sora生成的多種用途視頻將對短視頻、直播、影視、動漫、廣告等行業(yè)產(chǎn)生深遠(yuǎn)的影響。
在短視頻創(chuàng)作領(lǐng)域，Sora有望降低短劇制作的綜合成本，解決“重制作而輕創(chuàng)作”的問題。這將使短劇制作的重心回歸高質(zhì)量劇本內(nèi)容創(chuàng)作，對創(chuàng)作者的構(gòu)思能力提出更高要求。為企業(yè)降低成本、提高效益，廣告制作公司可以通過Sora生成符合品牌需求的廣告視頻，從而顯著減少拍攝和后期制作成本。游戲和動畫公司也能夠利用Sora直接生成游戲場景和角色動畫，降低3D模型和動畫制作的成本。通過節(jié)省下來的成本，企業(yè)可以提升產(chǎn)品和服務(wù)質(zhì)量，或進行技術(shù)創(chuàng)新，從而推動生產(chǎn)力的進一步提升。
若說2023年是全球AI大模型大爆發(fā)的一年，是圖文生成元年，那么2024年將迎來AI視頻生成和多模態(tài)大模型的元年。從ChatGPT到Sora，AI正在逐步改變每個個體和每個行業(yè)的現(xiàn)實，這也加快了AGI的實現(xiàn)。
我是一位75歲以上的老人！本站主要是些學(xué)習(xí)體驗與分享(其中會引用一些作品的原話并結(jié)合我的一生體會與經(jīng)驗加工整理而成！在此一并感謝！如有不妥之處敬請與我聯(lián)系,我會妥善處理，謝謝！)我寫的主要是中老年人各方面應(yīng)注意的事兒！退休后我希望通過這個平臺廣交朋友，互助交流，共筑美好生活?。。。。?！ 更多文章請參看http://www.zzz818.com趙站長的博客。期待大家的光臨與指教哦^0^！歡迎大家轉(zhuǎn)發(fā)！
