
太干擾了!所有這個(gè)詞一個(gè)現(xiàn)象級(jí) show time~
前腳字節(jié)剛上線 Seedance 2.0,后腳勝利全網(wǎng)現(xiàn)象級(jí)刷屏!!!
這邊馬斯克怒贊,那里好意思國導(dǎo)演直呼好萊塢要完蛋了。
以致急得不少老外狂催更:啥本事能通達(dá)全球使用?咋注冊(cè)中國賬號(hào)?在線等!挺急的!

如斯之火爆,如斯之 amzing,那咱上下也得上手搓一把試試。
看我搓的這個(gè)全網(wǎng)超火的「貓咪大戰(zhàn)哥斯拉」同款視頻,小貓一躍,勝利一個(gè)重拳出擊~

再來看這個(gè) AI 版《F1 狂飆飛車》,轉(zhuǎn)速表飆升、剎車尖嘯,太有好萊塢內(nèi)味兒了嗷:
再來試試 Chinese kungfu 大戰(zhàn)鋼鐵俠,倆東談主一來一趟近身過招,音效刺激感拉滿,太帶派了!
腦洞掀開的網(wǎng)友們更會(huì)整活兒,快看底下這位網(wǎng)友作念的一鏡到底,鏡頭從街頭一談滑進(jìn)地鐵站、鉆進(jìn)車廂,超有夢(mèng)核感:

還有這位網(wǎng)友,僅僅上傳了一張漫畫截圖,Seedance 2.0 勝利給他整出了一整段劇情視頻,別太 amazing 啊我說!!

安分說,Seedance 2.0 如實(shí)對(duì)鏡頭語言透露更到位也更可控了,參考武藝勝利 next level,很符合咱泛泛作念多鏡頭和考究化落拓使用~
老章程不謊話,咱勝利邊測邊嘮,模子到底能不可打,讓大師來評(píng)!!!
鏡頭透露更到位了復(fù)雜場景也能穩(wěn)住
我不知談 uu 們有莫得碰到過跟我相通的撓頭陡然:
那即是我們泛泛作念 AI 視頻時(shí),一朝觸及觸及多鏡頭的領(lǐng)導(dǎo)詞,主體特征就會(huì)很容易「發(fā)飄」。
舉個(gè)栗子,搓出來的視頻東談主物前后長得不相通,場景和鏡頭作風(fēng)不調(diào)和等等,臨了基本皆會(huì)靠近反復(fù)抽卡的戲碼……
歸根結(jié)底,照舊因?yàn)槟W拥囊恢滦院桶簿感杂?bug。
此次 Seedance 2.0 一個(gè)最彰著的升級(jí)點(diǎn)就落在多模態(tài)輸入狀貌上,咱可以輸入圖像、視頻、音頻、文本四種攙雜執(zhí)行狀貌,模子在畫面一致性上著實(shí)認(rèn)也更穩(wěn)更可控了~
先來點(diǎn)開胃菜,最近網(wǎng)上邵氏武俠 AI 視頻火得不行,于是我勝利輸入一張武林中東談主對(duì)打的動(dòng)作寫照照:

在具體領(lǐng)導(dǎo)詞的遐想上,需要畫面里的男女扮裝在對(duì)話、厚誼變化、動(dòng)作伸開到再次寶石之間釀成一條竣工的沖破鏈,同期需要 AI 在多鏡頭切換中穩(wěn)住東談主物外形,并在全體作風(fēng)和厚誼基調(diào)上保捏一致!

從底下的后果看,在大幅動(dòng)作和屢次鏡頭切換進(jìn)程中,即便東談主物格式和鏡頭角度發(fā)生變化,但男女主的面部特征依然安靖,莫得彰著變形的問題,不戳不戳!
咱再來玩點(diǎn)挑升義的,這回咱讓蒙娜麗莎在盧浮宮演出一出盧浮宮偷喝可樂的《大戲》。
在領(lǐng)導(dǎo)詞遐想里,蒙娜麗莎需要長久固定在原有畫像中完成掏可樂、喝可樂這么幅度不小的動(dòng)作,還要同步出現(xiàn)言語格式,對(duì)模子的安靖性條目一下子就拉高了:

你還真別說,蒙娜麗莎這偷喝可樂時(shí)鬼頭鬼腦的小目光和動(dòng)作還真挺到位,言語時(shí)面部一致性也穩(wěn)住了,手扶畫框的動(dòng)作莫得出戲,過關(guān)過關(guān)!!
咱再來玩?zhèn)€首尾幀玩法,馬年到了趕巧應(yīng)應(yīng)景,我上傳了兩張畫風(fēng)完全不同的馬兒奔走圖片,讓這匹馬在統(tǒng)一個(gè)畫面里完成一次大變身:

有點(diǎn)東西……從水墨風(fēng)一談過渡到油畫風(fēng),再到像素風(fēng),全體銜尾得很天然,音效和變身動(dòng)作也卡得挺準(zhǔn)!!!
總的來說,我個(gè)東談主嗅覺模子在畫面一致性和可控性這塊著實(shí)認(rèn)照舊蠻強(qiáng)的,泛泛用來作念多扮裝、多鏡頭的視頻制作場景很合適~
在使用時(shí)提議大師盡量多上傳一些不同角度、不同參考元素,這么模子全體的輸出水準(zhǔn)會(huì)更穩(wěn)一些~

一鏡到底也能拍
在此次更新中,Seedance 2.0 還有一個(gè)大功能亮點(diǎn)即是——「一鏡到底」。
然而這個(gè)一鏡到底和我們解析的不太相通,它主要強(qiáng)調(diào)的是我們可以給模子不同的參考畫面,模子可以把這些畫面用一個(gè)視頻串聯(lián)起來~
此次,咱玩點(diǎn)過去科幻感的,我勝利給模子喂了三張賽博味拉滿、視角各不籌商的一百年后的地球城市參考畫面:

在領(lǐng)導(dǎo)詞設(shè)定上,需要模子在統(tǒng)一視角里把圖一到圖二再到圖三順暢串起來,中間還要完成急轉(zhuǎn)、俯沖、拉升等大幅運(yùn)鏡,對(duì)鏡頭銜尾的邏輯和連貫性條目更高:

于是乎,我就獲得了一個(gè)無東談主機(jī)視角的過去城市穿越大片,別說,金沙電玩app這鏡頭畫面的超絕抖動(dòng)感還挺帶派???
先說說優(yōu)點(diǎn),輸入中觸及的三個(gè)參考鏡頭如實(shí)皆給我竣工收復(fù)在視頻里了,何況如實(shí)是一鏡到底,這沒得說。
但一個(gè)算不上弊端的弊端的是——圖一和圖二的畫面銜尾太硬了點(diǎn),我延緩給大師看:

其實(shí)我個(gè)東談主更理想的情況是,在圖一和圖二之間應(yīng)該加一段狹小空間算作過渡,這么再切到圖三時(shí),全體的連貫感會(huì)更好,也不太會(huì)有割裂的嗅覺。
(大師以為呢,有啥更好的處分方式嗎,接待留言~)
救濟(jì)竣工劇情輸出
在一致性和安靖性方面,Seedance 2.0 還有一個(gè)法子是能我方——腦補(bǔ)劇情。
它不僅僅基于首幀往青年景畫面,而是可以阿諛多份參考素材和領(lǐng)導(dǎo)詞,勝利跑一整段竣工的「劇情輸出」。
此次我干脆讓 AI 按一套六宮格漫畫,勝利創(chuàng)作一支竣工的劇情向動(dòng)漫視頻:
將【@圖片 1】以從左到右從上到下的規(guī)章進(jìn)行漫畫演繹,保捏東談主物說的臺(tái)詞與圖片上的一致,分鏡切換以及要點(diǎn)的情節(jié)演繹加入至極音效,全體作風(fēng)詼諧幽默。

emm …畫面自己倒是沒啥問題,六個(gè)畫面皆被竣工收復(fù)了出來。
問題主要出在翰墨上,不少字體和原漫畫里的案牘對(duì)不上,何況翰墨出現(xiàn)的時(shí)機(jī)也和畫面不同步。
我猜可能是因?yàn)楹材约翰粚儆诋嬅嬷黧w的一部分,相較于東談主物、動(dòng)作和場景這些畫內(nèi)元素,漫畫里的翰墨對(duì)模子來說優(yōu)先級(jí)彰著更低。
是以在多鏡頭和節(jié)拍切換時(shí)很容易被當(dāng)成可變?cè)靥幚怼?/p>
盡然啊,東談主不可既要又要還要,AI 亦然同理。(doge
視頻長度 / 音效也能 diy
除了基礎(chǔ)的畫面鏡頭武藝外,Seedance 2.0 在視頻延伸和音效剪輯上也上了一個(gè) level。
先來說說視頻延伸。
uu 們需要留意的是,它這個(gè)延伸并不是單純把視頻時(shí)分拉長,而是我們可以在領(lǐng)導(dǎo)詞里給出首幀畫面,并可以明確「標(biāo)注出」需要生成的視頻時(shí)長。
此次我給 AI 喂的是一張 3D 作風(fēng)、正在奔走的甜甜圈圖片,條目它延伸生成一段 10 秒的視頻,并在進(jìn)程中完成翻騰、向上、滑行等一整套聚攏動(dòng)作:

好好好,視頻時(shí)長完全莫得問題,說 10 秒東談主家就生成 10 秒,一秒未幾一秒不少,音效還賊動(dòng)感,動(dòng)次打次動(dòng)次打次~
然而,為啥這甜甜圈是倒著跑的???(我不太透露

臨了呢,咱來說說 Seedance 2.0 在多模態(tài)上的另一個(gè)武藝——音效。
官方強(qiáng)調(diào)的并不僅僅能配音,而是音色準(zhǔn)確度超牛,同期和東談主物的貼合度也更高。
我們先來試一個(gè)畸形觀看音效武藝的場景——吃播(流哈喇子,望望模子能不可準(zhǔn)確收復(fù)不同食品咀嚼的聲息:

從底下生成的后果看,AI 把吃炸雞的咔嚓聲、脆脆的黃瓜聲、披薩拉絲的聲息以及可樂的氣泡音統(tǒng)統(tǒng) 1:1 收復(fù)了,可以可以!
我們?cè)賮碓囈粋€(gè) ASMR 的場景,這回我們讓 AI 在統(tǒng)一個(gè)視頻中演繹出不同物體的觸發(fā)音,望望會(huì)是啥后果~

除了第一個(gè)水晶碰撞聲略略有點(diǎn)出戲,其余險(xiǎn)些皆作念到了 1:1 收復(fù)。金屬、玻璃、絲綢的質(zhì)感皆很真確,檔次也在線:
我猜水晶聲息相比出戲的原因,主如果因?yàn)槟W觿倮搭I(lǐng)導(dǎo)詞生的方法音效,而莫得左證場景進(jìn)行想考,是以出來的聲息反而像金屬碰撞的聲息,而不是水晶摩擦音…
天然網(wǎng)上鋪墊該地皆是 Seedance 2.0 的各式評(píng)價(jià),但此次我實(shí)打?qū)嵱孟聛淼母惺芗词牵?/p>
如果單說鏡頭透露武藝(包括但不限于畫面的一致性、可控性、連貫性),Seedance 2.0 著實(shí)認(rèn)如實(shí)有點(diǎn)超出我的預(yù)期。
哪怕用的是很大口語的領(lǐng)導(dǎo)詞,也能跑出越過理想的后果,很符合咱用在泛泛的 AIGC 視頻的畫面生成創(chuàng)作中去。
小 bug 也有,比如像多宮格漫畫的腳本輸出,模子不見得能 1:1 收復(fù)每個(gè)場景畫面,此外,音效上可能也偶爾會(huì)有出戲的問題。

泛泛如果用來作念一些生意場景、AIGC 泛泛創(chuàng)作而言,照舊夠用何況好用了,照舊很驚喜的~
這不嘛,有網(wǎng)友用完,皆直呼好萊塢要完蛋了,看來對(duì)模子著實(shí)認(rèn)甚是承諾。(doge)

當(dāng)前,Seedance 2.0 照舊在豆包 App 和即夢(mèng)里上線,感興味的一又友可以勝利上手搓搓看~
{jz:field.toptypename/}(ps:親測,這兩天提議大師在豆包體驗(yàn),即夢(mèng)當(dāng)今生成一個(gè)視頻要列隊(duì)好幾個(gè)小時(shí),沒招了… )
— ?接待 AI 居品從業(yè)者共建 ?—
? ?「AI 居品學(xué)問庫」是量子位智庫基于歷久居品庫跟蹤和用戶行徑數(shù)據(jù)推出的飛書學(xué)問庫,旨在成為 AI 行業(yè)從業(yè)者、投資者、接洽者的中樞信息缺欠與有詭計(jì)救濟(jì)平臺(tái)。
一鍵溫暖 ? ? 點(diǎn)亮星標(biāo)
科技前沿進(jìn)展逐日見

備案號(hào):