開源AI影片工具，你只需要當導演，HuggingFace工程師打造

用 Clapper 做視頻，你只需要當導演就行了。

Sora 一出，視訊領域似乎已經進入了生成式 AI 時代。不過直到今天，我們仍然沒有用上 OpenAI 的官方影片產生工具，等不及的人們已經開始尋找其他的方法。

最近幾週，一款開源的影片編輯工具 Clapper 引發了人們的關注。

與許多科技公司提供的視訊產生器不同，Clapper 是一款開源 AI 故事視覺化工具，於一年前推出原型。它的設計目的並非取代傳統影片編輯器，或使用 3D 場景作為輸入的現代 AI 編輯器。

Clapper 的理念是集合各類生成式 AI 技術，讓任何人都能透過互動式、迭代和直覺的過程使用 AI 創建視訊。無需外部工具、影片製作或 AI 工程技能。在 Clapper 中，你無需直接編輯視訊和音訊檔案序列，而是透過調整高級、抽象的概念，如角色、位置、天氣、時間段、風格等，基於 AI Agent 來迭代你的故事。

Clapper 的作者 Julian Bilcke 是 HuggingFace 的 AI 前端工程師。他表示，為了向這個方向繼續努力，他還在開發導演模式：目標是讓用戶可以全屏播放視頻，舒適地坐在導演椅（或沙發）上，向 Agent 大喊命令，讓 AI 製作電影。

最近幾天，Julian Bilcke 已經上線了使用大模型將任意文字轉換為時間軸等新功能。而 Clapper 的熱度也水漲船高，在 GitHub 上已經擁有超過 1100 的 Star 量。

• GitHub 連結：https://github.com/jbilcke-hf/clapper
• 試用網址：https://clapper.app/

如何使用

既然是開源工具，我們主要看的當然是具體看的當然好不好用。

還記得 AI 大牛 Karpathy 創作 AI 短片的體驗嗎？為了將《傲慢與偏見》開頭的三句話變成動畫版，足足花了這位頂尖高手一個小時。雖然只有三句話，三個場景，但這個工作流程遠比三句話複雜。他先用Claude 根據原文生成了一系列圖像提示詞，再將這些提示詞輸入文生圖模型生成對應的圖像，再交給視頻模型製作動畫，配音的任務分配給了 Elevenlabs，最後在Veed Studio 裡把所有片段整合起來。

於是，Karpathy 做完後發推吐槽，稱：「創業者們，機會來了！市面上急需一個能夠整合、簡化這些流程的AI 工具。 」

Clapper 正是一個整合了所有這些功能的一站式平台。

通常想做一條短視頻，需要經歷以下幾個步驟。首先需要一個故事和腳本，然後根據腳本畫出分鏡，再根據分鏡拍攝或尋找素材，將它們在剪輯軟體拼合起來，添加動畫效果和特效，再有選擇性地配上口播、背景音樂或音效。因此，影視製作行業中編導、導演、攝影、剪輯、後製、配音等分工應運而生。

而在 Clapper，影片製作遵循另一個邏輯。它的每條軌道不像 Premier、剪映等剪輯軟體一樣對應著影片或圖片素材，而是對應著一個特定的工種。

                              

                         ^{Clapper 的軌道}

從上面的圖中可以看出，第一條軌道代表故事版，和Clapper 內建的大模型對話，它將透過API 調取文生圖模型，讓AI 分鏡老師來產生對應的圖片，作為視訊畫面的基礎。

                              中使用中對頻的軌跡進行不同模式

而 Clapper 還有一項功能，可能真的向「會說話就能拍電影」的願望邁進了一大步。我們可以直接向 Clapper 導入劇本，並且在「故事」一欄細緻地為你的主角創造人設。

以《綠野仙蹤》為例，我們不僅可以為人物添加更個人化的人物描述，還可以上傳圖片，為女主角多蘿西設定視覺形象。這意味著我們可以請世界上的任何演員來扮演這個角色，即使你想看 18 歲的小李子演多蘿西，都可以實現。 Clapper 的功能細緻到你可以調整人物的年齡和音色，每個場景的陳設，多蘿西的房間有什麼家具，他們冒險的目的地“翡翠城”的房子長什麼樣子，都可以在Clapper 中隨心所欲調整。

當然，你也可以先用 AI 畫一些氣氛圖出來，說不定能更進一步地激發你的靈感和創意。

不過，雖然 Clapper 的功能已經充分地考慮了做影片的需求，但是它的效果卻有些差強人意。不僅畫面中人物的動作有些「鬼畜」，不符合物理運動法則。影片的整體效果更像是會動的 PPT，缺乏鏡頭之間的轉場和連續感，配樂也 AI 味十足，聽起來沒有旋律，還有些雜音。

可能生成式AI 想要改變影片製作的流程，還需要很長一段時間，但Clapper 的出現或許能給還在給傳統影片剪輯軟體拓展AI 功能的大廠們，提供了一條新的落地思路。

參考內容：

://news.combinator. com/item?id=41221399

^{https://x.com/aigclink/status/1818111874531205216}

以上是開源AI影片工具，你只需要當導演，HuggingFace工程師打造的詳細內容。更多資訊請關注PHP中文網其他相關文章！