騰訊發布了 ToonCrafter，是一種新型的卡通動畫生成技術，可以通過生成插值方法生成自然、連貫的卡通動畫中間幀。該技術超越了傳統基于對應關系的卡通視頻插值方法，能夠處理復雜的非線性運動和遮擋問題，使動畫過渡更加平滑自然。
從演示來看效果很好，過渡很順滑，而且沒有明顯問題。ToonCrafter 利用預訓練的圖像到視頻模型，可以插值兩幅卡通圖像，并根據參考圖像對動畫草圖自動上色。它支持生成最多16幀的視頻，每幀分辨率為512x320。通過減少DDIM步驟，可以降低推理時間。
還設計了一個靈活的草圖編碼器，使用戶能夠對插值結果進行互動控制。
項目地址：ToonCrafter
