Alibaba представила безкоштовну нейромережу Wan2.2-Animate з відкритим вихідним кодом. Вона здатна «оживляти» людей, аніме-персонажів та тварин із фото.
Для цього потрібно надати вихідне зображення з героєм і відео з рухами, які він має повторити.
Модель працює у двох режимах. У першому — рухи та міміка з відео копіюються на персонажа із картинки. У другому — персонаж у відео замінюється на обране зображення, при цьому фон залишається незмінним.
У порівнянні з попередньою версією, нова модель забезпечує покращену якість анімації та вищу точність передачі мови тіла. Розробникам вдалося цього досягти завдяки інтеграції скелетних і лицьових сигналів.
Модель уже доступна на GitHub і Hugging Face, у генераторі Wan, а також через API на платформі Alibaba Cloud. Її можна завантажити й використовувати локально, але для повноцінної роботи знадобиться відеокарта рівня Nvidia RTX 4090.
Запис Alibaba запустила безкоштовну нейромережу для «оживлення» персонажів із зображень спершу з'явиться на ITsider.com.ua.