코랩도 할수있다 움짤!! animatediff + prompt travel

AnimateDiff라는 움짤을 만들 수 있는 익스텐션과 그 안에서 prompt travel이라는 익스텐션으로 프레임별 프롬프트를 조절하는 방법입니다. 

 

준비물

animatediff-https://github.com/continue-revolution/sd-webui-animatediff

(설치후 위 페이지 스크롤 중간쯤 Motion Module Model Zoo에서 mm_sd_v15_v2.ckpt를 다운받아 sd/extensions/sd-webui-animatediff/model 폴더에 넣어줍니다.)

controlnet-https://github.com/Mikubill/sd-webui-controlnet.git

deforum for automatic1111-https://github.com/deforum-art/deforum-for-automatic1111-webui.git

animatediff cli prompt travel-https://github.com/s9roll7/animatediff-cli-prompt-travel

adetailer-https://github.com/Bing-su/adetailer.git

※현재 버그로 animatediff+adetailer를 사용할 경우 한 장 뽑고나면 코랩을 재시작 해야 합니다.(로컬도 마찬가지) 코랩 재구동 시간을 생각하면 치명적인 단점이지만 사용여부에 따라 결과물에 현격한 차이가 있으니 사용을 추천합니다.

 

Hires는 사용하지 않고 적당한 사이즈와 샘플링 스텝, CFG Scale을 지정해 줍니다.

 

 

첫번째 줄은 고정 프롬라인입니다. 자유롭게 넣어주시면 됩니다.

두번째 줄부터 마지막 줄까지 prompt travel의 각 프레임별 고정 프롬 뒤에 +될 추가 프롬입니다.

위 예시는 아래 animatediff 설정에서 움짤의 총 프레임 수를 32로 지정했으므로 0프레임부터 31프레임까지 총 32프레임 사이의 추가 프롬입니다.

작성 형식은 반드시 X(프레임):(콜론) (한칸 공백 후 추가프롬) 형태를 따라야 합니다.

prompt travel 프롬프트는 움짤의 첫장면인 0프레임에서는 옆모습으로 시작했다가 프레임이 넘어감에 따라 정면으로 바뀌고 웃으며 까꿍(!) 한다는 내용입니다.

 

animatediff 설정입니다.

 

설정 완료 후 생성을 누르면 코랩기준 약 30분정도 소요되며 움짤이 만들어집니다.

 

 

생각처럼 나오진 않네요...

저도 여기저기 사이트 기웃거리며 복붙하듯이 따라해본거라서 관련 지식이 별로 없습니다.

많은 고급 사용자님들의 꿀팁과 정보공유 부탁드립니다.