이미지 투 비디오 만드는 법과 모션 프롬프트 작성법 (feat. Runway)

 

 

 

 

제가 ai에 대한 포스팅을 올리면서도 새삼 느끼는 점은 ai라고 하면 챗gpt나 gemini를 떠올리곤 했는데 정말 많은 ai가 생겨나고 있다는 점입니다. 바로 이전 포스팅에서 다뤘던 디자인관련 ai라던지 ai마다 강점을 살려 만들어지고 있다는 점. 회사마다 결과물이 특장점이 있다는점이 매우 흥미롭게 다가옵니다.

오늘은 runway gen-2라는 ai에 대해 다뤄볼 예정인데 저도 많이 생소하고 놀라운 ai로 보입니다.

사진한장으로 동영상을 만들어내는 ai라고 합니다.

 

런웨이공식사이트

https://runwayml.com/

Runway | Building AI to Simulate the World

 

 

 

메인페이지에 접속해보시면 동영상 퀄리티들이 상당해보이네요.

과연 우리가 만드는 결과물도 이런 퀄리티를 표현해낼 수 있을 지 궁금합니다.

 

 

가격

 

무료이용플랜이 있으니 먼저 이 플랜을 사용해보는 게 좋겠죠?

구글로 가입하자마자 플랜 가입할거냐고 묻지만 가볍게 무시해주었습니다.

 

포스팅 마무리 중 알게 되었는데 runway는 무료플랜으로는 동영상 생성이 어려운 것으로 보입니다.

 

 

 

 

가입

 

가입 후 로그인하면 다음과 같은 화면이 나타납니다.

 

 

 

 

 

여기서부터는 조금 더 기본적인 원리를 알고 넘어가도록 하겠습니다.

 

사진을 영상으로 바꾸는 Runway 활용법

정지 이미지를 영상으로 바꾸고 싶을 때 가장 많이 막히는 지점은 두 가지입니다.

무엇을 움직여야 하는지와 카메라를 어떻게 움직여야 하는지를 따로 생각하지 못한다는 점입니다.

입력 이미지는 장면의 구도와 피사체, 조명, 스타일을 정하고, 프롬프트는 그 위에 움직임을 지시하는 역할을 합니다.

 

 

이미지 투 비디오의 기본 원리부터 이해해야 하는 이유

이미지 투 비디오는 사진 한 장을 그대로 “애니메이션화”하는 기능이 아닙니다.
정확히는, 한 장의 이미지를 기준 프레임으로 삼고 그 다음 순간에 일어날 움직임을 AI가 이어서 예측하게 만드는 방식에 가깝습니다.

 

여기서 중요한 점은 이미지가 이미 많은 정보를 갖고 있다는 사실입니다.
구도, 배경, 인물 위치, 색감은 이미지가 정하고, 사용자는 프롬프트에서 모션만 구체적으로 지시해야 결과가 안정적입니다. Runway 공식 가이드도 이미지 투 비디오 프롬프트는 장면 설명보다 움직임 설명에 집중하라고 안내합니다.

 

 

Runway Gen-2 활용의 핵심은 “움직임 분리”입니다

많은 초보자가 이런 프롬프트를 씁니다.

아름다운 여성이 있는 시네마틱한 장면, 고품질, 디테일

 

이 문장은 이미지 생성에는 도움이 될 수 있어도 영상 생성에는 부족합니다.
이미지 투 비디오에서는 이미 사진 안에 보이는 요소를 다시 설명하기보다, 아래 3가지를 분리해서 적는 편이 훨씬 좋습니다.

1. 피사체 움직임
2. 배경 또는 환경 움직임
3. 카메라 움직임

예시로 보겠습니다

원본 이미지가 “창가에 서 있는 인물 사진”이라고 가정해보겠습니다.

나쁜 예시입니다.

• 한 여성이 창가에 서 있고, 분위기 있고, 영화 같고, 아름답다

좋은 예시입니다.

• 인물의 머리카락이 바람에 살짝 흔들린다
• 커튼이 천천히 뒤로 밀린다
• 카메라는 천천히 앞으로 다가가며 얼굴에 초점을 맞춘다

이렇게 써야 AI가 무엇을 어떻게 바꿔야 하는지 판단하기 쉬워집니다.
Runway 공식 문서도 이미지 투 비디오 프롬프트의 핵심 요소로 subject action, environmental motion, camera motion, direction and speed를 제시합니다.

 

 

 

 

핀터레스트에서 찾은 이 귀여운 사진으로 동영상을 만들어보려고 합니다.

 

 

카메라 무빙은 어떻게 지시해야 할까

사진을 영상처럼 보이게 만드는 가장 쉬운 방법은 피사체보다 먼저 카메라를 움직이는 것입니다.
실제로 아주 작은 카메라 이동만 있어도 결과물이 훨씬 영상답게 바뀝니다.

 

가장 자주 쓰는 카메라 무빙 6가지

카메라 무빙	의미	활용 장면	프롬프트 예시
Push in	천천히 앞으로 다가감	인물 클로즈업, 감정 강조	camera slowly pushes in toward the subject
Pull out	뒤로 빠짐	장면 확장, 거리감 표현	camera slowly pulls back revealing the environment
Pan left/right	좌우 회전	배경 소개, 시선 이동	camera pans gently to the right
Tilt up/down	위아래 회전	피사체 크기 강조	camera tilts upward from the hands to the face
Orbit / Arc	피사체 중심으로 회전	입체감, 영화적 연출	camera makes a subtle arc around the subject
Handheld	약간 흔들리는 촬영감	다큐, 현장감	slight handheld camera movement

Runway의 최신 프롬프트 가이드와 카메라 용어 문서도 pan, dolly, handheld, arc 같은 카메라 표현을 예시로 안내합니다. 특히 입력 이미지가 있을 때는 카메라 제어 개념을 함께 쓰는 방식이 유효하다고 설명합니다.

 

카메라 무빙에서 가장 흔한 실수

카메라를 크게 움직이면 더 역동적인 영상이 나오지 않을까요?

그렇지 않은 경우가 많습니다.
원본 사진은 한 장뿐이기 때문에, 지나치게 큰 줌이나 급격한 회전은 얼굴 왜곡이나 배경 뭉개짐을 만들기 쉽습니다. 그래서 초반에는 slowly, subtly, gently 같은 단어로 작은 움직임부터 시작하는 편이 안정적입니다. 이는 공식 가이드의 “명확하고 직접적인 동작 지시” 원칙과도 맞닿아 있습니다.

 

 

카메라 무빙도 좋지만 저는 초보라 우선 피사체 움직임에 집중해보려고 합니다.

 

 

피사체 움직임은 작고 선명하게 지시해야 합니다

이미지 투 비디오에서 가장 자연스러운 결과는 대개 작은 움직임에서 나옵니다.
정지 이미지를 기반으로 하기 때문에 갑작스러운 점프, 과한 몸 전체 동작, 복잡한 군중 액션은 일관성이 무너지기 쉽습니다.

 

인물 사진에 잘 맞는 움직임

• 눈을 천천히 깜빡인다
• 시선이 살짝 옆으로 이동한다
• 머리카락이 바람에 흔들린다
• 어깨가 미세하게 움직인다
• 옷자락이 자연스럽게 흔들린다

 

사물 사진에 잘 맞는 움직임

• 컵에서 김이 올라온다
• 촛불이 흔들린다
• 나뭇잎이 바람에 흔들린다
• 물결이 퍼진다
• 빛 반사가 천천히 변한다

 

Runway 공식 문서는 이미지에 이미 들어 있는 요소를 반복 설명하기보다, 특정 인물이나 사물을 일반적인 표현으로 가리키며 개별적인 움직임을 지시하라고 안내합니다. 즉 “the subject”, “the woman”, “the curtain”처럼 분리해서 모션을 주는 방식이 더 효과적입니다.

 

 

 

모션 프롬프트는 이렇게 쓰면 훨씬 안정적입니다

좋은 모션 프롬프트는 길다고 좋은 것이 아닙니다.
오히려 주체 + 동작 + 속도 + 방향 + 카메라 순서로 짧게 쓰는 편이 더 잘 작동합니다.

 

기본 공식

피사체 + 어떻게 움직이는지 + 배경 변화 + 카메라 이동

예시입니다.

• the subject gently turns her head to the left, her hair moving softly in the wind, while the camera slowly pushes in
• steam rises from the coffee cup as sunlight flickers across the table, camera remains locked
• the curtain sways lightly, dust floats in the air, and the camera makes a subtle rightward pan

한국어로 먼저 생각하고 영어로 옮기는 방법

Runway는 영어 프롬프트가 더 안정적인 편입니다.
그래서 먼저 한국어로 장면을 분해한 뒤, 핵심 동작만 영어로 바꾸면 실수가 줄어듭니다.

예를 들어 이렇게 바꾸면 됩니다.

• 한국어 메모: 머리카락이 바람에 흔들리고 카메라는 천천히 얼굴 쪽으로 다가간다
• 영어 프롬프트: hair moves softly in the wind, camera slowly pushes in toward the face

 

---

제가 생각한 프롬프트는 다음과 같습니다.

 

한글로 생각한뒤

 

곰인형이 천천히 일어서고, 품에 안은 아기오리인형을 한손으로 옮겨 안고, 나머지 손으로 다른 오리에게 손을 내민다

 

파파고 좀 돌려주고

 

The teddy bear slowly rises to its feet, moves the baby duck doll in its arms with one hand, and hands out to the other duck with the other hand

 

이렇게 완성되었습니다.

 

이렇게 완성한 프롬프트를 Runway앱에 입력해보겠습니다.

 

 

입력후 개요를 작성하세요를 눌렀는데 저 개요를 작성하세요가 좀 쎄합니다 ㅋ

왜 동영상 생성이 아닐까요?

 

 

 

 

머 엄청 장황하게 자기가 이런 작업을 했다고 줄줄 읊더니 결론은 업그레이드 하여 동영상 생성이군요

실망하셨다면 죄송합니다. 저도 실망해서 뭐라고 말씀드려야할지 -_-....

 

 

 

무료플랜의 크레딧이 부족하다는 머 이런 이야기 ㅎ 추접...;

500을 줘놓고 비디오 하나에 554크레딧 필요했나봅니다

 

뭐 됐고 우선 제미나이로 돌려봤습니다.

 

https://youtu.be/sOOMDfiybdw

 

아기 오리가 허공에 매달린 부분등이 다소 어색합니다.

이런 부분은 하단에 어색할때 점검할 부분등을 통해 조금씩 프롬프트를 수정해나가면서 보완해주는 작업이 필요합니다.

 

 

상황별 Runway 프롬프트 예시

1. 인물 사진을 자연스럽게 움직이고 싶을 때

Prompt
the subject blinks slowly and slightly turns her head, her hair moving gently in the breeze, camera slowly pushes in

이 프롬프트는 과한 동작 없이 “살아 있는 사진” 느낌을 만들 때 적합합니다.

 

2. 풍경 사진에 영상미를 더하고 싶을 때

Prompt
tree leaves sway gently in the wind, clouds drift slowly across the sky, camera pans subtly to the right

풍경은 피사체보다 환경 움직임이 중요합니다.
바람, 구름, 물결처럼 반복 가능한 움직임이 잘 맞습니다.

 

3. 제품 사진을 광고 영상처럼 만들고 싶을 때

Prompt
soft reflections move across the product surface, a light mist drifts behind it, camera slowly arcs around the object

제품 사진은 피사체 움직임보다 조명 반사와 카메라 arc가 효과적입니다.

 

4. 음식 사진을 더 먹음직스럽게 보이게 하고 싶을 때

Prompt
steam rises from the dish, sauce glistens under warm light, camera slowly pushes in for a close-up

음식은 증기, 윤기, 빛 반사 같은 미세 모션이 핵심입니다.

 

 

 

결과물이 어색할 때 점검할 부분

이미지를 영상으로 만들었는데 부자연스럽다면 아래 항목부터 확인하면 됩니다.

문제	원인	해결 방법
얼굴이 무너짐	동작이 너무 큼	고개 회전, 줌 속도를 줄입니다
배경이 흔들림	카메라와 피사체 지시가 충돌함	카메라 무빙과 피사체 동작을 하나씩 줄입니다
아무것도 안 움직임	프롬프트가 장면 설명 위주임	보이는 것 설명 대신 움직임만 씁니다
영상이 산만함	요소를 너무 많이 움직임	피사체 1개, 배경 1개, 카메라 1개만 먼저 설정합니다
광고 느낌이 약함	카메라가 고정되어 있음	push in, arc, pan 중 하나를 추가합니다

프롬프트를 길게 쓴다고 정확해지는 게 아닙니다.
Runway 공식 가이드에서도 명확하고 직접적인 프롬프트를 권장하며, 원하는 결과에 맞게 반복 수정하는 과정을 정상적인 작업 흐름으로 설명합니다.

 

 

마무리

Runway 활용법의 핵심은 어렵지 않습니다.
정지 이미지를 영상으로 바꾸려면 장면 설명을 늘리는 것이 아니라, 피사체 움직임, 환경 움직임, 카메라 무빙을 분리해서 지시하면 됩니다.

처음에는 욕심내지 않는 것이 좋습니다.
작은 움직임 하나, 카메라 이동 하나만 넣어도 결과는 크게 달라집니다. 이미지 투 비디오는 결국 “무엇이 보이느냐”보다 “무엇이 어떻게 움직이느냐”를 설계하는 작업입니다.

 

 

runway는 유료플랜으로만 동영상 생성이 가능하므로 무료제작이 가능한 다른 툴이나 프롬프트 공부를 좀 더 해보신 뒤 진행하시기를 추천드립니다. 저도 조금 더 공부해본 뒤 runway 유료플랜 구독 후 동영상 생성하게 되면 다시 포스팅을 진행하도록 하겠습니다.

마무리가 이상해졌네요.

 

 

 

 

유료구독을 하더라도 Runway를 사용해보고 싶으시다면 튜토리얼 먼저 공부해보시는 걸 추천드립니다!

 

Runway 튜토리얼 보러가기 -> click