AI 영상 프롬프트는 화면에 무엇이 보이는지에 더해 그다음 무엇이 어떻게 움직이는지까지 설명한다는 점에서 이미지 프롬프트와 다릅니다. 같은 캐릭터라도 ‘서 있다’와 ‘천천히 걸어오며 카메라를 바라본다’는 전혀 다른 영상을 만듭니다.
나다운 AI활용 창작 워크룸에서 AI 그림책과 AI 영상 제작을 함께 안내하는 AI마스터 호야쌤이, 이미지 프롬프트에 익숙한 분이 영상으로 넘어갈 때 꼭 바꿔야 할 지점을 정리했습니다.
AI 영상 프롬프트는 이미지 프롬프트와 무엇이 다른가요?
이미지 프롬프트는 한 순간의 ‘상태’를, AI 영상 프롬프트는 짧은 시간 동안 일어나는 ‘변화’를 설명합니다. 이미지는 멈춘 장면 하나로 끝나지만, 영상은 첫 장면에서 마지막 장면까지 무언가가 달라져야 합니다.
그래서 이미지에서 잘 통하던 프롬프트를 영상 도구에 그대로 넣으면 기대와 다른 결과가 나오기 쉽습니다. 움직임에 대한 정보가 없으니 AI가 동작을 스스로 추측해야 하기 때문입니다.
이미지 프롬프트가 사진 한 장을 주문하는 글이라면, 영상 프롬프트는 짧은 장면 하나를 연출하는 글입니다.
| 구분 | AI 이미지 프롬프트 | AI 영상 프롬프트 |
|---|---|---|
| 핵심 질문 | 무엇이 보이는가 | 무엇이 어떻게 움직이는가 |
| 주요 내용 | 피사체, 구도, 조명, 화풍 | 행동, 카메라 움직임, 속도, 분위기의 변화 |
| 시간 개념 | 한 순간 | 짧은 흐름 |
| 흔한 실수 | 묘사가 부족해 장면이 흐릿함 | 동작을 너무 많이 넣어 움직임이 뭉개짐 |
AI 이미지 프롬프트는 ‘정지된 한 장면’을 설계합니다
AI 이미지 프롬프트는 피사체, 구도, 조명, 화풍처럼 한 순간에 보이는 요소를 정하는 데 집중합니다. 미드저니(텍스트로 그림을 만드는 이미지 생성 AI) 같은 도구에서는 이 묘사가 구체적일수록 원하는 그림에 가까워집니다.
예를 들어 “창가에 서 있는 갈색 단발머리 소녀, 따뜻한 오후 햇살, 수채화 풍”은 좋은 이미지 프롬프트입니다. 하지만 이 문장에는 소녀가 무엇을 하는지, 카메라가 어디로 가는지가 전혀 없습니다.
영상은 이렇게 잘 다듬은 이미지에서 출발하는 경우가 많습니다. 이미지 단계에서 그림을 한 번에 완성하려 하지 않고 다듬어 가는 흐름은 AI 그림 생성 3단계 글에서 자세히 다뤘습니다.
영상 생성 프롬프트에는 어떤 요소가 들어가야 하나요?
영상 생성 프롬프트는 피사체, 행동, 카메라 움직임, 속도, 분위기 다섯 가지로 나눠 쓰면 정리가 쉽습니다. 요소를 구분해 두면 결과가 어색할 때 어느 부분을 고쳐야 할지도 바로 보입니다.
- 피사체: 누가, 또는 무엇이 움직이는지입니다. 예: 소녀, 고양이, 낡은 자전거
- 행동: 피사체가 하는 동작입니다. 예: 고개를 돌린다, 천천히 걸어온다
- 카메라 움직임: 화면을 보는 시점이 어떻게 바뀌는지입니다. 예: 고정된 카메라, 천천히 다가가는 카메라
- 속도: 동작과 카메라가 얼마나 빠른지입니다. 예: 느리게, 슬로모션으로
- 분위기: 장면 전체의 느낌과 주변 환경의 움직임입니다. 예: 커튼이 살짝 흔들리는 잔잔한 오후
영상 생성 AI 서비스 Runway의 Gen-4 영상 프롬프트 가이드도 피사체 움직임, 카메라 움직임, 장면 움직임, 스타일 표현을 나눠 설명하고, 간단한 프롬프트로 시작해 요소를 하나씩 더해 보라고 안내합니다. 같은 가이드는 “카메라가 움직이지 않는다”처럼 피하고 싶은 것을 쓰기보다 “고정된 카메라”처럼 일어나야 할 상태를 쓰도록 권합니다.
왜 핵심 동작 하나만 지정하는 게 좋을까요?
한 번의 생성에 핵심 동작 하나만 지정하면 AI가 그 움직임에 집중해 결과가 안정되는 경우가 많습니다. 영상 생성은 보통 짧은 클립 단위로 이뤄지는데, 그 안에 여러 동작을 몰아넣으면 동작끼리 섞이거나 중간에 뭉개지기 쉽습니다.
“소녀가 걸어오다 멈춰서 손을 흔들고, 뒤돌아 뛰어가며 꽃을 줍는다”는 한 장면에 동작이 네 개나 들어 있습니다. 이 중 “소녀가 천천히 걸어오며 카메라를 바라본다”처럼 가장 중요한 하나를 고르면 훨씬 자연스러운 결과를 얻기 쉽습니다.
여러 동작이 필요하다면 한 프롬프트에 몰아넣지 말고 장면을 나눠 생성한 뒤 편집에서 이어 붙이는 편이 안정적입니다.
손가락이 늘어나거나 얼굴이 흔들리는 등 결과가 어색해지는 다른 원인과 해결법은 AI 영상 제작, 결과가 어색해지는 이유 7가지와 초보 해결법에 정리해 두었습니다.
이미지 프롬프트를 AI 영상 프롬프트로 바꾸는 3단계
기존 이미지 프롬프트를 영상용으로 바꿀 때는 외형 묘사를 줄이고, 동작 하나를 더하고, 카메라·속도·분위기를 덧붙이는 순서로 고칩니다. 이미지를 첫 장면으로 넣는 방식이라면 외형은 이미 이미지가 보여 주고 있기 때문입니다.
- 외형 묘사 줄이기: 머리색, 옷, 배경처럼 이미지에 이미 보이는 정보는 “소녀”, “그 사람”처럼 짧게 부릅니다. Runway 가이드도 입력 이미지 속 요소를 자세히 다시 묘사하면 움직임이 줄어들 수 있다고 설명합니다.
- 핵심 동작 하나 더하기: 장면에서 가장 보여 주고 싶은 움직임 하나를 구체적인 동사로 씁니다.
- 카메라·속도·분위기 덧붙이기: 동작이 잘 나온 뒤에 카메라 움직임과 속도, 주변 환경의 움직임을 한 가지씩 추가합니다.
앞의 예시에 적용하면 이렇게 바뀝니다.
이미지용: 창가에 서 있는 갈색 단발머리 소녀, 따뜻한 오후 햇살, 수채화 풍
영상용: 소녀가 천천히 고개를 돌려 카메라를 바라보며 미소 짓는다. 고정된 카메라. 커튼이 바람에 살짝 흔들린다. 잔잔하고 따뜻한 분위기.
영상용 문장에는 외형 설명이 거의 없고, 대신 무엇이 어떤 속도로 움직이는지가 담겨 있습니다. 이 차이가 이미지 프롬프트와 AI 영상 프롬프트를 가르는 핵심입니다.
AI 동영상 만들기를 처음 시작한다면 어떻게 연습할까요?
처음에는 같은 이미지 한 장을 두고 요소를 하나씩만 바꿔 여러 번 생성해 보는 연습이 도움이 되는 경우가 많습니다. 한꺼번에 여러 요소를 바꾸면 어떤 단어가 결과를 바꿨는지 알기 어렵기 때문입니다.
- 카메라를 고정한 채 행동만 바꿔 봅니다. 예: 미소 짓기, 손 흔들기, 고개 끄덕이기
- 행동을 하나로 정한 뒤 카메라 움직임만 바꿔 봅니다. 예: 고정, 천천히 다가가기, 옆으로 따라가기
- 마음에 드는 조합이 나오면 속도와 분위기 표현을 더해 봅니다.
- 잘 나온 프롬프트는 결과와 함께 기록해 두고 다음 작업의 출발점으로 씁니다.
AI 영상 프롬프트 연습은 이렇게 비교하며 쌓을 때 가장 빨리 감이 옵니다. 이미지 생성에 익숙한 분이라면 이미 좋은 장면을 만드는 눈이 있으니, 그 위에 움직임을 설계하는 습관만 더하면 됩니다.
생성형 AI에게 원하는 결과를 설명하기 위해 입력하는 지시문입니다.
AI에게 건네는 주문서입니다.
이미지 한 장을 시작 장면으로 넣고, 텍스트 프롬프트로 움직임을 지정해 영상을 만드는 방식입니다.
그림 한 장에 움직임을 입히는 방법입니다.
영상에서 시점이 이동하는 방식으로, 좌우로 돌리는 팬, 위아래로 기울이는 틸트, 카메라 자체가 앞뒤로 이동하는 돌리 등이 있습니다.
보는 사람의 눈이 어디로, 어떻게 움직이는지 정하는 것입니다.
이미지 프롬프트를 영상 도구에 그대로 넣으면 안 되나요?
영상 프롬프트는 영어로 써야 하나요?
도구마다 다릅니다. 한국어 입력을 받는 도구도 있지만 공식 안내와 예시가