[Digital Compositing for film and video] Chapter 6 : The Composite

 

Digital Compositing for film and video
영화 및 비디오를 위한 디지털 합성: 제작 워크플로 및 기술 (Fourth Edition)

저자 : Steve Wright

번역 /  정리 : Zoey Hwang

 

 

🐌 개요

이 장은 합성 과정의 중심이며 많은 사람들이 혼란스러워하는 premultiply와 unpremultiply에 관한 이야기로 시작합니다. 더 중요한 것은, 이것을 잘못 이해하면 합성에서 변색된 가장자리가 생길 수 있다는 점입니다. 이것을 확실히 이해한 후에 다음 단계로 넘어가야 합니다. 그런 다음 합성의 모든 단계를 위한 워크플로우를 살펴보고, Over, KeyMix, AddMix와 같은 여러 유형의 합성 작업과 전경 기법(Processed Foreground Method)을 다룹니다. 이 장은 스테레오 합성, 스테레오 변환 과정, 그리고 스테레오 합성의 멋진 세계에서 작업하기 위한 다양한 팁을 탐구하면서 마무리됩니다.

 

🐌 Premultiply vs Unpremultiply

RGB 채널을 알파 채널과 곱하는 것에 기반한 합성 단계.

이 단계의 기본 아이디어는 RGB 레이어의 픽셀은 완전한 색상으로 렌더링하고, 모든 알파 정보는 안티앨리어싱된 엣지, 모션 블러, 반투명 요소를 위한 알파 채널에 있다는 것입니다. 그런 다음 RGB 레이어를 알파 채널과 곱하여 반투명한 알파 채널 픽셀 위에 있는 RGB 채널을 어둡게 합니다.

 

Figure 6.1 Results of multiplying images

 

왼쪽의 알파 스트립은 흰색(1.0)에서 거의 검정색에 이르는 6개의 값을 가지고 있습니다. 그옆에 RGB 스트립을 각 알파 값에 곱하면, 결과 이미지의 밝기는 해당 알파 조각의 값에 따라 감소합니다. 결과적으로, 곱해진 스트립은 위에서 아래로 갈수록 점점 어두워집니다.

 

오른쪽의 안티앨리어싱 예제는 단색 RGB 스트립에 안티앨리어싱을 도입하기 위한 multiply 작업을 보여줍니다. 흰색(1.0)보다 작은 알파 채널은 안티앨리어싱된 엣지뿐만 아니라 전체 RGB 이미지에 반투명성을 도입하는 데에도 사용됩니다.

 

알파와 RGB 두 이미지를 곱하는 것이 premultiply라는 용어와 어떻게 연결이 되는지 알기 위해선 먼저 컴퓨터 그래픽스의 역사를 보아야 합니다. 초기 시절에는 이미지가 두 번의 개별 렌더링 패스를 통해 생성되었습니다. 첫 번째는 각 픽셀의 전체 색상을 포함한 raw RGB였고, 두 번째는 각 픽셀의 투명도 정보를 담은 투명도 패스였습니다. 아래 그림 6.2은 raw RGB 패스의 예입니다. 클로즈업에서 볼 수 있듯이, 안티앨리어싱이 적용되지 않아 계단 현상(Jaggies)이 보입니다.

 

Figure 6.2 Close-up of test image (raw RGB)

 

초기 컴포지터는 합성을 위해 가장 먼저 raw RGB 패스를 Transparency 패스와 곱하여 안티앨리어싱을 도입하는 것이었습니다. 하지만 CG 렌더링 기술이 발전하면서 Transparency 패스는 알파(alpha)라는 이름의 4번째 채널로 RGB 패스에 추가되었지만, 합성에 있어서는 여전히 raw RGB 레이어를 알파 채널과 곱해야 했습니다.

 

아래는 CG 렌더링 소프트웨어가 raw RGB를 알파 채널과 곱하여 CG 가장자리에 안티앨리어싱으르 도입하는 작업 과정입니다. 이렇게 CG 렌더가 컴포지터에서 미리 곱해진 상태로 전달되었기 때문에 이를 Premultiplied image라고 불렀습니다. 그 이후로 이 용어를 사용하게 되었습니다.

 

 

그린스크린 키잉도 premultiply된 이미지를 생성하며, 이는 경우에 따라 Unpremultiply 되어야 하므로 더 이상 CG에만 해당되는 것이 아닙니다. 이 Unpremultiply 작업은 오류(반올림)를 피하기 위해 많은 소수점 자리에서 매우 정밀하게 수행되어야 하며, 이러한 이유로 계산에 Float를 사용하게 된 점도 있습니다.

 

❗ Premultiplied images를 다룰 때 반드시 따라야 할 두 가지 주요 규칙이 있습니다.

 

이 규칙들은 색상 보정과 변형을 위한 애니메이션에 관한 각 장에서 설명됩니다. 이 규칙을 준수하여 합성에서 색상 문제를 피할 수 있습니다.

1. 색상 보정 및 색상 공간 변화는 Unpremultiply된 이미지에서 수행해야 합니다.
2. Transformations(회전, 크기 조정 등) 및 필터링 작업(블러 등)은 Premultiply된 이미지에서 수행해야 합니다.

 

🐌 The Double Premultiply

어두운 가장자리가 생기는 잘못된 합성 방법.

Premultiply된 이미지를 합성할 때 흔히 발생하는 잘못된 방법은 두 번째 Premultiply를 적용하는 점입니다. 그렇게 되면 가장자리가 어두워집니다. 이 경우 가장자리를 개선하기 위해 어떤 종류의 가장자리 처리를 시도해서는 안됩니다. 이는 보정 오류를 초래할 뿐입니다. 올바른 해결 방법은 어두운 가장자리 합성의 이전 단계를 올라가 이중 Premultiply를 찾아 제거하는 것입니다

 

Figure 6.8 Premultiplied image composited(좌) / Figure 6.9 Double premultiplied image(우)

 

가장자리가 어두워지는 이유는 첫 번째 Premultiply가 알파 채널의 투명도에 따라 가장자리 픽셀의 RGB 값을 어둡게 조정했기 때문입니다. 이 시점에서 어두워진 가장자리 픽셀은 알파 채널의 Transparent 픽셀과 ‘균형’을 이루게 됩니다.

예를들어, Transparent 알파 픽셀이 0.5라면 그에 대응하는 RGB 픽셀은 0.5로 조정되어 절반만큼 어두워집니다. 그러나 합성 될 때 이 픽셀은 배경 픽셀과도 0.5로 조정되어 모든 것이 균형을 이루게 됩니다. (Figure 6.8) 그러나 두 번째 Premultiply 작업은 동일한 RGB 픽셀을 두 번 0.5로 조정하게 되어 (0.5 x 0.5 =0.25) RGB 값이 이전보다 두 배 어두워집니다. 따라서 어두운 가장자리가 나타나게 됩니다. (Figure 6.9)

 

추가 예제 :

• 비 Premultiplied 상태: 이미지의 색상 값이 (255,0,0)이고 알파 값이 0.5인 경우, Premultiply를 하지 않으면 색상 값은 그대로 유지됩니다.
• (255,0,0)(255, 0, 0)
• Premultiplied 상태: 같은 픽셀의 경우 Premultiply를 하면 색상 값이 (255×0.5,0,0)=(127.5,0,0)로 바뀌어 투명도에 맞는 색상 값으로 조정됩니다.
• (255×0.5,0,0)=(127.5,0,0)(255 \times 0.5, 0, 0) = (127.5, 0, 0)

합성 후에는 일반적으로 Unpremultiply 단계가 필요합니다. 이는 합성된 이미지의 색상 값을 다시 알파 값으로 나눠 원래의 색상 값을 복원하는 과정입니다.

 

 

🐌 The Composite

Chroma key 합성의 기본 원리

 

Figure 6.10 The compositing operation

 

1. Greenscreen에 그린 제거 (디스필)
2. 디스필된 FG에 Key(알파 매트)를 곱함
3. BG에 반전된 Key(1- 알파)를 곱함
4. 2/3을 통해 생성된 Premultiplied FG와 BG를 더하여 최종 합성

 

알파 값이 0.7이면 FG의 RGB 값은 70%, BG의 RGB 값은 1-0.7 = 0.3 즉 30% 기여한다.

 

🐌 The Over Composite

CG render(RGBA)의 Over 합성.

Live Chroma Keyer에서 적용할 수 없는 방식임으로 생략.

 

🐌 The KeyMix Composite

FG와 BG를 합성하는 또 다른 방법.

KeyMix 연산에는 디스필된 FG, BG, Key 세 가지 입력이 있습니다. 이들은 각각 KeyMix 노드에 연결됩니다. KeyMix 내부에서는 디스필된 FG가 Key에 의해 Premultiply되고, BG는 반전된 Key에 의해 Premultiply된 다음, 두 결과를 합산하여 출력을 생성합니다.

Figure 6.12 KeyMix composite setup

 

1. 디스필된 FG 준비
2. BG 준비
3. Key 준비 (FG의 투명도를 나타내는 알파 채널)
4. KeyMix 노드에서 연산 (디스필된 FG를 Key에 의해 Premultiply, BG를 반전된 Key에 의해 Premultiply)
5. 두 Premultiply된 이미지를 합하여 최종 합성

이는 시각적 및 수학적으로 Figure 6.10의 합성 워크플로우와 동일합니다. 차이점은 모든 수학적 연산이 KeyMix 노드 내부에서 수행된다는 점입니다. 이는 키어 외부에서 합성할 때 사용할 수 있는 워크플로우 중 하나로, Key와 디스필된 FG에 접근할 수 있습니다. 이는 키어 내부에서 합성할 때와는 다릅니다. 예를들어, KeyMix 노드 상위에서 Key를 확장하거나 부드럽게 하거나 디스필된 FG 색상을 보정할 수 있습니다. 키어 내부에서 합성할 때는 해당 Keyer 제품이 제공하는 조정만 사용할 수 있습니다.

 

🐌 The AddMix Composite

Color lookup curve(색상 조회 곡선)을 사용하여 FG와 BG 레이어에 각각 다른 버전의 매트 생성.

 

AddMix 합성은 일반적인 합성 알고리즘의 변형입니다. 먼지나 연기와 같은 얇고 희미한 요소, 레이저빔과 같은 빛을 방출하는 요소, 그리고 어두운 가장자리를 정리할 때 특히 유용합니다. 단 합성에 중복 Premultiply가 없는지 확인한 후에 사용해야합니다. AddMix 합성 작업은 FG와 BG를 Matte로 스케일링하는 부분을 제외하면 모든 면에서 일반적인 합성과 동일합니다. 일반 합성에서는 동일한 매트를 사용하여 FG 레이어를 스케일링한 다음 반전하여 BG 레이어를 스케일링합니다. 하지만 AddMix에서는 Color lookup curve를 사용하여 FG와 BG 레이어에 각각 다른 버전의 Matte를 만듭니다.

 

Color lookup curve는 Matte의 100% 투명하거나 100% 불투명한 영역에는 영향을 미치지 않습니다. Matte의 투명 픽셀 부분에만 영향을 미치며, 이는 합성물의 두 영역(반투명 영역 및 Matte 가장자리의 안티앨리어싱)에 영향을 미칩니다. 이로 인해 색상 곡선을 조정함에 따라 FG와 BG의 반투명 픽셀의 상대적 혼합이 변경됩니다.

 

1. FG와 BG 준비
2. Matte 준비 (투명도를 나타내는 알파 채널)
3. Color lookup curve 적용 (Matte에 Color lookup curve를 적용하여 FG와 BG에 각각 다른 매트 생성)
4. FG와 BG 스케일링 (3번을 사용하여 FG와 BG를 각각 스케일링)
5. 4번의 FG와 BG를 합쳐 최종 합성

Figure 6.13 Effect of AddMix color lookup curves on edges

 

AddMix를 사용할 때 FG와 BG를 위한 두 개의 Color lookup curve가 제공됩니다. 곡선을 위로 조정하면 가장자리가 밝아지고 아래로 조정하면 가장자리가 어두워집니다. 물론, 이 효과는 가장자리 뿐만 아니라 다른 반투명 영역에 한해 적용됩니다. FG와 BG 각 곡선은 독립적으로 조정할 수 있습니다. 예를들어, FG 곡선의 밝기를 높이고 BG 곡선의 밝기를 낮출 수 있습니다.

 

AddMix 툴이 없다면 아래 플로우 그래프를 사용하여 직접 만드는 방법도 있습니다.

 

Figure 6.14 Flowgraph of the AddMix compositing operation

 

Figure 6.14 Flowgraph of the AddMix compositing operation (좌) / Figure 6.18 The AddMix composite(우)

 

Figure 6.19 Close-up of dark composite edge(좌) / Figure 6.20 The AddMix composite can lighten the edges(우)

 

주의할 점은, 어두운 가장자리가 이중 Premultiply에서 비롯된 것이 아닌 상황에서 활용되어야 합니다.

 

🐌 The Processed Foreground Method

가장자리, 머리카락 디테일에 더 나은 결과를 제공할 수 있는 방법.

 

지금까지 합성의 고전적인 방법을 보았습니다. 즉, 디스필된 FG를 Matte로 곱하고 BG를 반전된 매트로 곱한 다음 결과를 합하는 것입니다. 그러나 완전히 다른 방법이 있습니다. 바로 The Processed Foreground Method입니다. 이는 훨씬 더 좋은 가장자리를 표현하고 머리카락 디테일을 유지하는 장점이 있습니다.

 

The Processed FG Method의 핵심은 BG를 검은색으로 지우는 방식에 있습니다. 일반적인 합성에서는 디스필된 FG가 Key와 곱해져 (또는 Premultiply) BG가 검은색으로 지워집니다. 이 곱셈 작업에서 미세한 머리카락 디테일 정보를 줄이게 됩니다. The Processed FG Method는 이를 피하기 위해 FG를 Key와 곱하지 않습니다. 대신, Key는 디스필 색상의 단색 플레이트와 곱해집니다. 그런다음 이를 디스필 된 FG에서 뺌으로써 BG 영역을 지웁니다.

 

Figure 6.21 The processed foreground workflow

 

1. Bluescreen(또는 Green)에서 Key를 추출하고 반전
2. 디스필한 FG를 준비
3. 디스필한 FG(2단계)에서 스필 색상의 단색 플레이트로 된 디스필 플레이트를 준비
4. 반전된 Key(1단계)를 디스필 플레이트(3단계)에 곱하여 Premultiply된 디스필 플레이트를 준비
5. 디스필된 FG(2단계)에서 Premultiply된 디스필 플레이트(4단계)를 빼서 Premultiply된 FG를 준비(이 뺄셈 후에 음수가 되지 않도록 Clamp를 사용)
6. BG를 반전된 Key(1단계)에 곱하여 Premultiply된 BG를 준비
7. Premultiply된 FG(5단계)와 Premultiply된 BG(6단계)를 합쳐 최종 합성

Figure 6.23 Standard premultiplied Over composite(좌) / Figure 6.22 Processed foreground composite(우)

 

🐌 Compositing With a Keyer

 

Soft/ Hard Comp, Cut/ Paste Keyer compositing, Single Key, Uberkey.. 등.

영역을 두 개 이상 지정하여 따로 Key작업 후 합성하는 방식들에 대한 내용. Live Keyer에선 사용하기 힘든 구조이기 때문에 생략.