Search
moon
sun
3️⃣

영상 디스플레이의 기초 [2021/02/08~2021/02/15]

영상에서 화질을 결정하는 두 가지 요소

•
공간 해상도
•
양자화

공간 해상도 (spatial resolution)

🔑
영상에 대한 화소들의 밀도를 공간 해상도라고 한다.

샘플링 (Sampling)

python 에서는 cv2.resize 를 통해 이미지의 공간 해상도를 변경할 수 있다. 위 사진에서는, N by N 이미지를 N/2 by N/2 이미지로 공간 해상도를 줄이고, 이를 다시 N by N 이미지로 공간 해상도를 다시 늘렸다.
💡
입력 영상과 최종 영상의 크기는 같지만, 정보의 양이 다르고, 실제적인 해상도가 다르다. 이러한 실제적인 해상도를 effective resolution 이라고 한다.

블록화 / 화소화 (pixelization)

샘플링을 더 적게 하게 되면 블록화(화소화, pixelization) 현상이 나타나게 된다.

양자화 (quantization)

💡
영상의 밝기 (intensity) 를 표현하는 데 사용되는 밝기값의 개수를 정하고 표현하는 것을 양자화라고 한다.
기본 영상은 256개의 ( = uint8 = 2^8 ) 개의 숫자로 양자화한다. 상황에 따라 256개보다 적은 수의 밝기값으로 양자화할 필요가 있다.

균일 양자화 (uniform quantization)

💡
밝기값의 범위를 균등하게 나누어 양자화하는 것을 균일 양자화 (Uniform quantization) 라고 한다.
💡
이렇듯, 균일 양자화를 하면, 원 영상에서는 존재한다고 느끼지 못하는 "거짓 윤곽" 이 나타날 수 있다. 이것은 양자화가 더 심하게 될수록 더 극단적으로 나타날 수밖에 없다.

디더링 (Dithering)

🔑
디더링 (dithering) 은 quantization 을 하면서도 영상의 quality 를 떨어뜨리지 않는, 컬러의 수 축소 방법이다.
🔑
halftoning 은 디더링 (dithering) 의 한 형태로, 영상을 두 가지 톤 (tone) 으로 표현하는 것을 의미한다.
특히, halftoning 은 dithering 의 극단적인 경우로, 영상의 밝기값을 0, 1 로만 양자화해야 한다. 하지만 균일한 양자화는 앞서 보았듯 거짓 윤곽이 정말 많이 나타난다. 이를 해결하는 방법을 알아보자.
우선, 패턴 처리를 활용한 방법이다. 위 그림처럼, 하나의 화소가 아닌 영역의 밝기에 따라 흑과 백 두 톤의 픽셀비율을 조절하는 방법을 상상할 수 있다.
강의에서는 이것을 달성하기 위한 방법들 중, 아주 간단한 방법을 소개한다고 한다. 강의에서 소개한 방법은 dithering matrix 을 통한 방법이다.
갑자기 행렬이 나와서 당황스러울 수 있지만, 결국 그냥 네 픽셀과 행렬의 네 요소를 비교해서 크면 1, 작으면 0 을 그 위치에 대입하겠다는 것이다.
n = 4 dithering_4 = np.linspace(uint8_min, uint8_max, n).astype(np.uint8) print(dithering_4) dithering_4_mat = dithering_4.reshape([np.sqrt(n).astype(np.uint8), np.sqrt(n).astype(np.uint8)]) print(dithering_4_mat)
Python
복사
[ 0 85 170 255] [[ 0 85] [170 255]]
Python
복사
n = 4 dithering_4_mat = np.tile(dithering_4_mat, [h//np.sqrt(n).astype(np.uint8), w//np.sqrt(n).astype(np.uint8)]) print(dithering_4_mat.shape) dithering_4_im = (im > dithering_4_mat) plt.figure(121, figsize = [13, 8]) plt.imshow(dithering_4_im, cmap='gray') plt.show()
Python
복사
좋은 디더링 알고리즘을 사용하면 아래와 같이 더욱 디테일한 영상을 만들어 볼 수 있다.
이제 n-output grayscale dithering 을 해 보자.
💡
dithering 의 한 형태인 halfolding 은 binary 형태로 나타내는 것을 의미하므로, 다음에 시도해볼 내용은 halfolding 이 아니기 때문에 0 과 1 만으로 이루어져 있지는 않다.
4-output grayscale dithering 은 다음과 같은 과정으로 이루어진다.
q(i,j)=floor(x(i,j)/85)q(i,j) = floor(x(i,j)/85)
이때, 85 라는 값은 85=ceil(255/(4−1)))85 = ceil(255 / (4-1))) 를 통해 도출된 값이다. 여기서 q(i,j)q(i,j) 까지는 uniform quantization 결과물과 별반 다를 것이 없다. 하지만 우리는 dithering 을 하고 있지 않은가.
final output dithering image qfinal\ output\ dithering\ image\ q
if x(i,j)−85q(i,j)<d(i,j), p(i,j)=q(i,j)+1if\ x(i,j)-85q(i,j) < d(i,j),\ p(i,j) = q(i,j)+1
else p(i,j)=q(i,j)else\ p(i,j) = q(i,j)
왜 이게 가능할까지 아래 예시 이미지 x(i,j) 를 통해 해 보도록 하자.
n-output grayscale dithering 으로 일반화해 보자.
s=ceil(255/(n−1))s=ceil(255/(n-1))
q(i,j)=floor(x(i,j)/s)q(i,j) = floor(x(i,j)/s)
final output dithering image qfinal\ output\ dithering\ image\ q
if x(i,j)−q(i,j)s<d(i,j), p(i,j)=q(i,j)+1if\ x(i,j)-q(i,j)s < d(i,j),\ p(i,j) = q(i,j)+1
else p(i,j)=q(i,j)else\ p(i,j) = q(i,j)
# 4-scale dithering n = 4 s = np.ceil(uint8_max / (n-1)) print(s) dithering_4 = np.linspace(uint8_min, s, n).astype(np.uint8) print(dithering_4) dithering_4_mat = dithering_4.reshape([np.sqrt(n).astype(np.uint8), np.sqrt(n).astype(np.uint8)]) print(dithering_4_mat) print('---') dithering_4_mat = np.tile(dithering_4_mat, [h//np.sqrt(n).astype(np.uint8), w//np.sqrt(n).astype(np.uint8)]) print(dithering_4_mat.shape) dithering_4_im = np.floor(im / s) + (im > im - s * dithering_4_mat) plt.figure(131, figsize = [13, 8]) plt.imshow(dithering_4_im, cmap='gray') plt.show()
Python
복사