이미지 센서 원리 - imiji senseo wonli

카메라 개발자 공부방(SW)

Camera

[5장] 이미지센서의 원리와 종류(CMOS, CCD)

luckmart 2021. 9. 2. 21:02

오늘은 이미지 센서에 대해 이야기해보겠습니다.
21세기에 가장 훌륭한 과학자가 누구로 선정되었는지 혹시 아시나요? 바로 아인슈타인입니다. 아인슈타인 상대성 이론으로 더 유명하지만, 빛의 광전효과를 증명한 것으로도 유명한데요. 오늘날 우리가 카메라를 이용해 사진을 찍거나, 휴대폰으로 동영상 촬영할 할 수 있었던 이유는 다 아인슈타인이 저 광전 효과를 증명했기 때문입니다.

1. 이미지 센서의 원리

카메라로 빛 정보를 처리하려면 빛 정보를 숫자 정보로 바꿔주는 매개체가 있어야 합니다. 그것이 센서의 역할입니다. 광양자 이론에 의하면 빛 안에는 광양자가 빛의 세기만큼 존재하고 이 빛이 금속판을 쏘면 광양자에 비례에서 금속판에서 전자가 나옵니다. 금속판에서 전자를 측정만 할 수 있다면 그게 센서가 되는 것입니다. 당연히 광양자에 잘 반응하는 금속판이 있다면 센서의 성능이 더 좋겠죠?  센서 회사에선 센서의 성능을 높이기 위해서 광양자가 잘 반응하는 재질의 금속판을 만들기 위해 많은 노력 한답니다.

센서라는 것은 단순히 빛의 세기를 측정하는 '금속판'입니다.

2. 이미지 센서의 구조

자 이제 원리는 알았으니, 이미지 센서의 구조에 대해 이야기해봅시다. 렌즈와 셔터 아이리스에 의해 모아진 빛이 이미지 센서에 닿게 된다는 건 다 아실 것입니다. 이미지 센서에도 이 빛들을 금속판 위에서 잘 모아 주기 위해 마이크로 렌즈가 존재합니다. 마이크로 렌즈가 없다면 빛이 퍼져서 들어와 제대로 감광이 잘 되지 않을 것입니다.

그리고 여기서 빛의 세기만 측정하면 단순히 흑백 영상이겠죠? 칼라 이미지를 얻기 위해서 추가적인 작업을 합니다. 금속판의 셀에 칼라 필터를 넣어서 빨간색 필터는 빨간색 성분의 빛만 통과시키고 나머지 초록색/파란색 필터는 각각 초록 파란색 성분의 빛만 통과를 시킵니다. 제일  금속판의 마지막단에 전위를 측정할 수 있는 전자 회로가 있어서 빛의 세기를 측정할 수 있는 것입니다.

이 통과 시킨 빛이 필터 모양 그대로 빛 정보가 센싱이 되기 때문에 센싱된 정보만 보면 모자익 된 이미지(Bayer Pattern)와 같습니다.

모자익된모자익 된 이미지는 아직 제대로 볼 수 있는 단계가 아닌데요. ISP가 이 모자익 된 이미지를 받아서 사람이 보는 영상처럼 보정을 해야 합니다.
(ISP에 대해선 다른 장에서 다루겠습니다.)

3. 이미지 센서의 종류

그리고 센서는 크게 CCD 센서와 CMOS 센서가 존재합니다.

3-1. CCD

먼저 CCD에 대해 이야기해볼 텐데, CCD는 chared coupled device의 약어로 벨 연구소에서 개발이 되었는데요.

CCD가 동작하는 방식은 금속판에 쌓인 전하를 컨베이너 벨트 움직이듯 하나씩 옆으로 옮기고, 마지막에는 전하를 측정 회로가 하나만 있어서, 그 회로가 옮겨진 전하들을 하나씩 측정합니다. 이것이 어떻게 가능할까요? 빛의 세기만큼 금속판에서 튀어나온 전자는 양전하 쪽으로만 이동이 가능합니다. 그래서 임의로 전자 옆에 낮은 전압을 걸어 놓게 되면 이 전자는 움직이지 못하게 됩니다. 이러한 원리를 이용해 여기는 일부러 전압을 높게 걸고 저기는 전압을 낮게 걸어서 전자를 한 칸씩 이동하게끔 유도를 하는 것입니다. 그릇이 있다고 가정하면 이 그릇에 전하가 쌓이고 때가 되면 옆으로 하나씩 전하가 이동된다고 생각하시면 됩니다! 마지막에는 빛의 세기를 측정하는 회로가 하나 있습니다.

CCD/ CMOS의 동작원리를 알려주는 사이트가 있습니다! 원리를 동영상으로 확인해볼까요?

https://www.youtube.com/watch?v=nxUDHcZl1uo 

CCD의 장점은 전위를 측정하는 회로 장치가 하나이기 때문에 일관된 품질로 전하량을 측정할 수 있는 장점이 있습니다. 그래서 CMOS 센서보다 노이즈가 적어 저조도 특성에 좋고 *감도가 좋습니다. (센서 *감도란 입력 신호 그대로 출력 신호로 재현해낼 수 있을 때 좋다고 이야기합니다.) 대신에 소비전력이 크고 회로도가 복잡한 단점이 있습니다. 과거에는 CMOS 센서가 성능이 너무 좋지 않아서, CCD를 사주로 용해 왔지만, CMOS 반도체 공정 기술과 센서 기술이 크게 발전됨에 따라 요즘은 대부분 CMOS 이미지 센서를 사용합니다. CCD 센서의 동작 방식 때문에 CCD 센서에서만 관찰되는 현상이 있습니다.

CCD는 전하를 옆으로 한 칸씩 이동시킵니다. 특정 셀에서 빛을 많이 받는 다면 그 전하가 바로 옆에 전하로 흘러 들어가 버릴 수 있답니다. 그러면 그 라인은 전부 포화가 되겠죠? CCD의 동작 방식 때문에 이러한 현상이 관찰되곤 합니다. 다음 시간엔 CMOS에 대해서 이야기해보겠습니다.

3-2. CMOS

CMOS 이미지 센서는 반도체 소자를 이용해 빛의 세기를 측정합니다. 반도체라는 것은 전압을 걸지 않으면 부도체가 되고, 전압을 걸면 전기가 흐르는 도체가 되는 것을 말합니다.

CMOS는 CCD와 같이 전하를 하나씩 옆으로 이동시켜서 측정하는 방식이 아니라, 셀마다 반도체 회로가 있고 전압을 걸어 측정값을 한 번에 병렬로 읽는 방식입니다. 병렬로 읽기 때문에 CCD와 달리 빛의 세기를 측정하는 회로 장치가 셀 마다 전부 존재를 합니다.

CMOS 이미지 센서의 장점은 무엇일까요?

1) 소비 전력이 작습니다.
2) 반도체 공정 기술만 있다면 저비용 대량생산이 가능합니다.
3) 발열이 적습니다.
4) 병렬로 처리하기 때문에 고속 처리가 가능합니다.

그러면 단점은 무엇일까요?

1) 빛의 세기를 측정하는 장치가 셀 마다 있는 게 큰 단점입니다! 아무리 공정상에 동일한 빛의 세기를 측정하는 회로를 설계했다 하더라도, 재질의 편차, 공정상의 편차, 물리적인 편차는 어쩔 수없이 존재하게 됩니다. (그래서 센서 데이터 시트를 보면 편차 -00%~00%가 존재한다고 항상 명시되어있습니다.) 그 말은 셀마다 전위를 측정하는 방식에 조금씩 편차가 있어 영상의 품질을 일관되게 측정하는 것이 어렵다는 말입니다.
그래서 CMOS 센서는 감도가 낮습니다. CCD는 전위를 측정하는 회로가 하나라서 이러한 문제를 전혀 고려하지 않아도 됩니다.

2) 또 암 전류가 잔존하여 노이즈가 많이 생기는 문제가 있습니다. 당연히 저조도에 취약합니다. 

광전 효과가 아주 오래전 아인슈타인에 의해 증명 되었지만, 품질상의 이유로 초기엔 CCD 이미지 센서를 사용한 카메라가 대다수였습니다.  

하지만 센서 회사들의 독자적 기술들이 끊임없이 발전하고 CMOS 이미지 센서의 기술도 비약적으로 향상되면서 CCD가 재현해 낼 수 있는 성능만큼 CMOS 이미지 성능이 향상이 되었습니다. CCD의 장점을 CMOS가 전부 극복해내기 시작하면서, CCD를 사용하는 카메라도 점차 줄어들게 되었습니다. (CMOS 이미지 센서의 경우 위에서 얘기한 것처럼, 대량 생산이 쉽고 소비전력이 적기 때문에 요즘 카메라는 CMOS 이미지 센서를 대다수 채택하고 있답니다.) CMOS와 작동 방식 때문에, 그 특성에 의해서 CMOS 센서에서만 재현되는 문제있답니다. 태양과 같이 강한 광원이 있을 때 CMOS 센서는 Black Sun Effect가 관찰이 됩니다.

[참조]

https://www.envision.co.kr/ko/support/knowledge/detail.asp?iBOARD_CONT_NO=222&&sKeywordKind=&sKeyword=&sKIND_TYPE= 

앤비젼

앤비젼이 귀뜸하는 머신비전 전문 기술 정보 Suppression of image artifact 1990년대 초 CMOS 이미지 센서가 개발되었을 때에는 256 x 256 해상도에 rolling shutter, High noise 등의 많은 제약점으로 인해 머신 비

www.envision.co.kr

한 셀에서 밝다고 인식하는 경우는 전위차가 클 때, 밝다고 인식을 하는 것입니다! 전위차란 base가 되는 전위와 측정된 값의 차이를 의미합니다.

하지만 저런 상황에선 전하가 넘쳐흘러 넘치면 base가 되는 전위도 함께 넘칠 수가 있습니다. 그러면 전위차가 0이 되어버려서 그 셀은 까맣게 인식하는 것이랍니다. 신기하죠?

오늘 배운 내용 정리해보겠습니다.

자 오늘은 여기까지입니다.