많은 개발업체들이 표준형 칩셋을 강화해서 FPGA로 눈을 돌리고 있다. 프레임율 변환, 업스케일링, 잡음 제거 등의 영상 향상 기능들이 FPGA를 이용해 구현되어서 가전 디스플레이 애플리케이션에 채택되고 있다.
이 글에서는 이 애플리케이션 분야의 성능, I/O, 신호 프로세싱, 메모리, 경제성 요구를 충족하는
알테라의 Cyclone III FPGA를 이용해서 이 기법을 어떻게 활용할 수 있는지 설명한다.
자료제공│알테라 코리아

가전 디스플레이 제품(고화질 텔레비전(HDTV), 모니터, 프로젝터) 개발업체들이 시급한 설계 문제에 직면했다. 이들 제품에 이용되던 ASSP(특정 용도 표준형 제품)는 전통적으로 주문형 ASIC 개발 사이클을 이용해 개발됨으로써 보통 3년에서 5년이 소요되었다. 그런데 가전 시장은 해가 바뀔 때마다 새로운 제품 및 기능을 요구하고 있다.
이러한 결과로서 가전 제품 개발업체들은 고객들이 요구하는 혁신 빈도를 제공하기 위해 전적으로 고정 기능 ASSP만을 이용할 수 없게 되었다. 갈수록 더 많은 이들 개발업체들이 표준형 칩셋을 강화해서 더 짧은 일정 내에(보통 6개월에서 9개월) 첨단 기능을 추가하기 위해 FPGA로 눈을 돌리고 있다. 프레임율 변환, 업스케일링, 잡음 제거 등의 영상 향상 기능들이 FPGA를 이용해 구현되어서 가전 디스플레이 애플리케이션에 채택되고 있다.

이 글에서는 이 애플리케이션 분야의 성능, I/O, 신호 프로세싱, 메모리, 경제성 요구를 충족하는 알테라의 Cyclone III FPGA를 이용해서 이 기법을 어떻게 활용할 수 있는지 설명한다.

이용 가능한 HD 콘텐츠에 비해서 HDTV의 보급 확산

HDTV의 수가 급속히 늘어나고 있으며 애널리스트들은 앞으로 몇 년에 걸쳐서 두 자릿수 성장률을 전망하고 있다. 이에 따라 전세계적으로 다수의 HD 방송 네트워크가 제작하는 HD 컨텐츠의 양이 늘어나고 있다. 그럼에도 불구하고 표준화질(SD) 케이블, 지상파, 위성 전송, 심지어 DVD 같은 저장 매체의 컨텐츠까지 포함해서 현재까지도 텔레비전으로 방영되는 대부분의 프로그램이 HD 해상도에 훨씬 못 미치는 것들이다.

이 점이 방송 산업에 있어서 중대한 문제가 되고 있다. 이러한 SD 컨텐츠를 프린징, 잡음, 아티팩트를 유발하지 않으면서 480라인에서 1080라인으로 디인터레이싱하고 업스케일링해야 한다. 방송국들이 SD 콘텐츠를 HD 전송에 적합한 콘텐츠로 변환하기 위한 장비에 대해 상당한 투자를 하고 있다.

또한 전세계적으로 HD 서비스가 출범됨으로써 다수의 북남미 국가, 일본, 한국에서 이용되는 60Hz 리프레시 속도를 나머지 국가들에서 이용하는 50Hz 리프레시 속도로 또는 그 역으로 변환해야 할 필요성이 증가하고 있다. 이것이 SD에서도 이미 충분히 어려웠으나 HD는 훨씬 더 까다로우며 어떠한 아티팩트이든 대화면에 더 선명하게 표시된다. 60Hz SD를 50Hz HD로 변환하기가 훨씬 더 어려우며 이 때문에 방송국들이 이 문제를 해결하기 위해 프레임율 변환기에 대대적인 투자를 시행하지 않을 수 없게 되었다.

고객 입장인 가전 디스플레이 및 홈 씨어터 주변장치 제조업체들은 업스케일링 및 프레임율 변환 기술을 이용해서 제품 차별적인 영상 품질을 제공할 수 있다. 이들 기능을 이용해서 대부분의 이용 가능한 컨텐츠에 대해 시청자 만족도를 향상시킴으로써 고해상도 HDTV의 잠재력을 실현할 수 있다. 하지만 고객의 구미를 당기기 위해서는 그러한 향상이 중대해야 하며 가능한 가장 낮은 비용으로 제공되어야 한다.

문제는 지난 10여 년에 걸쳐서 업스케일링 및 프레임율 변환에 관련된 알고리즘의 개발이 HDTV의 개발을 따라잡지 못하고 있다는 것이다. 겹선형(Bilinear) 및 쌍삼차(Bicubic) 보간과 화소 필터링은 HD로 이전하면서 곤란을 겪고 있으며 차세대 모션 적응식 보간은 상당한 프로세싱 성능 및 대량의 비싼 주문형 칩을 필요로 한다.

그림 1은 모션 적응식 알고리즘을 기반으로 한 현행 모션 적응식 업스케일링 알고리즘이 테두리를 들쭉날쭉하게 표시하는 것을 보여주며(왼쪽) 이를 동영상의 온전한 3D 방향 분석을 기반으로 더 우수한 품질의 결과를 나타내는 첨단 알고리즘(오른쪽)과 비교하고 있다.

공간적 모션을 측정하고 예측하는 것은 여기까지만 가능하다. 이 방식으로 해결할 수 없는 한 가지 문제가 2개의 맞물리는 블록이 서로 다른 방향으로 이동할 때이다. 이러한 경우에 평균 모션을 계산할 때 아티팩트가 생성된다. 결과를 블러링하는 대안적 기법들은 이상적이지 않으며 검출하고 구현하기 위해 추가적인 프로세싱 성능을 필요로 한다.

이 문제를 해결하기 위해 대대적인 노력이 이루어지고 있다. 특히 모션 보정으로 우수하게 처리하지 못하는 그래픽 및 동영상 오버레이 뿐만 아니라 텍스트를 다룰 수 있도록 부분적으로 콘텐츠의 품질을 향상시키고 있다. 이들 기법은 화면 상에서 움직이는 텍스트가 흐려보이거나 HD 화면 상에서 점핑하는 것으로 보인다.

그림 2에서 이 효과를 볼 수 있다. 왼쪽은 기존 업스케일링 알고리즘을 이용해 생성된 불량한 영상이고 오른쪽은 동일한 영상을 첨단 기법을 이용해 업스케일링한 것이다.

스케일링 및 프레임율 변환을 위한

혁신적 기법

전통적 모션 적응식 알고리즘은 동일한 위치의 이전 및 다음 화소로부터 공간 또는 시간 보간을 이용해서 소실된 화소를 계산한다. Let It Wave가 밴드릿(Bandlet)을 기반으로 새로운 기법을 개발했다. 밴드릿 기법은 영상 내의 모션에 집중하는 것이 아니라 공간적으로 그리고 이전 프레임으로 가서 깜빡임(시간적 진동)이나 울퉁불퉁함(공간적 진동)을 일으키지 않는 가장 우수한 화소를 찾아낸다. 밴드릿 기법은 방향 보간을 위해 전체 공간-시간 이웃을 검색해서 그림 3에서 보는 바와 같이 결과적인 총 변동을 최소화한다.

밴드릿 기법은 현재 업스케일링이 이루어지고 있는 방식과 전혀 다르며 오늘날 나와 있는 하이엔드 첨단 시스템보다 더 우수한 결과를 제공한다. 그러므로 밴드릿 기법은 비교적 소형의 경제성이 뛰어난 칩으로 구현하기에 적합하며 어떠한 크기의 순차 디스플레이이든 최고 1080p까지 모든 유형의 업스케일링을 지원한다.

또한 방송 장비의 경우 50Hz 및 60Hz와 대형 패널 디스플레이의 경우 최대 120Hz간의 프레임율 변환에 적합할 뿐만 아니라 밴드릿의 작은 크기는 대량 가전 애플리케이션에 적합한 기술을 제공한다.

가전 제품을 위한 동영상/영상 향상

알고리즘의 구현

가전 디스플레이 제품의 개발업체들이 Let It Wave의 밴드릿 기법과 같이 영상 향상 기술의 발전을 활용할 수 있다. 밴드릿 기법은 차별화 기능을 제공할 뿐만 아니라 적정한 구현 자원을 이용함으로써 가격에 민감한 가전 시장을 위해 가격을 최소화할 수 있도록 한다.

많은 가전 제품의 경우에 업스케일링 같은 동영상 및 영상 향상 기능이 흔히 고정 기능 ASSP에 의해 수행된다. 그런데 앞서도 설명했듯이 ASSP 개발업체들이 가전 시장의 요구를 충족해야 하는 문제에 직면했다. 이 시장은 주문형 ASIC 기반 제품 개발 사이클이 허용하는 것보다 더 빠른 속도로 새로운 기능 및 성능을 요구하기 때문이다. 또한 가전 제품 생산업체가 전체 개발 커뮤니티가 이용할 수 있는 고정 기능 부품에만 전적으로 의존한다면 제품을 차별화하기가 어렵다.

일부 가전 애플리케이션 및 다수의 기타 최종 애플리케이션에서 주문형 동영상 및 영상 향상 기능이 전통적으로 디지털 신호 프로세서로 구현되었다. 이는 이들 기능이 산술 집중적이며 이들 기능을 디지털 신호 프로세서로 구현하기 위한 다수의 지원을 이용할 수 있고 그렇게 구현하는 경험이 축적되었기 때문이다. 하지만 HDTV 애플리케이션을 위해서는 프로세싱 요구가 매우 높으며 충분한 프로세싱 성능을 제공하는 디지털 신호 프로세서의 비용이 가격에 민감한 가전 제품에는 허용될 수 없을 수 있다.

이들 애플리케이션에서 디지털 신호 프로세서를 이용할 때의 어려움은 두 가지로 설명할 수 있다. 첫째, 디지털 신호 프로세서는 기본적으로 직렬 머신으로서 신호 체인의 요소를 한 번에 하나씩 처리한다. 일부 하이엔드 디지털 신호 프로세서의 경우에는 소수의 명령을 동시에 처리함으로써 낮은 정도의 병렬화를 가능하게 한다.

하지만 가격이 비병렬 버전에 비해서 수 배에 달할 수 있다. 또 다른 애플리케이션에서는 진정한 병렬 프로세싱을 달성하기 위해 다중의 디지털 신호 프로세서를 이용할 수 있지만 하드웨어의 비용 및 따라서 전력 소비가 그에 따라 급속히 증가한다.

이러한 문제들 때문에 디자이너들이 알테라 FPGA로 눈을 돌리고 있다. 그럼으로써 직렬 동작 셋을 병렬 구조로 변환해서 동일한 가격의 디지털 신호 프로세서를 이용해 가능한 것보다 훨씬 더 높은 쓰루풋으로 수행할 수 있다. 이것이 프로그래머블 로직 기술의 핵심적인 이점이다. 프로세스를 진정으로 병렬화함으로써 알고리즘을 가속화할 수 있는 것이다.

일반적인 디지털 신호 프로세싱(DSP) 애플리케이션에서는 엔지니어가 성능을 향상시키기 위해 파이프라인 어셈블리 언어를 작성하거나(디지털 신호 프로세서가 이를 지원할 경우) 디지털 신호 프로세서를 더 높은 주파수 모델로 대체하는 것과 같은 소수의 옵션만을 이용할 수 있다. 알테라 기법을 이용하면 하드웨어뿐만 아니라 소프트웨어까지 동시에 최적화할 수 있다. 디자이너가 코드, 더 높은 성능의 디바이스, 하드웨어 최적화라는 3가지 측면에서 최적화가 가능한 것이다.

많은 하드웨어 프로세서가 가격대 성능비가 급격히 증가함으로써 디자이너들에게 보통 코드 최적화라는 하나의 옵션만이 가능했다. 알테라의 프로그래머블 솔루션이 제공하는 폭넓은 유연성은 이전에는 일정이나 가격뿐만 아니라 전통적 디지털 신호 프로세서가 계산 부하를 처리할 수 없어서 설계하는 것이 불가능했던 시스템을 제작할 수 있도록 한다.

알테라 FPGA를 이용하면 엔지니어가 설계 프로세스에 있어서 하드웨어 가속화라는 또 다른 자유가 가능해진다. 하드웨어 가속화를 이용함으로써 어떠한 맞춤화 DSP 동작을 위해서든 최상의 가격대 성능비 조합을 달성할 수 있다.

첨단 FPGA는 병렬 프로세싱을 용이하게 할 뿐만 아니라 DSP 기능을 효율적으로 구현할 수 있도록 임베디드 곱셈기를 제공한다. 충분한 양의 임베디드 곱셈기가 제공되지 않으면 스케일러나 필터 같은 산술 기능이 디바이스 내의 다른 자원에 비해서 높은 비율의 범용 로직을 소비함으로써 비효율적인 디바이스 활용 및 잠재적으로 높은 비용을 야기할 수 있다. 그러므로 높은 곱셈기-로직 비율을 제공하는 FPGA가 영상 및 동영상 향상 기능에 더 적합하다.

영상 및 동영상 향상 기능을 지원하기 위해서 알테라 Cyclone III FPGA는 그림 4에서 보듯이 가장 높은 곱셈기-로직 비율을 제공한다. 이 그림에서는 Cyclone III FPGA가 다른 저비용 프로그래머블 로직 제품군과 비교해서 전체 로직 밀도에 걸쳐서 가장 높은 곱셈기-로직 비율을 제공하는 것을 알 수 있다.

높은 수의 임베디드 곱셈기 이외에도 이들 기능을 위한 이상적인 FPGA 아키텍처는 대량의 임베디드 메모리를 필요로 한다. 영상 및 동영상 프로세싱을 위해서는 많은 양의 메모리 대역폭이 필요하다. 1080p HDTV 프로세싱을 위해서는 초당 200MB 이상이 필요하다. Let It Wave의 기술을 이용한 예를 통해서 임베디드 메모리의 이점을 이해할 수 있다. 그림 5는 동영상 데이터가 어떻게 디인터레이싱, 잡음 제거, 스케일링을 위해 Let It Wave의 영상 향상 알고리즘을 채택한 시스템을 통해서 흐르는지를 보여주는 블록도이다.

스케일링 단계에서 입력 화소가 래스터 순으로 도착하고 내부 메모리가 충분하지 않으면 이들 화소를 외부 메모리를 통해서 재순서화하고 수직 스케일러로 보내기 전에 부분적 라인으로 다시 읽어야 한다. 이들 화소를 또한 수평 스케일러로 보내기에 앞서서 래스터 순서를 복원하기 위해 두 번째로 재순서화해야 한다(그림 6).

충분한 임베디드 메모리를 제공하는 FPGA는 전체 동영상 라인을 버퍼링할 수 있으므로 외부 메모리를 통해서 화소를 재순서화할 필요가 없다. 이의 결과로서 지연시간이 줄어들고 외부 메모리 디바이스를 제거함으로써 구현 비용을 낮출 수 있다.

그림 7은 Cyclone III FPGA를 이용해 구현한 Let It Wave의 스케일러를 통해 화소가 어떻게 흐르는지를 보여준다. 이 FPGA가 충분한 임베디드 메모리를 제공함으로써 외부 메모리 디바이스를 통한 경로를 제거한다. Let It Wave 스케일러를 Cyclone III FPGA로 구현하면 더 적은 임베디드 메모리의 다른 FPGA 아키텍처와 비교해서 외부 메모리 요구량을 4개의 DDR2 DRAM 디바이스에서 3개로 감소시킨다.

영상 및 동영상 향상 기능에 대해 최상의 지원을 제공하기 위해 그림 8에서 보듯이 알테라 Cyclone III FPGA는 다른 저비용 프로그래머블 로직 제품군에 비해서 모든 로직 밀도에 걸쳐서 가장 높은 메모리-로직 비율을 제공한다.

혁신적인 영상/동영상 향상 기능의

경제성 뛰어난 구현

가전 시장을 위해서 Cyclone III FPGA는 영상 향상 알고리즘을 구현하기에 매우 적합한 메모리 및 곱셈기 집중적 아키텍처를 제공한다. 또한 65nm 프로세스로 개발된 세계 최초의 저비용 FPGA로서 Cyclone III 디바이스는 이 기술을 텔레비전 및 LCD 패널에 통합할 수 있는 비용 구조를 제공한다.

가전 디스플레이 업체들이 이미 타이밍 제어에 Cyclone FPGA를 이용하고 있으며 이를 밴드릿 업스케일링 및 프레임율 변환과 통합할 수 있을 것이다. 그럼으로써 패널 업체들은 HD 가전 디스플레이의 다음 단계라고 할 수 있는 120Hz 리프레시 속도를 제공할 수 있을 것이다.

그림 9는 동영상 향상을 위해 Let It Wave의 기술을 채택한 Cyclone III 디바이스를 기반으로 한 모듈 다이어그램이다. 이 모듈은 메저닌 커넥터를 이용해서 고객의 최종 제품에 편리하게 통합할 수 있도록 설계되었으며 HDTV 동작을 위한 충분한 외부 DDR2 DRAM, FPGA 구성 데이터를 유지하기 위한 플래시 메모리, 구성 관리를 위한 CPLD, 클록 생성을 위한 온보드 발진기, 모든 필요한 전력 레일을 제공하기 위한 전압 레귤레이터를 포함한다.

또한 프로슈머 시장을 위해서는 추가적인 온스크린 디스플레이(OSD) 기능을 필요로 하는 홈 씨어터 프로젝터 및 DVD 플레이어 업스케일링을 위해서 이 기술의 변형을 이용할 수 있다. 그러한 기능을 FPGA에 편리하게 추가할 수 있다.

이러한 어떤 제품을 위해서나 FPGA 기반 디자인을 이용함으로써 단일 디자인으로 다양한 제품을 개발할 수 있다. FPGA의 재구성가능성이 하드웨어의 비용을 높이지 않으면서 맞춤화 요소를 추가할 수 있도록 하기 때문이다.

결론

Let It Wave의 밴드릿 기법 같은 혁신적인 영상 및 동영상 향상 기법과 이들 기능을 구현하기 위해 최적화된 저비용 Cyclone III FPGA 제품군을 결합함으로써 가전 디스플레이 제품 개발업체 및 협력업체들에게 다수의 이점이 제공된다. 평면 패널 및 홈 씨어터 프로젝터 업체들은 비용을 낮추면서 동시에 가장 짧은 일정으로 제품 차별화 기능을 제공할 수 있다.

ASSP 개발업체는 마찬가지로 자사 칩셋을 Cyclone III FPGA 기반 자매 디바이스로 보완해서 프레임율 변환 및 가장 높은 품질의 업스케일링을 제공할 수 있다. 이 기법을 이용해서 ASSP 개발업체가 초기 투자를 유지하면서 주문형 ASIC을 이용해서는 달성하기가 불가능한 개발 일정으로 새로운 기능을 신속하게 제공할 수 있다.

<자료제공: 월간 반도체네트워크 2007년 05월호>