LLM 안전성 및 신뢰성 평가 데이터 구축 사업 착수보고회 / 사진. 한국지능정보사회진흥원

한국지능정보사회진흥원(이하 NIA)과 과학기술정보통신부(이하 과기정통부)는 8월 7일(목) NIA 서울사무소에서 ‘LLM 안전성 및 신뢰성 평가 데이터셋 구축’ 사업 착수보고회를 개최했다고 밝혔다.

이번 사업은 NIA와 과기정통부가 추진 중인 ‘독자 AI 파운데이션 모델 프로젝트’를 통해 개발되는 AI 모델 등에서 안전성과 신뢰성을 정량적으로 평가할 수 있는 기반을 마련하기 위해 추진된다. 특히 AI 모델의 위험 요소를 체계적으로 검증하고, 국제 수준의 평가 체계를 구축하는 데 중점을 둔다.

NIA는 그간 AI 허브를 통한 대규모 AI 학습데이터 구축, AI 바우처 사업을 통한 중소기업 AI 도입 지원, 신뢰할 수 있는 인공지능 실현을 위한 정책 연구 등 국내 AI 생태계 확산에 기여해왔다. 이번 사업을 통해서는 성능뿐만 아니라 안전성과 신뢰성까지 포함하는 종합 평가 체계를 마련, 글로벌 AI 거버넌스 논의에서 한국의 위상을 높이겠다는 계획이다.

특히 사업에서는 사이버 보안, AI 자율성, 사실 기반 정확성, 사회적 가치 편향 등 AI 안전성과 신뢰성 핵심 항목을 포함한 2만 건 이상의 한국어 특화 벤치마크 데이터셋을 구축한다. 이를 바탕으로 글로벌 기준에 부합하는 AI 모델 평가 체계로 발전시킬 예정이다.

착수보고회에는 과기정통부와 NIA, 그리고 데이터 구축을 수행하는 인공지능안전연구소 관계자가 참석해 데이터 구축 방향, 평가 체계 설계, 글로벌 연계 전략 등을 논의했다.

인공지능안전연구소 김명주 소장은 “이번 사업은 단순 성능 비교를 넘어, AI가 우리 사회에서 신뢰받으며 활용될 수 있는 기준을 세우는 첫 시도”라며, “인공지능안전연구소가 공정하고 객관적인 평가체계를 만들어가며, 국내외 AI 신뢰성 생태계를 선도해 나가겠다”라고 말했다.

NIA 황종성 원장은 “AI 안전성 평가는 선택이 아닌 필수가 된 시대”라며, “NIA가 그동안 AI 허브를 통해 축적한 1,300여 종의 AI 학습데이터와 평가 체계 전문성을 총동원해 세계 최고 수준의 AI 안전성 검증 체계를 구축하겠다. 이를 통해 대한민국이 글로벌 AI 신뢰성 표준을 선도하는 국가로 자리매김할 것”이라고 강조했다.