멀티모달 AI란? 아마존의 새 모델 노바(Nova) 공개

<목차>

1. 멀티모달 AI란?

2. 노바(Nova) 시리즈 주요 기능과 활용 사례

멀티모달 AI란?

멀티모달 AI는 여러 가지 유형의 데이터를 동시에 처리하고 이해할 수 있는 인공지능 시스템입니다 . 텍스트, 이미지, 음성, 비디오와 같은 다양한 형태의 데이터를 통합적으로 처리하여 더 풍부하고 복합적인 작업을 수행할 수 있습니다 .

주요 특징

데이터 처리 방식
- 이질성: 서로 다른 품질과 구조를 가진 데이터를 처리[3]
- 연결성: 여러 데이터 형식 간의 상호 보완적 정보를 활용[3]
- 상호작용: 다양한 데이터가 결합될 때의 시너지 효과 창출[3]

주요 기능 영역
- 이미지 캡션 생성: 이미지의 시각적 특징을 이해하고 설명 생성
- 시각적 질문 응답: 이미지 관련 질문에 자연어로 답변
- 이미지 분류 및 검색: 텍스트 설명이나 태그를 활용한 이미지 처리
- 감정 분석: 얼굴 표정과 텍스트 데이터를 결합한 감정 분석

기존 AI와의 차이점

기존의 AI가 주로 텍스트나 자연어 같은 단일 유형의 데이터만을 처리했다면, 멀티모달 AI는 마치 인간이 여러 감각기관으로 정보를 받아들이는 것처럼 다양한 유형의 데이터를 동시에 처리하고 이해할 수 있습니다 . 이를 통해 더 자연스럽고 포괄적인 AI 시스템을 구현할 수 있게 되었습니다.

 

'노바(Nova)'시리즈 주요기능 소개

아마존은 최근 자사의 연례 행사인 'AWS 리인벤트 2024'에서 새로운 멀티모달 인공지능(AI) 모델 시리즈인 '노바(Nova)'를 공개했습니다.

이 모델들은 텍스트, 이미지, 비디오 등 다양한 형태의 데이터를 처리하고 생성할 수 있는 능력을 갖추고 있으며, AWS의 완전 관리형 생성형 AI 플랫폼인 '아마존 베드록(Amazon Bedrock)'을 통해 제공됩니다.

 

아마존의 '노바(Nova)' 시리즈는 다양한 AI 활용도를 지원하는 모델들로 구성되어 있습니다.

각 모델의 주요 특징과 활용 사례는 다음과 같습니다.

1. 아마존 노바 마이크로(Amazon Nova Micro)

- 주요 특징 : 텍스트 전용 경량 모델로, 빠른 응답 속도와 비용 효율성을 제공합니다. 초당 210개의 토큰을 생성할 수 있으며, 메타의 '라마 3.1 8B' 및 구글의 '제미나이 1.5 플래시 8B'와 비교하여 모든 벤치마크에서 동등하거나 우수한 성능을 보였습니다.

- 활용 사례 : 빠른 텍스트 처리가 필요한 애플리케이션에서 효과적입니다. 예를 들어, 실시간 고객 지원 챗봇이나 뉴스 요약 서비스 등에 적용할 수 있습니다.

2. 아마존 노바 라이트(Amazon Nova Lite)

- 주요 특징 : 텍스트, 이미지, 비디오를 처리하는 멀티모달 모델로, 저렴한 비용으로 다양한 입력을 처리하여 텍스트 출력을 생성합니다. 오픈AI의 'GPT-4o 미니'와 비교하여 19개 부문 중 17개에서 동등하거나 더 나은 성과를 기록했습니다.

- 활용 사례 : 이미지나 비디오 콘텐츠를 분석하여 텍스트 설명을 생성하는 데 유용합니다. 예를 들어, 이미지 기반 상품 설명 생성이나 동영상 자막 자동 생성 등에 활용할 수 있습니다.

3. 아마존 노바 프로(Amazon Nova Pro)

- 주요 특징 : 다양한 작업에서 정확성, 속도, 비용 효율성을 최적화한 고성능 멀티모달 모델입니다. 오픈AI의 'GPT-4o'와 비교하여 20개 벤치마크 중 17개에서 동등하거나 우수한 결과를 보였습니다.

- 활용 사례 : 복잡한 데이터 분석이나 고도의 자연어 처리 작업에 적합합니다. 예를 들어, 의료 데이터 분석이나 법률 문서 검토 등에 적용할 수 있습니다.

4. 아마존 노바 프리미어(Amazon Nova Premier)

- 주요 특징 : 복잡한 추론 작업에서 가장 강력한 성능을 제공하는 멀티모달 모델로, 사용자 맞춤형 모델 학습을 지원합니다. 긴 컨텍스트를 처리할 수 있는 능력을 갖추었으며, 최대 30만 개의 입력 토큰 또는 약 30분 분량의 비디오를 처리할 수 있습니다.

- 활용 사례 : 대규모 데이터 세트의 심층 분석이나 맞춤형 AI 솔루션 개발에 활용할 수 있습니다. 예를 들어, 금융 시장 예측 모델 개발이나 대규모 동영상 콘텐츠 분석 등에 적용할 수 있습니다.

5. 아마존 노바 캔버스(Amazon Nova Canvas)

- 주요 특징 : 텍스트나 입력된 이미지 프롬프트를 기반으로 전문가 수준의 이미지를 생성합니다. 텍스트 입력으로 이미지를 쉽게 편집할 수 있는 기능과 색상 구성, 레이아웃을 조정할 수 있는 제어 기능이 포함되어 있습니다. 또한, 이미지 출처를 추적할 수 있게 워터마킹을 제공하고, 유해한 콘텐츠 생성을 제한하는 콘텐츠 검열 기능이 포함되어 있습니다.

- 활용 사례 : 마케팅 자료나 광고 이미지 생성, 디자인 시안 제작 등에 활용할 수 있습니다. 예를 들어, 제품 광고용 이미지 생성이나 소셜 미디어 콘텐츠 제작 등에 적용할 수 있습니다.

6. 아마존 노바 릴(Amazon Nova Reel)

- 주요 특징 : 텍스트와 이미지를 기반으로 고품질 동영상을 쉽게 생성할 수 있습니다. 회전, 줌 등의 시각적 동작 제어를 할 수 있는 카메라 모션을 지원합니다.

- 활용 사례 : 홍보 영상 제작이나 교육용 콘텐츠 생성 등에 활용할 수 있습니다. 예를 들어, 제품 소개 동영상 제작이나 온라인 강의 자료 제작 등에 적용할 수 있습니다.

현재까지는 이러한 모델들의 구체적인 적용 사례에 대한 공개된 정보가 제한적입니다. 그러나 각 모델의 특성에 따라 다양한 산업 분야에서 활용될 것으로 기대됩니다.

 

 

## 아마존은 이러한 모델들을 통해 고객들이 더 나은 지연 시간, 낮은 비용, 미세 조정 기능 등을 활용하여 AI 애플리케이션을 개발할 수 있도록 지원하고 있습니다.

또한, 내년에는 음성 입력과 출력을 지원하는 모델과 텍스트, 이미지, 오디오, 비디오 등 다양한 형식의 입력과 출력을 처리할 수 있는 멀티모달 모델을 출시할 계획입니다.
이러한 노바 시리즈의 출시는 아마존이 생성형 AI 시장에서 경쟁력을 강화하고, 오픈AI, 구글 등과의 경쟁에서 우위를 점하기 위한 전략으로 해석됩니다.