NVIDIA, Mistral AI 모델 NeMo 출시

 

Mistral NeMo 발표

Mistral AI와 NVIDIA는 2024년 7월 18일, 최첨단 120억 매개변수 언어 모델인 Mistral NeMo를 공동 발표했습니다. 이 모델은 Mistral AI의 데이터 훈련 전문 지식과 NVIDIA의 최적화된 하드웨어 및 소프트웨어 생태계를 결합하여 개발되었습니다. Mistral NeMo는 NVIDIA DGX 클라우드 AI 플랫폼에서 훈련되었으며, 3,072개의 H100 80GB 텐서 코어 GPU를 활용하여 최신 인프라를 자랑합니다.

Mistral AI 개요

Mistral AI는 Meta Platforms와 Google DeepMind의 전 직원들이

2023년 4월에 설립한 인공지능 제품을 전문으로 하는프랑스 회사입니다.

이 회사는 강력하고 접근 가능한 대형 언어 모델을 생산하는 오픈 소스 혁신을 강조합니다.

Mistral AI는 고성능 모델을 오픈 라이선스로 제공하고 분산 기술 개발을 촉진하여 AI를 민주화하는 것을 목표로 합니다.

 

주요 특징

Mistral NeMo는 다양한 자연어 처리 작업에서 뛰어난 성능을 발휘하도록 설계되었습니다.

텍스트 생성, 콘텐츠 요약, 언어 번역, 감정 분석 등에서 높은 성능을 보여줍니다.

특히, 128,000 토큰의 컨텍스트 윈도우를 갖추어 방대한 정보와 복잡한 내용을 더 일관성 있게 처리할 수 있습니다.

새로운 토크나이저인 Tekken을 도입하여 소스 코드 및 주요 언어의 약 30% 더 효율적인 압축을 제공하며, 한국어와 아랍어에서는 더 큰 개선 효과를 보입니다.

또한, 훈련 과정에서 양자화 인식을 통해 FP8 추론을 가능하게 하여 성능 저하 없이 효율적인 배포를 가능하게 합니다.

 

다른 모델들과의 차이

언어능력

 

다른 모델과의 비교

Mistral NeMo 12B는 동일한 크기 범위의 다른 모델들과 비교하여 인상적인 성능을 보여줍니다.

벤치마크에 따르면, 이 모델은 정확성과 효율성 면에서 Gemma 2 (9B)와 Llama 3 (8B)를 능가합니다.

100만 입력 및 출력 토큰당 $0.3의 경쟁력 있는 가격을 제시하며, 더 큰 모델인 GPT-4 (32k 컨텍스트)와 Mixtral 8x22B에 비해 비용 효율적인 위치에 있습니다.

128K 컨텍스트 윈도우와 Tekken을 통한 고급 토크나이징은 장문 콘텐츠 및 다국어 작업 처리에서 우위를 점하며,

Llama 3 토크나이저를 약 85%의 모든 언어에서 텍스트 압축 측면에서 능가합니다.

 

접근성 및 배포

Mistral NeMo 모델 가중치는 HuggingFace에서 베이스 및 인스트럭트 버전 모두 이용 가능하여, 개발자들이 쉽게 접근하고 구현할 수 있습니다. 이 모델은 mistral-inference와 mistral-finetune 도구를 사용하여 활용할 수 있습니다. 기업 배포를 위해, Mistral NeMo는 NVIDIA NIM 추론 마이크로서비스로 패키징되어 ai.nvidia.com을 통해 접근할 수 있습니다. 이 모델은 단일 NVIDIA L40S, GeForce RTX 4090, 또는 RTX 4500 GPU에서 실행되도록 설계되어, 다양한 조직들이 강력한 AI 기능을 비즈니스 데스크톱에서 직접 활용할 수 있게 합니다.

 

 

홈페이지 및 활용방법

https://mistral.ai/

Mistral AI | Frontier AI in your hands

또는 Chatlabs 플랫폼, https://ai.nvidia.com/, https://huggingface.co/mistralai

https://writingmate.ai/blog/mistral-nemo-access

Introducing Mistral NeMo: A Powerful New AI Model

⬆️⬆️⬆️ 자세한 사용 방법은 해당 링크를 들어가면 확인 하실수있습니다! ⬆️⬆️⬆️

 

오픈 소스로 되어있기때문에 많은 기업들이 해당 모델을 사용중입니다.

보통 다양한 언어활용이 필요한 국제기구, 은행, 통신사, 네트워크 서비스 등 많은 분야에서 활용중입니다.

Mistral AI를 활용중인 해상, 육상, 항공 및 물류 솔루션 분야의 글로벌 기업

프랑스 최대의 통신 회사 Orange

OctoAI

⬇️⬇️⬇️ 다른 글을 보고싶으시다면 아래 링크 클릭 ⬇️⬇️⬇️

2024.07.19 - [내 지식창고] - YouTube, AI 대화형 라디오 테스트

YouTube, AI 대화형 라디오 테스트

2024.07.19 - [내 지식창고] - OpenAI, GPT-4o Mini 출시

OpenAI, GPT-4o Mini 출시