애플 멀티모달 대규모 언어 모델(LLM) 페렛(Ferret) 어떤 AI인가?

 

 

 

애플은 새로운 멀티모달 대규모 언어 모델(LLM)인 페렛(Ferret)을 공개했는데요. 정확히 말하면 페렛 AI는 대규모 언어 모델로 다양한 이미지의 형태 및 크기, 언어를 기반으로 처리하는 멀티모발 기반의 LLM입니다.

 

애플의 페렛(Ferret) AI는 이미지 내에서 공간을 참조하고 시각적인 근거를 이해하는 등 새로운 방식의 멀티모달 LLM인데요. 즉 페렛 AI가 이미지를 이해할 때 점, 상자, 도형 등과 같은 다양한 입력 유형을 처리할 수 있습니다.

 

 

 

 

이는 기존 멀티모달 기반 LLM의 성능을 향상할 수 있다고 합니다.

 

애플 페렛 AI의 이러한 이미지 처리 방식을 하이브리드 영역 표현이라고 하는데 이 방식은 어떠한 좌표와 연속적인 시각적 특징을 결합하여 점, 상자, 도형 등 다양한 형태의 특정 영역을 이해하여 AI 모델의 능력을 개선시킵니다.

 

 

 

 

애플 페렛 AI가 작동하는 방식은 프롬프트로 입력된 이미지와 텍스트를 처리하고 텍스트에 대한 응답과 이미지 내에 특정 영역의 좌표를 결괏값으로 내보냅니다.

 

입력된 이미지는 이미지 인코더를 통해 처리되며 이 과정에서 이미지 임베딩이 추출됩니다.

 

애플 멀티모달 대규모 언어 모델 페렛 어떤 AI인가?

 

 

동시에 입력된 텍스트는 LLM 모델을 통해 AI가 처리할 수 있는 데이터로 변환되도록 토큰화되고 이후 텍스트는 컴퓨터가 작업할 수 있도록 숫자화되는 임베딩으로 변환됩니다.

 

애플 페렛 AI는 사실 10월 중순쯤에 논문을 통해 공개되었는데요. 페렛 AI의 매개변수는  70억 개와 130억 개 2가지로 구분됩니다.

 

 

 

 

애플은 이미 AI에 대해 오래 전부터 연구해 왔습니다. 애플은 플랫폼 비즈니스의 선두주자로서 AI시장에서도 밀리지 않을 것으로 보입니다.

 

또한 가장 주목을 받게 된 점은 애플은 늘 폐쇄 정책을 고수해 왔었죠. 하지만 이번 페렛 AI는 오픈 소스 커뮤니티에서 소스를 공개했는데요.

 

 

 

 

게다가 애플의 페렛 AI는 80GB 메모리가 장착된 A100 GPU칩 8개를 통해 학습된 것으로 알려져 있습니다. 오픈 AI의 GPT시리즈처럼 애플은 아직까지 AI 분야에서 선두주자는 아니지만 AI시장은 이제부터이기 때문에 판도를 알 수 없다는 것이죠.&

 

애플은 얼마 전에 온디바이스 AI 방식으로 2024년에 아이폰을 출시한다고 밝혔는데요. 앞으로 AI가 탑재된 혁신적인 아이폰을 본격적으로 경험하게 될 것입니다.

 

 

 

 

지금도 iOS 운영체제가 지속적으로 업데이트되면서 하나둘씩 AI 기반으로 변화되고 있는데요. 예를 들어 아이폰으로 촬영한 사진 데이터를 확인하면 dog, food 등 동물, 음식 등의 사진 내 객체를 구분하도록 데이터가 나뉘는 것을 볼 수 있어요.

 

현재까지는 미미한 수준이겠지만 내년부터 출시되는 아이폰 시리즈에서는 온디바이스 AI와 시리(Siri)의 활약이 점점 늘어날 것으로 보입니다.

 

 

 

 

결론적으로 정리하면,

 

애플의 페렛 AI는 멀티모달 기반의 대규모 언어 모델(LLM)입니다. 페렛 AI는 특히 이미지를 다양한 형식으로 처리를 하는데요. 점, 경계선, 상자, 도형 등 다양한 형태를 분석하고 이해하여 결괏값을 보여줍니다.

 

 

 

 

이러한 이미지 처리 방식을 하이브리드 영역 표현이라고도 하는데요. 지금까지 출시된 멀티모달 LLM과는 다소 이해하는 방식이 다른 것으로 보시면 됩니다.

 

일반 사용자 입장에서는 사실 해당 AI가 아이폰에 적용되어 직접 사용을 해봐야 차이를 알 수 있겠지요. 2024년은 애플 아이폰, 삼성 갤럭시 등 온디바이스 AI가 탑재된 스마트폰 경쟁이 심화될 것으로 보이네요.

 

 

 

 

아이폰 iOS 18 달라지는 온디바이스 AI 기능 어떤 것이 있을까?

사람의 생각 마음 읽는 브레인GPT AI 어떻게 가능할까?

챗GPT 무료 버전 GPT-3.5 음성으로 대화하세요 (음성 대화 기능 사용법)

스마트폰 AI 서비스를 위해 온디바이스 AI 및 클라우드 AI 중 어떤 AI 방식이 적합할까?

GPT-4 성능과 거의 유사한 인플렉션-2 AI 무엇인가? 현재 AI 중 2위