온디바이스 AI 란?
온디바이스 AI(On-device AI)는 기기 자체에서 데이터 처리, 판단, 추론을 수행하는 인공지능 기술을 의미합니다. 기기 내부에서 이루어지는 이러한 AI 처리는 외부 클라우드 서버에 의존하지 않고 이루어지며, 기기의 성능과 리소스를 활용하여 실시간 응답 및 데이터 분석을 가능케 합니다.
일반적으로 온디바이스 AI는 모바일 기기, 스마트폰, 태블릿, 스마트워치, IoT 장치 등 다양한 기기에서 사용됩니다. 이러한 기기들은 제한된 프로세싱 파워, 메모리, 배터리 수명 등의 자원을 가지고 있기 때문에, 외부 서버로 데이터를 전송하고 결과를 받아오는 클라우드 기반의 AI 시스템보다 효율적으로 동작할 수 있습니다.
온디바이스 AI는 주로 음성 인식, 이미지 인식, 자연어 처리, 얼굴 인식, 동작 감지 등 다양한 인공지능 기술을 포함하고 있으며, 이를 통해 기기는 사용자에게 더욱 빠른 응답과 개인화된 서비스를 제공할 수 있습니다. 또한, 프라이버시 및 보안 측면에서도 중요한 역할을 합니다.
인텔 차세대 AI칩 가우디 3공개
인텔이 최신 AI 반도체인 ‘가우디3’의 시제품을 공개하면서, AI 분야에서의 혁신을 가속화하고 있습니다. 가우디3는 전작 대비 최대 4배의 처리 속도 향상과 고대역폭 메모리인 HBM 탑재 용량이 1.5배 증가한 탁월한 성능을 자랑합니다. 인텔이 엔비디아의 H100와 AMD의 MI300X와의 경쟁에 많은 사람들의 관심이 집중되고 있습니다.
인텔은 또한 노트북 및 PC용 반도체인 ‘코어 울트라’를 발표하며, 이 제품은 7나노 공정으로 제작되었고 NPU(신경망 처리 장치)를 탑재해 클라우드 접속 없이 노트북에서 AI를 실행할 수 있는 온디바이스AI 기능을 제공한다고 밝혔습니다. 뿐만 아니라, 인텔은 서버용 CPU인 5세대 제온 프로세서도 출시하였는데, 이는 앞서 언급한 대로 NPU 기능을 탑재해 클라우드에서 GPU와 함께 생성형 AI에 활용될 것으로 예상됩니다.
인텔 CEO인 팻 겔싱어는 이번 발표를 통해 AI 시장의 잠재력을 높게 평가하며, AI PC가 다가올 시장에서 주요 역할을 할 것이라 강조했습니다. 그는 또한 AI가 어느 순간 세계 경제의 3분의 1을 차지할 가능성이 높다고 전망하며 AI 분야에 대한 투자를 강조했습니다. 인텔은 이러한 혁신적인 제품들을 통해 AI 분야에서의 경쟁력을 향상시키고, 다양한 기기에서의 AI 적용을 촉진하고 있습니다.
삼성, 갤럭시 S24 시리즈에 다양한 AI 모델 동시 탑재 추진
삼성전자는 다가오는 갤럭시 S24 시리즈에 자사의 AI ‘삼성 가우스’뿐만 아니라 글로벌 빅테크들의 최신 AI 모델을 함께 탑재할 가능성을 검토하고 있다고 전해졌다. 이로써 갤럭시 S24는 자사의 AI 외에도 다양한 AI 모델을 동시에 탑재하여 온디바이스에서의 AI 처리를 강화할 것으로 예상됩니다.
온디바이스 AI는 클라우드에 연결되지 않더라도 단말기 자체에서 정보 수집과 연산 처리를 수행할 수 있는 장점을 가지고 있으며, 빠른 처리 속도와 높은 보안성이 강점입니다.
이전에는 삼성이 갤럭시 S24에 자사의 AI 모델만을 탑재할 것으로 예상되었으나, 최근에는 여러 AI 모델을 동시에 내장할 가능성이 높아지고 있습니다. 구글의 ‘제미나이’나 오픈AI의 ‘GPT-4’가 후보로 언급되며, 특히 구글과 삼성전자 간의 긴밀한 파트너십을 고려하면 ‘제미나이’의 갤럭시 S24 탑재가 가능성이 높을 전망입니다.
애플과 구글, 경제성과 성능 강화를 위한 온디바이스 AI 투자 확대
애플과 구글은 최근 생성형 AI 기술에 대한 투자를 본격적으로 진행하며, 온디바이스 AI 기능을 강화하는 방향으로 나아가고 있습니다. 이에 따라 애플은 ‘MLX’라는 AI 개발 도구를 공개하고, iOS 업그레이드를 통해 AI 관련 부가 기능을 제공할 예정입니다. 애플 최고경영자(CEO) 팀 쿡은 “생성형 AI 서비스를 내년께 공개할 것”이라고 언급하며, 업계에서는 iOS 18에서 온디바이스 AI 기능을 추가할 것으로 추측하고 있습니다. 애플의 시리와의 결합은 상당한 수준의 완성도를 보여줄 전망입니다.
구글도 안드로이드 운영체제를 보유하며 온디바이스 AI에 적극적으로 투자하고 있습니다. 최근에 공개한 AI 모델 ‘제미나이 나노’는 구글의 스마트폰 모델인 픽셀 8프로에 탑재될 예정입니다. 픽셀 8프로는 녹음 요약, 지보드 스마트 답장 등 다양한 확장 기능을 사용할 수 있게 될 것으로 알려졌습니다.
기업들이 클라우드 방식 대신 온디바이스 AI를 추구하는 이유 중 하나는 경제성 때문입니다. 생성형 AI는 파라미터와 연산이 필수적이지만 클라우드 방식은 막대한 데이터를 처리하기 어려워 경제적으로 적절하지 않습니다. 또한, 대부분의 클라우드 기반 AI 서비스가 현재는 수익 창출이 어려워 전기료와 장비 투자로만 운용되고 있습니다. 이러한 흐름 속에서 애플과 구글은 경제성과 성능 강화를 위해 온디바이스 AI에 주력하고 있습니다.