온디바이스 AI란: 'AI 폰'이라는 말 뒤에 있는 구조

'AI 폰', 'AI 노트북' — 갑자기 이 말이 늘어난 이유

새 폰 소개에 'AI'가 빠지지 않는데, 정작 뭐가 달라진 건지 감이 안 잡히셨죠? 챗봇 앱은 몇 년 전 스마트폰에서도 잘 돌아갔으니 더 헷갈리기 쉬워요. 이 글에서 그 차이가 기능의 유무가 아니라 '계산이 어디서 일어나느냐'에 있다는 점을 잡아 드리고, 내가 쓰는 기능이 어느 쪽인지 확인하는 방법까지 알려 드릴게요.

챗봇 앱을 쓸 때 실제 계산은 대부분 내 기기가 아니라 서비스 회사의 서버, 즉 클라우드에서 일어나요. 내 기기는 질문을 보내고 답을 받아 화면에 보여 주는 창구 역할만 하죠. 반면 최근 제조사들이 강조하는 건 이 계산의 일부를 기기 안에서 직접 처리하는 방식이고, 이걸 온디바이스(on-device) AI라고 불러요. '기기 위에서'라는 이름 그대로예요.

그러니까 'AI 폰'은 'AI 앱이 설치된 폰'이 아니라 'AI 계산을 스스로 어느 정도 해낼 수 있는 폰'에 가까워요. 이 구분이 잡히면 통역, 사진 편집, 요약 같은 기능 소개를 볼 때 '이건 기기 안에서 되는 걸까, 서버로 보내는 걸까'라고 자연스럽게 묻게 되고, 그 질문 하나가 제품을 훨씬 또렷하게 보여 줘요.

클라우드 AI의 구조: 내 질문은 서버로 가요

먼저 기본형인 클라우드 방식부터 볼게요. 대규모 언어 모델처럼 성능이 높은 AI 모델은 덩치가 아주 크고, 돌리는 데 전용 연산 장비가 필요해요. 개인 기기에 담기 어려운 크기라서 모델은 회사 데이터센터에 두고 사용자는 인터넷으로 접속해 쓰는 구조가 자연스럽게 표준이 됐어요. 식당에 비유하면 주방(모델)은 본점에 하나 있고, 저는 주문서(질문)를 보내 완성된 요리(답변)를 배달받는 셈이에요.

이 구조의 장점은 확실해요. 내 기기 성능과 무관하게 크고 강력한 모델을 쓸 수 있고, 모델이 좋아지면 제가 아무것도 하지 않아도 다음 접속부터 나아진 결과를 받아요. 대신 두 가지 조건이 따라붙어요. 첫째, 인터넷 연결이 필요해요. 비행기 안이나 통신이 불안한 곳에서는 쓰기 어려워요. 둘째, 입력한 내용이 서버로 전송돼요. 전송된 데이터가 어떻게 보관되고 학습에 쓰이는지는 서비스 설정과 약관의 문제로 이어져요.

여기에 회사 쪽 사정도 있어요. 서버에서 계산을 대신해 주는 데는 장비와 전기 비용이 들고, 사용자가 늘수록 비용도 늘어나요. AI 서비스에 요금제와 사용 한도가 붙는 구조적인 이유이기도 해요. 정리하면 클라우드 방식은 성능은 높고, 대신 연결·전송·비용이라는 조건이 함께 오는 방식이에요.

온디바이스 AI: 데이터가 기기를 떠나지 않아요

온디바이스 방식은 이 구조를 뒤집어요. 작게 줄인 AI 모델을 기기 안에 넣어 두고, 계산도 기기의 칩이 직접 해요. 주방을 아예 우리 집 안에 들여놓는 거죠. 그러면 클라우드 방식의 두 조건이 사라져요. 인터넷이 없어도 동작하고, 입력한 내용이 기기 밖으로 나가지 않아요.

장점을 조금 더 풀면 이래요. 첫째는 프라이버시예요. 통화 내용 요약이나 사진 속 인물 검색처럼 민감한 데이터를 다루는 기능이라면, 데이터가 서버로 전송되지 않는다는 것 자체가 큰 안심 요소가 돼요. 둘째는 반응 속도예요. 서버를 오가는 왕복 시간이 없으니 실시간 통역이나 자판 추천처럼 즉각성이 중요한 기능에 유리해요. 셋째는 오프라인 동작과 비용이에요. 통신이 안 되는 곳에서도 쓸 수 있고, 회사 입장에서는 서버 비용이 들지 않아요.

이런 계산을 위해 최근 기기에는 NPU라는 AI 연산 전용 장치가 들어가요. 'NPU 탑재'라는 문구는 곧 '온디바이스 AI 계산을 감당할 부품이 있다'는 뜻이에요. 다만 NPU가 있다고 모든 AI 기능이 기기 안에서 처리되는 건 아니라서, 이 문구를 기능 전체가 오프라인으로 돈다는 보장으로 읽으시면 아쉬울 수 있어요.

그럼 왜 전부 온디바이스로 만들지 않을까요

온디바이스가 그렇게 좋다면 다 그쪽으로 가면 될 텐데, 현실은 그렇지 않아요. 이유는 크기예요. 기기에 들어가는 모델은 서버의 대형 모델을 크게 압축하거나 처음부터 작게 만든 것이라, 할 수 있는 일의 폭과 답변의 깊이에서 차이가 나요. 복잡한 추론, 긴 문서 작업, 폭넓은 지식이 필요한 질문은 여전히 큰 모델이 잘해요. 집 주방으로 한 끼 식사는 되지만 연회 요리는 본점 주방이 필요한 것과 같아요.

배터리와 발열도 제약이에요. AI 계산은 전기를 많이 쓰는 작업이라, 무거운 계산을 기기에서 계속 돌리면 배터리와 온도가 부담을 받아요. 또 온디바이스 모델은 기기에 담긴 채로 있으니, 서버 모델처럼 수시로 개선되기보다 소프트웨어 업데이트 주기를 따라가요.

그래서 실제 제품들은 대부분 하이브리드, 즉 혼합 구조를 써요. 자판 추천·사진 정리·간단한 요약처럼 가벼운 작업은 기기 안에서 처리하고, 복잡한 질문이나 고품질 이미지 생성처럼 무거운 작업은 서버로 보내는 식이에요. 같은 '통역 기능'이라도 기본 언어 몇 개는 기기에서, 나머지는 서버에서 처리하는 분담도 있고요. 어떤 기능이 어느 쪽에서 처리되는지는 제품·기능·설정마다 다르니, 민감한 데이터를 다룰 때는 해당 기능의 공식 안내에서 처리 위치를 확인하시는 게 정확해요.

내 기능이 어느 쪽인지 직접 확인하는 법

설명은 많은데 '그래서 지금 내 폰의 이 기능은 어느 쪽이지?'는 잘 안 알려 주죠. 방법은 간단해요. 아래 순서대로 짚어 보시면 대개 답이 나와요. 순서대로 해 보시면 몇 분이면 끝나요.

• 1. 비행기 모드로 바꾸고 그 기능을 써 보세요 — 그대로 동작하면 기기 안에서 처리되는 쪽이에요.
• 2. 응답 속도를 비교해 보세요 — 왕복 지연 없이 즉시 반응하면 온디바이스일 가능성이 높아요. 다만 속도만으로 단정하진 마세요.
• 3. 설정에서 해당 기능 항목을 열어 보세요 — '기기에서 처리', '서버 연동' 같은 표시나 데이터 전송 안내가 적혀 있는 경우가 많아요.
• 4. 제조사·서비스의 공식 기능 안내 페이지를 확인하세요 — 기능별 처리 위치를 명시해 두는 곳이 늘고 있어요. 가장 확실한 확인처예요.
• 5. 같은 기능이라도 조건에 따라 갈릴 수 있어요 — 언어나 파일 크기에 따라 서버로 넘어가는 경우가 있으니, 민감한 자료는 매번 같은 조건으로 쓰시는 게 안전해요.

이제 이렇게 읽으시면 돼요

'AI 폰', 'AI PC' 같은 표현을 만나면 첫 질문은 '이 기능은 어디에서 계산되나'예요. 온디바이스라면 프라이버시·오프라인·속도 이야기가 따라올 거고, 클라우드라면 성능·연동·요금 이야기가 따라올 거예요. 산업 뉴스도 같은 축으로 갈려요. 스마트폰용 칩의 AI 성능은 온디바이스 쪽 이야기, 데이터센터와 전력 문제는 클라우드 쪽 이야기예요. 두 흐름은 경쟁이라기보다 분담에 가까워요.

결국 챙기실 건 두 가지예요. 민감한 정보를 다루는 기능이라면 데이터가 기기 밖으로 나가는지 먼저 확인하시고, 온디바이스라는 말이 붙어 있어도 기능 단위로 나눠 보시면 돼요. 위의 비행기 모드 확인 하나만 익혀 두셔도 제품 소개 문구에 휘둘리지 않게 되고, 내 데이터가 어디 있는지 알고 쓰는 편안함이 생겨요.