한 번씩 로컬 AI가 다시 화제가 되는 시기가 있다. 이번에도 그랬다. 내 컴퓨터가 그리 좋은 편은 아니지만 한 번 테스트해봤다. 결론부터 말하면, 아직은 크게 추천하고 싶지 않다.
혹시 로컬 AI를 위해 새 PC를 살까 고민 중이라면, 결정하기 전에 한 번쯤 스스로에게 물어봐야 할 것들이 있다.
개인적으로 아무런 사업(또는 부업) 인프라 없이 AI로 돈을 벌고 싶은 사람이라면, 절대 로컬 AI로 시작하지 말라고 권하고 싶다. 이유는 단순하다. 모델은 계속 좋아지는데 내 하드웨어는 그대로다. 시간이 지날수록 내가 만들어내는 결과물은 상대적으로 뒤처지게 된다.
반면 구독료를 내고 클라우드 기반 모델을 쓰면, 아무것도 하지 않아도 성능이 알아서 좋아진다. 내 결과물도 자연스럽게 함께 좋아진다. 장기적으로 보면 이쪽이 훨씬 현명한 선택이다.
다만 예외는 있다. 이미 자기만의 워크플로우나 시스템이 구축되어 있는 사람이라면 이야기가 달라진다.
예를 들어 이미 어떤 서비스나 시스템을 운영하고 있고, 그것이 꽤 규모 있게 돌아가고 있는 상황이라고 해보자. 이런 경우라면 로컬 AI로 24시간 무언가를 감시하거나 처리하게 하는 것이 오히려 효율적일 수 있다. 매번 API 비용을 지불하며 클라우드에 요청을 보내는 것보다, 반복적이고 정형화된 작업을 로컬에서 돌리는 편이 비용 대비 합리적이기 때문이다. 특히 보안도 걱정되고 말이다.
또는 회사 내부에서 매번 비슷한 패턴의 업무를 반복적으로 처리해야 하는 상황도 마찬가지다. 데이터가 외부로 나가면 안 되거나, 동일한 작업을 하루에도 수백 번씩 돌려야 한다면 로컬 AI의 장점이 분명해진다.
정리하면 이렇다. 아직 아무 기반도 없는 상태에서 "AI로 뭔가 해보자"는 마음으로 로컬 AI부터 준비하는 것은 권하지 않는다. 하지만 이미 굴러가고 있는 워크플로우나 사업 아이템이 있고, 그 안에서 반복적이고 특정한 역할을 로컬 AI에게 맡길 수 있다면, 그때는 투자할 가치가 충분하다고 생각한다.
댓글을 불러오고 있습니다.