편집자 노트: 본 게시물은 AI Decoded 시리즈의 일부로, AI에 대한 접근성을 높여 AI에 대한 이해를 돕고, GeForce RTX PC 및 NVIDIA RTX 워크스테이션 사용자를 위한 새로운 하드웨어, 소프트웨어, 도구, 가속 기술 등을 소개합니다.
지난 1년간 AI Decoded 시리즈는 복잡한 거대 언어 모델(LLM)을 간단히 이해할 수 있게 하고 RTX AI PC와 워크스테이션의 성능을 집중 조명하는 등 AI에 대한 모든 것을 자세히 분석해 왔습니다.
진화하는 AI의 최신 기술을 요약한 이 종합편에서는 사람들이 온라인에서 글을 쓰고, 배우고, 서로 교류하는 방식을 AI가 어떻게 변화시켰는지 집중적으로 다룹니다.
NVIDIA GeForce RTX GPU는 PC 노트북과 데스크톱 및 워크스테이션에서 이러한 경험이 가능하도록 강력한 성능을 제공합니다. NVIDIA GeForce RTX GPU에는 1,300TOPS(초당 1,300조 개의 연산 처리) 이상의 처리 성능을 제공할 수 있는 특별한 AI Tensor 코어가 장착되어 있어 게임, 크리에이티브 작업, 일상 업무의 생산성 향상 등을 위한 최첨단 기술을 지원할 수 있는 강력한 성능을 제공합니다. 워크스테이션의 경우, NVIDIA RTX GPU가 1,400TOPS 이상의 성능을 제공하기 때문에 AI 가속화와 효율성이 한층 업그레이드됩니다.
AI 기반 챗봇으로 물꼬가 트인 생산성과 크리에이티브 능력
올해 초 AI Decoded에서는 거대 언어 모델(LLM)이란 무엇이고, 이것이 왜 중요하며, 어떻게 사용하는지 자세히 다룬 바 있습니다.
많은 사람들에게 ChatGPT와 같은 도구는 처음으로 경험하는 AI였습니다. LLM 기반의 챗봇으로 인해 규칙 기반의 기본적인 상호 작용이었던 컴퓨팅이 다이내믹한 대화로 변모하게 되었습니다. 이러한 챗봇은 휴가에 대한 아이디어를 제안하기도 하고, 고객 서비스 이메일을 작성할 수 있으며, 단숨에 독창적인 시를 짓기도 하고, 심지어 사용자를 위해 코드를 작성할 수도 있습니다.
3월에 소개했던 ChatRTX는 사용자가 문서, 메모, 이미지 등 자신의 콘텐츠로 GPT LLM을 맞춤화할 수 있게 해주는 데모 앱입니다.
검색 증강 생성(RAG), NVIDIA TensorRT-LLM, RTX 가속화 등의 기능을 갖춘 ChatRTX를 이용하여 사용자들은 자신이 갖고 있는 데이터에 대해 질문하고 빠르게 검색할 수 있습니다. 또한 앱이 RTX PC 또는 워크스테이션에서 로컬로 실행되므로 빠를 뿐만 아니라 개인정보도 보호됩니다.
NVIDIA는 마니아와 개발자들을 위해 Gemma 2, Mistral, Llama-3 등을 비롯한 가장 광범위한 파운데이션 모델을 제공합니다. 이러한 모델은 NVIDIA GeForce 및 RTX GPU에서 로컬로 실행하여 빠르고 안전한 성능을 제공할 수 있기 때문에 클라우드 서비스에 의존할 필요가 없습니다.
지금 바로 ChatRTX를 다운로드하세요.
RTX 가속 파트너 애플리케이션 소개
AI는 게임, 콘텐츠 제작 앱, 소프트웨어 개발, 생산성 향상 도구 등 점점 더 많은 앱과 사용 사례에 적용되고 있습니다.
게다가 다양한 RTX 가속 개발자 및 커뮤니티 도구, 소프트웨어 개발 키트, 모델 및 프레임워크 등으로 인해 모델을 인기 애플리케이션에서 로컬로 실행하는 것이 그 어느 때보다 쉬워진 만큼 AI 적용 사례는 더욱 급증하고 있습니다.
지난 10월에 AI Decoded에서는 NVIDIA RTX GPU와 오픈 소스 Ollama 플랫폼이 지원하는 Brave Browser의 Leo AI를 사용하여 어떻게 사용자들이 Llama 3과 같은 로컬 LLM을 자신의 RTX PC 또는 워크스테이션에서 직접 실행할 수 있는지 집중 조명했습니다.
이러한 로컬 설정은 클라우드에 의존할 필요 없이 사용자 데이터를 안전하게 보호하면서 빠르고 반응성이 뛰어난 AI 성능을 제공합니다. NVIDIA는 Ollama와 같은 도구를 최적화하여 문서 요약, 질문에 답변, 인사이트 추출 등과 같은 작업을 모두 Brave 브라우저 내에서 직접 수행하도록 가속화된 성능을 제공합니다. 사용자는 로컬 모델과 클라우드 모델 간에 전환할 수 있으므로 AI 경험을 유연하게 제어할 수 있습니다.
Ollama를 통해 로컬 LLM 지원을 추가하는 방법은 Brave의 블로그에 간단한 지침이 나와 있습니다. Ollama를 사용하도록 구성하면, Leo AI는 프롬프트와 쿼리를 위해 로컬에 호스팅된 LLM을 사용합니다.
에이전틱 AI – 복잡한 문제 해결 지원
에이전틱 AI는 새로 개척되고 있는 AI 분야로, 정교한 추론과 반복형 계획으로 여러 단계의 복잡한 문제를 자율적으로 해결할 수 있습니다.
AI Decoded는 AI 커뮤니티가 더욱 스마트하고 능력 있는 AI 시스템을 만들기 위해 어떻게 에이전트형 AI를 실험하고 있는지 살펴봤습니다.
AnythingLLM과 같은 파트너 애플리케이션은 AI가 단순히 질문에 답변하는 것을 넘어 어떻게 생산성과 독창성을 향상하는 단계까지 발전하고 있는지 보여줍니다. 사용자는 이 애플리케이션을 이용하여 웹 검색이나 미팅 일정 조정 등과 같은 작업을 처리할 수 있는 내장형 에이전트를 배포할 수 있습니다.
AnythingLLM을 이용하여 사용자들은 직관적인 인터페이스를 통해 효율적으로 문서 작업을 하고, AI 에이전트로 복잡한 작업을 자동화하며, 고급 LLM을 로컬에서 실행할 수 있습니다. RTX GPU의 막강한 성능을 활용하여 AnythingLLM은 더욱 빠르고 스마트하며 반응성이 뛰어난 AI 워크플로우를 모두 하나의 로컬 데스크톱 애플리케이션 내에서 제공합니다. 이 애플리케이션은 오프라인에서도 작동하므로 빠를 뿐만 아니라 민감한 정보가 안전하게 보호됩니다. 또한 클라우드 기반의 솔루션은 보통 액세스하지 못하는 로컬 데이터와 도구를 사용할 수 있습니다.
누구든지 AnythingLLM의 커뮤니티 허브에서 간편하게 시스템 프롬프트를 액세스하여 LLM 작동을 원하는 대로 조정하고, 생산성을 높이는 슬래시 커맨드를 활용할 수 있으며, 독특한 워크플로우와 맞춤형 도구를 위한 특별한 AI 에이전트 기술을 구축할 수 있습니다.
사용자가 개인정보를 안전하게 보호하면서 자신의 시스템에 에이전트형 AI 워크플로우를 실행할 수 있게 해주는 AnythingLLM은 최신 기술을 더 쉽게 실험할 수 있도록 지원하면서 AI 혁신에 큰 역할을 하고 있습니다.
AI Decoded 총정리
현재 600개 이상의 Windows 앱과 게임이 전 세계에서 이미 1억 대 이상의 GeForce RTX AI PC와 워크스테이션에서 로컬로 AI를 실행하며 빠르고 안정적인 저지연 성능을 제공하고 있습니다. NVIDIA GeForce RTX AI PC와 NVIDIA RTX AI 워크스테이션에 대해 더 자세히 알아보세요.
생성형 AI는 게임, 화상 회의 및 모든 종류의 인터랙티브 경험을 혁신하고 있습니다. AI Decoded 뉴스레터를 구독하고 AI 기술이 바꿀 현재와 미래의 모습을 확인하세요.
NVIDIA AI와 Omniverse로 차세대 모빌리티 혁신 나서는 현대자동차그룹
자율주행 자동차 개발의 전략 강화하는 NVIDIA Cosmos
CES서 공개된 NVIDIA DRIVE 파트너들의 모빌리티 혁신
베일 벗은 새로운 GeForce RTX 50 시리즈 GPU, 크리에이티브 성능의 혁신 이끌다
AI로 콘텐츠 제작과 시청자 경험 혁신하는 NVIDIA Media2
댓글