Microsoft Edge는 Windows 11 및 Windows 10에서 로컬로 Phi3 Mini AI 모델을 실행할 수 있습니다.

Microsoft는 Edge 브라우저가 “Phi3 Mini”라는 소규모 언어를 로컬로 실행할 수 있는 새로운 기능을 테스트하는 것으로 보입니다. 즉, Microsoft Edge를 사용하여 Windows 11(및 Windows 10) PC에서 직접 Microsoft의 소규모 언어 모델 중 하나를 사용할 수 있습니다. 이는 Edge Canary에서 발견된 새로운 실험적 플래그에 따른 것입니다.

X의 독자 Leo가 알아 차리고 Windows Latest에서 확인한 바에 따르면, “Prompt API for Phi3 min”이라는 새로운 플래그가 있습니다. Microsoft에서는 이를 “탐색적 Prompt API”를 켜는 방법으로 설명하는데, 이를 통해 “기본 제공 대규모 언어 모델”(Edge의 Phi3 Mini)과 상호 작용할 수 있습니다.

“탐색적 Prompt API를 활성화하여 내장된 대규모 언어 모델(Edge의 Phi3 Mini)에 자연어 명령을 보낼 수 있습니다. 탐색적 API는 잠재적 사용 사례를 발견하는 데 도움이 되는 로컬 프로토타입을 위해 설계되었으며, 실행되지 않을 수도 있습니다. 이러한 탐색은 내장된 AI 로드맵에 정보를 제공합니다.” Microsoft는 Edge 플래그 메뉴를 통해 실험을 확인했습니다.

Edge가 실제로 AI 모델을 로컬로 호스팅할 것인가?

이 모델이 로컬에서 호스팅될 수 있다고 생각하는 근거는 무엇인가요?

“탐색적”이라는 용어의 사용은 Edge의 소규모 언어 모델 아이디어가 아직 개발 중이며 개발 초기 단계에 있을 가능성이 있음을 시사합니다.

Microsoft는 Edge 내에서 본격적인 대규모 언어 모델을 로컬로 호스팅하지 않는 것으로 보이는데, 이는 실질적으로 불가능합니다. 이 회사가 소규모 언어 모델의 일부를 사용하여 브라우저의 새로운 기능을 구동하려고 시도하고 있을 가능성이 있습니다.

Microsoft는 실험 플래그 설명에서 “사실적 정확성이 요구되는 사용 사례(예: 지식 관련 질문에 답하는 것)에는 적합하지 않습니다.”라고 언급했습니다.

Microsoft는 Edge 브라우저를 통해 직접 작동하는 방식을 보고 있습니다. 이 API는 요약이나 텍스트 재구성과 같은 정말 간단한 작업을 위해 설계되었습니다. 이 회사는 또한 API가 지식 기반 질문에 정확할 필요가 없다고 경고합니다.

하지만 Microsoft는 어떻게 로컬 AI를 Edge에 통합할 수 있을까요? 예를 들어, 수백 개의 텍스트를 선택하고 마우스 오른쪽 버튼을 클릭한 다음 내장된 Edge AI 프로세스를 사용하여 로컬에서 “텍스트를 요약하거나 다시 표현”할 수 있습니다.

이미 Copilot을 통해 이 작업을 수행할 수 있지만, 데이터가 로컬에서 처리되면 일반적으로 응답이 더 빠르고 개인 정보도 보호됩니다.

또한 Microsoft는 “로컬 프로토타입”을 언급하는데, 이는 회사가 API를 로컬로 호스팅하는 것을 실험하고 있다는 또 다른 명확한 신호입니다. “내장된 대규모 언어 모델”이라는 용어는 이 모델이 Edge 브라우저 자체에 통합되어 있음을 확인합니다.

그렇지 않다면 Microsoft에서 “내장”이라는 용어를 사용하는 이유는 무엇입니까?

Google Chrome에서 Google Gemini Nano(작은 언어 모델)를 직접 실행하는 방법도 있는데, Morten Just on X 가 공유한 위 동영상을 보면 얼마나 놀라울 정도로 빠르게 실행되는지 놀라실 겁니다 .

특히 흥미로운 점은 로컬로 호스팅된 모델은 완전히 오프라인에서 작동하기 때문에 데이터 공유나 인터넷 속도 저하에 대해 걱정할 필요가 없다는 것입니다.

물론, Edge에서 AI 모델을 로컬로 실행하는 것은 많은 작업이 필요한 아이디어이고, 이러한 통합으로 인해 시스템 리소스가 많이 사용되지 않기를 바랄 수 있습니다.

Edge는 로컬 AI 외에도 잡동사니를 줄이고 Windows 11의 에너지 절약 기능을 통합하여 전력 소비를 줄이려고 합니다.