Microsoft의 Copilot Vision은 AI에 시각적 보조 기능을 추가하여 앱의 실행 상태를 인식하고 적절한 조언을 제공합니다. 이는 사용자 편의를 높여 Windows 앱과의 상호작용을 혁신적으로 변화시킬 가능성을 보여줍니다. Copilot Vision은 개별 앱에 대한 사용자의 작업을 이해하고 문맥에 맞는 답변을 제공하는 AI 기반 시각 기능입니다.
인공지능에 시각을 추가하는 것은 항상 까다로운 일입니다. 당신이 하는 모든 것을 인공지능이 항상 보길 원하시나요? 물론 그렇지 않겠지만, 필요할 때 인공지능의 시각 보조가 있다면 꽤 유용할 수 있다고 대부분이 동의할 것이라고 생각합니다. Microsoft의 새로운 Copilot Vision은 제가 지금까지 본 AI 기반 시각적 기능의 가장 유망한 응용 중 하나일 수 있습니다.
Microsoft는 Copilot과 Microsoft 50주년 기념 행사를 결합한 화려한 이벤트에서 Windows 앱과 모바일 앱에 대한 Copilot Vision 업데이트를 공개했습니다. (카메라를 사물에 겨누면 Vision이 그것을 식별할 수 있습니다.)
Copilot은 사실상 두뇌 이식 수술을 받은 것처럼, 홈그로운(Microsoft AI 또는 MAI) 및 OpenAI GPT 생성 모델을 사용하여 메모리, 검색, 개인화 및 시각 기능 전반에 걸쳐 업데이트를 제공합니다.
제가 실제로 작동하는 Copilot Vision을 본 결과, 이것이 가장 흥미롭고 중요한 업데이트 중 하나라는 것을 말씀드릴 수 있습니다 – 비록 두 단계에 걸쳐 릴리스되더라도 말입니다.
(이미지 출처: Future / Lance Ulanoff)
지금 지원되는 Windows 데스크탑 앱에서 사용할 수 있는 버전에서는 Copilot Vision이 데스크탑에서 실행 중인 앱을 볼 수 있습니다. Copilot 아이콘을 선택하거나 키보드의 Copilot 키를 눌러 Copilot을 열면 새로운 안경 아이콘을 선택할 수 있습니다.
이를 통해 열린 앱의 목록을 볼 수 있으며, 우리의 경우 Blender 3D와 Clipchamp 두 개가 실행 중이었습니다. 이는 Copilot이 Windows에서 실행 중인 사용 가능한 앱을 인식하고 있지만 자동으로 감시하지는 않는다는 것을 의미합니다.
(이미지 출처: Future / Lance Ulanoff)
Blender 3D를 선택하자, 그 순간부터 제 Windows 환경에서 뭔가가 바뀌었습니다. Copilot이 실제로 어떤 앱을 실행 중인지 보고 있으며, 사용자의 의도를 추측하는 대신 앱 및 프로젝트에 기반하여 답변을 제공한다는 것을 깨달았습니다.
속보, 리뷰, 의견, 주요 기술 거래 등을 구독하세요.
3D 커피 테이블 프로젝트가 열려 있었고, 우리는 목소리를 사용하여 테이블 디자인을 어떻게 전통적으로 만들 수 있는지에 대해 물어보았습니다. 우리의 프롬프트는 앱이나 프로젝트에 대한 거의 아무런 세부정보도 포함하지 않았지만, Copilot의 답변은 완전히 상황에 맞게 제공되었습니다.
그 다음, 앱에서 주석을 어떻게 달 수 있는지를 물어보았고, Copilot은 답변을 시작했지만 우리가 끼어들어 주석 추가 아이콘을 어디서 찾을 수 있는지 물었습니다. Copilot은 빠르게 조정하여 아이콘을 찾는 방법을 알려주었습니다.
이는 엄청나게 유용할 수 있습니다. 더 이상 흐름을 깨고 검색하거나 사용 중인 앱이나 프로젝트를 과도하게 설명하지 않아도 되기 때문입니다. Copilot Vision이 보고 알고 있습니다.
앞으로 무엇이 올 것인지 말씀드리겠습니다.
(이미지 출처: Future / Lance Ulanoff)
같은 단계로 Copilot을 열고 Vision 컴포넌트를 접근했지만, 이번에는 열려 있는 Clipchamp 프로젝트를 Copilot에 가리켰습니다.
우리는 비디오 전환을 더 자연스럽게 만드는 방법을 Copilot에 물었습니다. 무엇을 해야 하는지를 설명하는 텍스트 프롬프트 대신, Copilot Vision은 앱에서 필요한 도구를 찾을 수 있는 정확한 위치를 보여주었습니다.
화면에 큰 화살표(애니메이션 원 안에)가 나타나, 사용해야 하는 전환 도구를 추천하고 필요한 단계를 설명했습니다. 여러 번 이 데모를 실행했는데, 아직 개발 중이라 항상 작동하지는 않았습니다.
하지만 작동했을 때는 Windows에서 앱과 작업하는 방식에 큰 변화를 가져올 가능성을 보여주었습니다.
(이미지 출처: Future / Lance Ulanoff)
Copilot Vision이 Photoshop 앱을 더욱 깊이 탐구하여 적절한 도구를 찾는 데 도움을 주는 데모 영상도 보았습니다. 이건 마치 스테로이드를 맞은 클리피(Clippy) 같습니다.
미래에는 텍스트 프롬프트나 음성을 사용해 열린 앱에서 작업 수행 방법을 파악하고, Copilot Vision이 디지털로 당신의 손을 잡고 안내해 주는 세상을 상상해 보십시오. 애플리케이션 수준에서 시스템이 당신을 대신해 행동할 징후는 없지만, 이는 엄청난 시각적 보조가 될 수 있습니다.
좋은 소식은 Copilot Vision이 최소한 어떤 앱과 프로젝트를 작업하고 있는지 알고 있다는 것입니다. 나쁜 소식은 제가 진정 원하는 Copilot Vision은 확정된 일정이 없다는 것입니다. 하지만 오래 걸리지 않을 것이라고 추측해야 할 것 같습니다. 결국 실제로 봤으니까요.
※출처: TechRadar
