AI/etc

Mind2Web: 웹용 제너럴리스트 에이전트를 향하여

유로파물고기 2023. 6. 18. 22:50
반응형

https://arxiv.org/abs/2306.06070

 

Mind2Web: Towards a Generalist Agent for the Web

We introduce Mind2Web, the first dataset for developing and evaluating generalist agents for the web that can follow language instructions to complete complex tasks on any website. Existing datasets for web agents either use simulated websites or only cove

arxiv.org

https://osu-nlp-group.github.io/Mind2Web/

 

Mind2Web

Abstract We introduce **Mind2Web**, the first dataset for developing and evaluating generalist agents for the web that can follow language instructions to complete complex tasks on any website. Existing datasets for web agents either use simulated websites

osu-nlp-group.github.io


- 본 논문에서는 언어 지시에 따라 복잡한 작업을 완료하기 위해 웹상의 어떤 사이트에서든 작동할 수 있는 범용 웹 에이전트를 개발하고 평가하기 위한 첫 번째 데이터셋인 Mind2Web을 소개합니다. 기존의 웹 에이전트용 데이터셋들은 시뮬레이션된 웹사이트를 사용하거나 제한된 웹사이트와 작업만을 다루므로 범용 웹 에이전트에는 적합하지 않습니다.


- 31개 분야에 걸쳐 137개 웹사이트에서 수집한 2,000개 이상의 개방형 작업과 이러한 작업에 대한 군중소스화된 동작 시퀀스로, Mind2Web은 범용 웹 에이전트를 구축하는 데 필요한 세 가지 필수 요소를 제공합니다: 1) 다양한 도메인, 웹사이트, 작업, 2) 시뮬레이션되고 단순화된 웹사이트가 아닌 실제 웹사이트의 사용, 그리고 3) 넓은 스펙트럼의 사용자 상호작용 패턴.

 

- Mind2Web를 바탕으로 대형 언어 모델(LLMs)을 사용한 범용 웹 에이전트 구축에 대한 초기 탐색을 진행하였습니다. 실제 웹사이트의 원시 HTML은 종종 LLM에게 공급하기에 너무 크지만, 먼저 작은 LM으로 필터링하면 LLM의 효율성과 효과성이 크게 향상되는 것을 보여주었습니다. 우리의 솔루션은 모델이 이전에 본 적 없는 웹사이트나 전체 도메인에서도 양호한 성능을 보여주지만, 진정으로 일반화 가능한 에이전트로 나아가기 위해 아직 개선할 여지가 많습니다. 우리는 데이터셋, 모델 구현, 훈련된 모델을 오픈소스화하여 웹용 범용 에이전트 구축에 대한 추가 연구를 촉진하고자 합니다.