abs: https://arxiv.org/abs/2306.00739
SQL-PaLM: Improved Large Language ModelAdaptation for Text-to-SQL
One impressive emergent capability of large language models (LLMs) is generation of code, including Structured Query Language (SQL) for databases. For the task of converting natural language text to SQL queries, Text-to-SQL, adaptation of LLMs is of paramo
arxiv.org
1. 대형 언어 모델(LLM)의 놀라운 능력 중 하나는 데이터베이스용 구조화된 쿼리 언어(SQL)를 포함한 코드 생성입니다. 자연어 텍스트를 SQL 쿼리로 변환하는 Text-to-SQL 작업에서는 적응 데이터의 양에 따라 LLM의 적응이 매우 중요하며, 이는 문맥 학습과 미세 조정 설정에 모두 적용됩니다.
2. 본 논문에서는 PaLM-2를 활용한 LLM 기반 Text-to-SQL 모델인 SQL-PaLM을 제안하며, 이 모델은 두 설정에서 모두 최첨단 기술을 발전시키고 있습니다. SQL-PaLM의 소수 샷 버전은 Text-to-SQL에 설계된 실행 기반의 자체 일관성 프롬프팅 접근법을 기반으로 하며, Spider 테스트 스위트 정확도에서 77.3%를 달성합니다. 이는 우리의 최선의 지식으로는 미세 조정을 통해 이전의 최첨단 기술을 4%라는 상당한 마진으로 처음으로 능가하는 것입니다.
3. 더욱이, 우리는 미세 조정된 SQL-PaLM이 그것을 추가로 1% 더 능가한다는 것을 보여줍니다. 실제 상황에서 SQL-PaLM을 적용하기 위해, 우리는 Spider의 다른 도전적인 변형에 대한 그것의 견고성을 더 평가하고 SQL-PaLM의 우수한 일반화 능력을 보여줍니다. 또한, 광범위한 사례 연구를 통해, LLM 기반 Text-to-SQL의 놀라운 지능 능력과 다양한 성공 요인을 보여줍니다.
'AI > Google&DeepMind' 카테고리의 다른 글
| 이미지 캡셔너는 확장 가능한 비전 학습자이기도 합니다. (0) | 2023.06.14 |
|---|---|
| 딥마인드 AlphaDev: 새로운 접근법으로 더 빠른 정렬 알고리즘 발견 (0) | 2023.06.08 |
| 브레인포머: 효율성을 위한 거래 단순성 (0) | 2023.06.02 |
| 더 크게, 더 좋게, 더 빠르게: 인간 수준의 효율성을 갖춘 인간 수준의 Atari (0) | 2023.06.01 |
| PaLI-X: 다국어 비전 및 언어 모델 확장 (0) | 2023.05.31 |