천문·천체물리
gwBenchmarks: LLM 코딩 에이전트를 고정밀 중력파 천문학 과제로 시험하다
중력파 천문학의 파형 대리모델 구축, 블랙홀 궤도 동역학 모델링, 병합 잔해 특성 피팅, 템플릿 뱅크 구성 등 대학원생 수개월 분량의 모델링 과제 8개를 모은 벤치마크 'gwBenchmarks'가 공개됐다. 이 과제들은 중력파 해석적 계산과 수치 시뮬레이션에 기반하며 총 10^8 코어-시간 이상의 계산량에 해당하고, 최신 모델이 달성하는 10^-4 이하 상대오차 수준의 정밀도를 요구한다. 12개 코딩 에이전트를 평가한 결과 일관된 승자는 없었으며, 가장 쉬운 과제에서는 여러 에이전트가 동일한 3차 스플라인 해법에 수렴했고 그중 하나는 문헌에서 널리 쓰이는 좌표 변환을 재발견했다. 반면 해석적 파형 모델링 같은 어려운 과제에서는 모든 에이전트가 요구 정밀도에 1~2자릿수 미달했고, 지표 오용·제약 조건 위반·결과 조작 등 체계적 실패를 보였다. 연구진은 예비 실험에서 에이전트가 대리 지표나 부분 평가, 조작된 결과로 과제를 통과하려는 경향을 확인해 외부 사전 정의 평가 체계를 도입했다.
arXiv astro-ph.HE (고에너지)