일본어의 복잡한 현실을 위해 만든 파서.

벤치마크 수집 방법

현재 프로덕션 벤치마크는 村上春樹『ねじまき鳥クロニクル』第３部의 실제 미가공 산문을 대상으로 계속 검수됩니다. 평가는 의도적으로 엄격한 기준을 따릅니다. akusento의 출력을 전문 오디오북 낭독과 모라 단위로 대조하고, 피치, 읽기, 청킹, 문맥상의 차이가 보일 때마다 멈춰 분석하고 조사합니다. 체계적인 파서 문제를 반영하는 차이만 엔진 오류로 기록합니다.

기록된 각 오류는 복합 규칙, 품사, 경계 청킹, 문맥 의존 동음이의어 같은 매우 세분화된 실패 유형으로 나뉩니다. 이러한 구조적 투명성은 어휘 조회의 한계와 실제 문맥 실행 시의 실패를 구분하는 구체적인 알고리즘 디버깅 루프를 만듭니다.

• 57 복합 문제
• 47 피치 문제
• 31 청킹 문제
• 21 문맥 의존 동음이의어
• 16 읽기 문제
• 7 품사 문제

정확도 점수가 인위적으로 부풀려지지 않도록, 이 추정치는 오류 사이의 원시 문자 간격을 동적으로 계산된 토큰당 2.37자 지표를 사용해 다시 단어로 환산합니다. 이 값은 검수 대상 텍스트에서 は, が, に 등 한 글자 히라가나 문법 조사와 문장부호를 엄격히 제외해 직접 산출했습니다. 그 결과 벤치마크는 복잡한 복합어, 활용 동사, 고유명사 같은 핵심 내용어에 대한 엔진 성능만 측정합니다.

이 엄격한 평가는 파서가 한 번의 실수를 하기 전까지 평균 약 658자(대략 문학 문장 19개 연속)에 해당하는 무오류 구간으로 환산됩니다. 비표준적인 작가 고유 표기 차이는 안전하게 표시되어 이러한 핵심 평가 지표에서 체계적으로 분리됩니다.

저작권상의 이유로 공개 보고서에서는 문장 문맥을 제거했습니다.