KHANGUL GENERAL LLM 기본 Schema와 학습방법

# L1 Parser 학습 수행 절차1. L0 인덱스 구축 : 우선 한국어 - 한국어 11172자 중 동음이형어 제거(G2P 활용) : 최종 3000여개 예상 - G2P는 학습데이터 전처리시 항상 활용하여 음절인덱스로 변환 - 구축된 L0 인덱스의 해시맵 작성2. 학습대상 문서 전처리 - 한국어 위키 페이지 크롤링 - 가격대비 싼 LLM에 API 연결 후 질의 - LLM이 출력한 JSON을 학습데이터로 수집 * 의미학습 없음. 오로지 문서 파싱을 위한 JSON임3. L1 파서용 학습 프로그램 개발 - 변수 영역 별도 처리 - 목표는 문단 입력 후 삼중항과 네트워크 관계를 JSON으로 출력 - L1 파서는 규칙기반이 아닌 전용 트랜스포머 학습(10MB 이하)으로 개발 ※ L1 파서는 완전 규칙기반 파서와 트랜스포머 학습 병행