호출 조건을 명시
자료 탐색, 주장 생성, 주제 설명, 반박 생성, 난이도별 출력 2종을 분리했습니다. 오케스트레이터가 입력과 산출물을 확인하고 다음 에이전트를 선택합니다.
MULTI-AGENT / DEBATE QUALITY
Agora
주장과 반박을 연결하고,
근거와 품질을 점검하는 토론 AI.
토론 에이전트와 자체 품질 평가 모델을 개발했습니다. 역할별 에이전트가 JSON 메모리를 공유하고, 검수 결과에 따라 자료를 다시 찾거나 답변을 재생성하도록 구성했습니다.
HOW AGORA WORKS
근거가 부족하면, 다시 탐색합니다.
교복제 폐지 토론 / 반대 의견 반박 턴
01 / EVALUATION RESULTS
토론 응답을 세 가지 기준으로 평가.
38평가 주제
265채점 응답
3.393 / 5세 기준 평균
자체 평가 모델의 응답 점수
1–5점 척도 / 응답 평균02.55
구조적 적합성은 발언의 구성, 논거의 지지력은 주장을 뒷받침하는 정도, 흥미와 정보성은 청중에게 전달하는 내용을 평가합니다.
실제 토론 기록 살펴보기
3개 주제 / 주제별 7턴당시 생성된 AI 토론 발언과 자체 평가 모델의 점수입니다.
입력
AI 토론 발언
02 / ORCHESTRATION
역할은 나누고, 맥락은 공유했습니다.
JSON으로 작업 상태 전달
주제, 사용자 입력, 이전 지시, 참조 자료, 산출물과 요약을 공유합니다. 다음 에이전트가 앞 단계의 결과를 이어받도록 구성했습니다.
최근 5턴으로 맥락 압축
최근 발언의 핵심 논점 요약과 사용자 입력 일부를 전달합니다. 반박 횟수가 기준에 도달하면 최종 출력 단계로 전환하는 제어를 추가했습니다.
03 / QUALITY MODEL
좋은 답변을 고르기 위한 평가 모델.
IBM Debate Speeches의 토론 발언 948개를 활용했습니다. 발언과 평가 지침을 Qwen에 입력하고 마지막 hidden state를 추출한 뒤, 별도의 Transformer Encoder 평가 헤드를 학습했습니다.
발언 + 평가 지침→Qwen hidden state→4-head Transformer Encoder→기준별 1–5점 예측
중간 점수에 몰리는 문제
학습 점수가 3–4점에 집중돼 낮은 품질의 발언도 중간 점수로 예측되는 문제가 있었습니다. 1점 사례 100개를 보강하고 기준별 클래스 가중치를 둔 Categorical Focal Loss를 적용했습니다.
토큰 정보를 모아 점수로 변환
hidden state를 256차원으로 투영하고 4개 어텐션 헤드의 인코더를 통과시켰습니다. 패딩을 제외한 평균 풀링으로 정보를 모아 기준별 점수 분포를 예측했습니다.
04 / FEEDBACK
평가 결과를 다음 생성의 예시로.
토론 응답 생성→품질 평가→우수 응답 풀→주장 / 반박 few-shot
평가한 응답 중 우수 사례를 저장하고, 새 주장을 만들 때 주장 유형의 예시를, 반박을 만들 때 반박 유형의 예시를 선택해 프롬프트에 넣었습니다. 예시의 내용은 복사하지 않고 논리 전개와 문장 구조를 참고하도록 지시했습니다.
05 / ENGINEERING
여러 번의 모델 호출을 하나의 토론으로.
형식이 흔들려도 이어지는 처리
모델 응답에서 JSON 구간을 추출해 에이전트 사이의 데이터 전달을 처리했습니다. 단계별 결과를 저장해 호출 순서와 산출물을 추적할 수 있게 했습니다.
근거가 없는 논거를 다시 검토
교복제 토론에서는 첫 반박의 인용 근거가 부족하다는 검수 결과에 따라 자료 탐색으로 돌아갔습니다. 검색한 연구 자료와 보고서를 반영해 반박을 재작성한 뒤 일반 난이도의 문장으로 변환했습니다.