개인 Mac 판단 모델 실험
입력 문항과 원시 응답

2026년 10월 7일 KST 재평가 · 합성 48문항 · 새 168응답

원본 데이터는 무엇인가?

이 실험을 위해 작성한 합성 문항을 사용했다. 외부 벤치마크나 실제 고객 자료를 가져오지 않았다. 근거관계는 8유형×3관계의 24건, 라우팅은 결제·배송·계정 각 8건이다. 문구·후보·기대 라벨은 실행 전에 고정했으며 expected는 모델 입력이 아니라 채점에만 사용했다.

고정 파일: evaluation-v2.json
SHA-256: ff2a2f979ad3aa849af10488dd506e6036cc5de43272dc1d7792c9b87a2bc03b

작성한 기대 라벨과의 일치 개수다. 일반 한국어 정확도나 모델 성능 순위가 아니다. Jev 및 Decisions API와의 직접 비교도 하지 않았다.

결과와 추적 방법

모델	라우팅	근거관계
Julia-1	19/24	7/24
Kev-0.8B	24/24	14/24
mDeBERTa	미평가	16/24
Qwen3.5-4B	24/24	20/24

아래 문항을 펼치면 상태·질문·후보·기대 라벨의 이유와 네 모델의 선택이 나온다. 각 원시 JSON은 오늘 성공 실행의 파일을 수정 없이 복사했다. mDeBERTa 라우팅에는 응답 점수를 만들지 않았다.

48개 문항

eval_relation_hours_supports근거관계 · 기대 지지

모델에 준 상태

가상의 근거: 해솔 자료실은 화요일에 문을 닫고 수요일에 문을 연다.
주장: 해솔 자료실은 수요일에 문을 연다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 지지　작성한 이유: 근거가 해당 주장을 직접 지지한다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 불일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON

eval_relation_hours_refutes근거관계 · 기대 반박

모델에 준 상태

가상의 근거: 해솔 자료실은 화요일에 문을 닫고 수요일에 문을 연다.
주장: 해솔 자료실은 화요일에 문을 연다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 반박　작성한 이유: 근거가 해당 주장과 직접 모순된다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 불일치 원시 JSON	부족 · 불일치 원시 JSON	반박 · 일치 원시 JSON	부족 · 불일치 원시 JSON

eval_relation_hours_insufficient근거관계 · 기대 부족

모델에 준 상태

가상의 근거: 해솔 자료실은 화요일에 문을 닫고 수요일에 문을 연다.
주장: 해솔 자료실은 목요일에 문을 연다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 부족　작성한 이유: 주장의 정보가 근거에 없으므로 결정할 수 없다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 일치 원시 JSON	부족 · 일치 원시 JSON	부족 · 일치 원시 JSON	부족 · 일치 원시 JSON

eval_relation_count_supports근거관계 · 기대 지지

모델에 준 상태

가상의 근거: 은빛 상자 안에는 빨간 공 세 개와 파란 공 두 개만 들어 있다.
주장: 은빛 상자에는 파란 공이 두 개 있다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 지지　작성한 이유: 근거가 해당 주장을 직접 지지한다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 불일치 원시 JSON	반박 · 불일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON

eval_relation_count_refutes근거관계 · 기대 반박

모델에 준 상태

가상의 근거: 은빛 상자 안에는 빨간 공 세 개와 파란 공 두 개만 들어 있다.
주장: 은빛 상자에는 빨간 공이 두 개 있다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 반박　작성한 이유: 근거가 해당 주장과 직접 모순된다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 불일치 원시 JSON	반박 · 일치 원시 JSON	반박 · 일치 원시 JSON	지지 · 불일치 원시 JSON

eval_relation_count_insufficient근거관계 · 기대 부족

모델에 준 상태

가상의 근거: 은빛 상자 안에는 빨간 공 세 개와 파란 공 두 개만 들어 있다.
주장: 은빛 상자의 무게는 1kg이다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 부족　작성한 이유: 주장의 정보가 근거에 없으므로 결정할 수 없다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 일치 원시 JSON	부족 · 일치 원시 JSON	부족 · 일치 원시 JSON	부족 · 일치 원시 JSON

eval_relation_negation_supports근거관계 · 기대 지지

모델에 준 상태

가상의 근거: 기록에 따르면 가상 참가자 나루는 행사에 참석하지 않았다.
주장: 나루는 행사에 불참했다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 지지　작성한 이유: 근거가 해당 주장을 직접 지지한다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 불일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON

eval_relation_negation_refutes근거관계 · 기대 반박

모델에 준 상태

가상의 근거: 기록에 따르면 가상 참가자 나루는 행사에 참석하지 않았다.
주장: 나루는 행사에 참석했다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 반박　작성한 이유: 근거가 해당 주장과 직접 모순된다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
지지 · 불일치 원시 JSON	반박 · 일치 원시 JSON	반박 · 일치 원시 JSON	반박 · 일치 원시 JSON

eval_relation_negation_insufficient근거관계 · 기대 부족

모델에 준 상태

가상의 근거: 기록에 따르면 가상 참가자 나루는 행사에 참석하지 않았다.
주장: 나루는 행사에서 상을 받았다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 부족　작성한 이유: 주장의 정보가 근거에 없으므로 결정할 수 없다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
지지 · 불일치 원시 JSON	반박 · 불일치 원시 JSON	반박 · 불일치 원시 JSON	반박 · 불일치 원시 JSON

eval_relation_time_supports근거관계 · 기대 지지

모델에 준 상태

가상의 근거: 가상 회의의 시작 시간이 오전 9시에서 오전 10시로 변경됐다.
주장: 변경된 회의 시작 시간은 오전 10시다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 지지　작성한 이유: 근거가 해당 주장을 직접 지지한다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 불일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON

eval_relation_time_refutes근거관계 · 기대 반박

모델에 준 상태

가상의 근거: 가상 회의의 시작 시간이 오전 9시에서 오전 10시로 변경됐다.
주장: 변경된 회의 시작 시간은 오전 9시다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 반박　작성한 이유: 근거가 해당 주장과 직접 모순된다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 불일치 원시 JSON	지지 · 불일치 원시 JSON	지지 · 불일치 원시 JSON	반박 · 일치 원시 JSON

eval_relation_time_insufficient근거관계 · 기대 부족

모델에 준 상태

가상의 근거: 가상 회의의 시작 시간이 오전 9시에서 오전 10시로 변경됐다.
주장: 회의는 오전 11시에 끝난다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 부족　작성한 이유: 주장의 정보가 근거에 없으므로 결정할 수 없다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 일치 원시 JSON	반박 · 불일치 원시 JSON	부족 · 일치 원시 JSON	부족 · 일치 원시 JSON

eval_relation_rule_supports근거관계 · 기대 지지

모델에 준 상태

가상의 근거: 가상 대여 규정: 회원에게만 책을 빌려준다. 보라는 회원이다. 도윤은 비회원이다.
주장: 보라는 이 규정에서 책을 빌릴 수 있다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 지지　작성한 이유: 근거가 해당 주장을 직접 지지한다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
지지 · 일치 원시 JSON	반박 · 불일치 원시 JSON	지지 · 일치 원시 JSON	부족 · 불일치 원시 JSON

eval_relation_rule_refutes근거관계 · 기대 반박

모델에 준 상태

가상의 근거: 가상 대여 규정: 회원에게만 책을 빌려준다. 보라는 회원이다. 도윤은 비회원이다.
주장: 도윤은 이 규정에서 책을 빌릴 수 있다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 반박　작성한 이유: 근거가 해당 주장과 직접 모순된다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
지지 · 불일치 원시 JSON	반박 · 일치 원시 JSON	지지 · 불일치 원시 JSON	반박 · 일치 원시 JSON

eval_relation_rule_insufficient근거관계 · 기대 부족

모델에 준 상태

가상의 근거: 가상 대여 규정: 회원에게만 책을 빌려준다. 보라는 회원이다. 도윤은 비회원이다.
주장: 민재는 이 규정에서 책을 빌릴 수 있다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 부족　작성한 이유: 주장의 정보가 근거에 없으므로 결정할 수 없다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
지지 · 불일치 원시 JSON	반박 · 불일치 원시 JSON	지지 · 불일치 원시 JSON	부족 · 일치 원시 JSON

eval_relation_exception_supports근거관계 · 기대 지지

모델에 준 상태

가상의 근거: 가상 운영 규정: 매일 문을 연다. 단, 점검일에는 닫는다. 오늘은 점검일이다.
주장: 오늘은 문을 닫는다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 지지　작성한 이유: 근거가 해당 주장을 직접 지지한다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
지지 · 일치 원시 JSON	반박 · 불일치 원시 JSON	반박 · 불일치 원시 JSON	지지 · 일치 원시 JSON

eval_relation_exception_refutes근거관계 · 기대 반박

모델에 준 상태

가상의 근거: 가상 운영 규정: 매일 문을 연다. 단, 점검일에는 닫는다. 오늘은 점검일이다.
주장: 오늘은 문을 연다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 반박　작성한 이유: 근거가 해당 주장과 직접 모순된다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
지지 · 불일치 원시 JSON	반박 · 일치 원시 JSON	반박 · 일치 원시 JSON	반박 · 일치 원시 JSON

eval_relation_exception_insufficient근거관계 · 기대 부족

모델에 준 상태

가상의 근거: 가상 운영 규정: 매일 문을 연다. 단, 점검일에는 닫는다. 오늘은 점검일이다.
주장: 내일은 점검일이다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 부족　작성한 이유: 주장의 정보가 근거에 없으므로 결정할 수 없다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
지지 · 불일치 원시 JSON	반박 · 불일치 원시 JSON	반박 · 불일치 원시 JSON	부족 · 일치 원시 JSON

eval_relation_comparison_supports근거관계 · 기대 지지

모델에 준 상태

가상의 근거: 가상 측정 기록: A 봉의 길이는 12cm, B 봉의 길이는 8cm다.
주장: A 봉은 B 봉보다 길다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 지지　작성한 이유: 근거가 해당 주장을 직접 지지한다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
지지 · 일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON

eval_relation_comparison_refutes근거관계 · 기대 반박

모델에 준 상태

가상의 근거: 가상 측정 기록: A 봉의 길이는 12cm, B 봉의 길이는 8cm다.
주장: B 봉은 A 봉보다 길다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 반박　작성한 이유: 근거가 해당 주장과 직접 모순된다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 불일치 원시 JSON	지지 · 불일치 원시 JSON	반박 · 일치 원시 JSON	반박 · 일치 원시 JSON

eval_relation_comparison_insufficient근거관계 · 기대 부족

모델에 준 상태

가상의 근거: 가상 측정 기록: A 봉의 길이는 12cm, B 봉의 길이는 8cm다.
주장: A 봉은 B 봉보다 무겁다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 부족　작성한 이유: 주장의 정보가 근거에 없으므로 결정할 수 없다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
지지 · 불일치 원시 JSON	부족 · 일치 원시 JSON	부족 · 일치 원시 JSON	부족 · 일치 원시 JSON

eval_relation_scope_supports근거관계 · 기대 지지

모델에 준 상태

가상의 근거: 가상 시험에서 장치 하나가 1시간 동안 정상 작동했다. 다른 장치나 시간대 기록은 없다.
주장: 기록된 장치 하나는 시험 1시간 동안 정상 작동했다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 지지　작성한 이유: 근거가 해당 주장을 직접 지지한다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 불일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON	지지 · 일치 원시 JSON

eval_relation_scope_refutes근거관계 · 기대 반박

모델에 준 상태

가상의 근거: 가상 시험에서 장치 하나가 1시간 동안 정상 작동했다. 다른 장치나 시간대 기록은 없다.
주장: 기록된 장치 하나는 시험 1시간 동안 작동하지 않았다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 반박　작성한 이유: 근거가 해당 주장과 직접 모순된다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 불일치 원시 JSON	반박 · 일치 원시 JSON	지지 · 불일치 원시 JSON	반박 · 일치 원시 JSON

eval_relation_scope_insufficient근거관계 · 기대 부족

모델에 준 상태

가상의 근거: 가상 시험에서 장치 하나가 1시간 동안 정상 작동했다. 다른 장치나 시간대 기록은 없다.
주장: 이 제품의 모든 장치는 1년 동안 고장 나지 않는다.

질문

제시된 근거와 주장의 관계를 선택하세요. 외부 지식은 사용하지 마세요.

허용 후보

{
  "supports": "제시된 근거가 주장을 지지한다",
  "refutes": "제시된 근거가 주장과 모순된다",
  "insufficient": "제시된 근거만으로 주장을 판단할 수 없다"
}

기대 라벨: 부족　작성한 이유: 주장의 정보가 근거에 없으므로 결정할 수 없다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
부족 · 일치 원시 JSON	부족 · 일치 원시 JSON	반박 · 불일치 원시 JSON	부족 · 일치 원시 JSON

eval_route_billing_01라우팅 · 기대 결제

모델에 준 상태

한 주문의 결제가 두 번 처리됐습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 결제　작성한 이유: 요청의 해결 대상은 billing 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
결제 · 일치 원시 JSON	결제 · 일치 원시 JSON	평가하지 않음	결제 · 일치 원시 JSON

eval_route_billing_02라우팅 · 기대 결제

모델에 준 상태

취소한 주문의 환불 금액이 들어오지 않았습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 결제　작성한 이유: 요청의 해결 대상은 billing 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
결제 · 일치 원시 JSON	결제 · 일치 원시 JSON	평가하지 않음	결제 · 일치 원시 JSON

eval_route_billing_03라우팅 · 기대 결제

모델에 준 상태

영수증 금액과 실제 청구 금액이 다릅니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 결제　작성한 이유: 요청의 해결 대상은 billing 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 불일치 원시 JSON	결제 · 일치 원시 JSON	평가하지 않음	결제 · 일치 원시 JSON

eval_route_billing_04라우팅 · 기대 결제

모델에 준 상태

카드 승인 내역을 확인하고 싶습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 결제　작성한 이유: 요청의 해결 대상은 billing 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 불일치 원시 JSON	결제 · 일치 원시 JSON	평가하지 않음	결제 · 일치 원시 JSON

eval_route_billing_05라우팅 · 기대 결제

모델에 준 상태

결제한 상품의 세금계산서가 필요합니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 결제　작성한 이유: 요청의 해결 대상은 billing 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
결제 · 일치 원시 JSON	결제 · 일치 원시 JSON	평가하지 않음	결제 · 일치 원시 JSON

eval_route_billing_06라우팅 · 기대 결제

모델에 준 상태

배송은 완료됐는데 결제 금액만 잘못됐습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 결제　작성한 이유: 요청의 해결 대상은 billing 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
결제 · 일치 원시 JSON	결제 · 일치 원시 JSON	평가하지 않음	결제 · 일치 원시 JSON

eval_route_billing_07라우팅 · 기대 결제

모델에 준 상태

로그인은 되지만 카드 결제가 거절됩니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 결제　작성한 이유: 요청의 해결 대상은 billing 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 불일치 원시 JSON	결제 · 일치 원시 JSON	평가하지 않음	결제 · 일치 원시 JSON

eval_route_billing_08라우팅 · 기대 결제

모델에 준 상태

쿠폰을 적용했는데 정상 가격으로 청구됐습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 결제　작성한 이유: 요청의 해결 대상은 billing 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
결제 · 일치 원시 JSON	결제 · 일치 원시 JSON	평가하지 않음	결제 · 일치 원시 JSON

eval_route_shipping_01라우팅 · 기대 배송

모델에 준 상태

택배가 예정일을 지나도 도착하지 않았습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 배송　작성한 이유: 요청의 해결 대상은 shipping 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
배송 · 일치 원시 JSON	배송 · 일치 원시 JSON	평가하지 않음	배송 · 일치 원시 JSON

eval_route_shipping_02라우팅 · 기대 배송

모델에 준 상태

운송장 번호가 조회되지 않습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 배송　작성한 이유: 요청의 해결 대상은 shipping 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
배송 · 일치 원시 JSON	배송 · 일치 원시 JSON	평가하지 않음	배송 · 일치 원시 JSON

eval_route_shipping_03라우팅 · 기대 배송

모델에 준 상태

배송지를 다른 주소로 변경하고 싶습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 배송　작성한 이유: 요청의 해결 대상은 shipping 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
배송 · 일치 원시 JSON	배송 · 일치 원시 JSON	평가하지 않음	배송 · 일치 원시 JSON

eval_route_shipping_04라우팅 · 기대 배송

모델에 준 상태

배송 완료라고 나오지만 물건을 받지 못했습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 배송　작성한 이유: 요청의 해결 대상은 shipping 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
배송 · 일치 원시 JSON	배송 · 일치 원시 JSON	평가하지 않음	배송 · 일치 원시 JSON

eval_route_shipping_05라우팅 · 기대 배송

모델에 준 상태

주문한 물건이 다른 집으로 배달됐습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 배송　작성한 이유: 요청의 해결 대상은 shipping 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
배송 · 일치 원시 JSON	배송 · 일치 원시 JSON	평가하지 않음	배송 · 일치 원시 JSON

eval_route_shipping_06라우팅 · 기대 배송

모델에 준 상태

결제는 정상 처리됐으나 배송이 멈췄습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 배송　작성한 이유: 요청의 해결 대상은 shipping 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
배송 · 일치 원시 JSON	배송 · 일치 원시 JSON	평가하지 않음	배송 · 일치 원시 JSON

eval_route_shipping_07라우팅 · 기대 배송

모델에 준 상태

계정에는 접속할 수 있는데 배송 상태가 보이지 않습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 배송　작성한 이유: 요청의 해결 대상은 shipping 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 불일치 원시 JSON	배송 · 일치 원시 JSON	평가하지 않음	배송 · 일치 원시 JSON

eval_route_shipping_08라우팅 · 기대 배송

모델에 준 상태

택배가 언제 도착하는지 알려주세요.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 배송　작성한 이유: 요청의 해결 대상은 shipping 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
배송 · 일치 원시 JSON	배송 · 일치 원시 JSON	평가하지 않음	배송 · 일치 원시 JSON

eval_route_access_01라우팅 · 기대 계정

모델에 준 상태

비밀번호를 잊어 계정에 접속할 수 없습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 계정　작성한 이유: 요청의 해결 대상은 access 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 일치 원시 JSON	계정 · 일치 원시 JSON	평가하지 않음	계정 · 일치 원시 JSON

eval_route_access_02라우팅 · 기대 계정

모델에 준 상태

인증 코드를 받지 못해 로그인할 수 없습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 계정　작성한 이유: 요청의 해결 대상은 access 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 일치 원시 JSON	계정 · 일치 원시 JSON	평가하지 않음	계정 · 일치 원시 JSON

eval_route_access_03라우팅 · 기대 계정

모델에 준 상태

계정 잠금 해제를 요청합니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 계정　작성한 이유: 요청의 해결 대상은 access 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 일치 원시 JSON	계정 · 일치 원시 JSON	평가하지 않음	계정 · 일치 원시 JSON

eval_route_access_04라우팅 · 기대 계정

모델에 준 상태

로그인에 사용하는 이메일 주소를 바꾸고 싶습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 계정　작성한 이유: 요청의 해결 대상은 access 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 일치 원시 JSON	계정 · 일치 원시 JSON	평가하지 않음	계정 · 일치 원시 JSON

eval_route_access_05라우팅 · 기대 계정

모델에 준 상태

새 휴대전화에서 계정 인증이 실패합니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 계정　작성한 이유: 요청의 해결 대상은 access 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 일치 원시 JSON	계정 · 일치 원시 JSON	평가하지 않음	계정 · 일치 원시 JSON

eval_route_access_06라우팅 · 기대 계정

모델에 준 상태

환불은 완료됐는데 계정에 로그인할 수 없습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 계정　작성한 이유: 요청의 해결 대상은 access 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 일치 원시 JSON	계정 · 일치 원시 JSON	평가하지 않음	계정 · 일치 원시 JSON

eval_route_access_07라우팅 · 기대 계정

모델에 준 상태

배송은 완료됐지만 비밀번호 재설정 링크가 만료됐습니다.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 계정　작성한 이유: 요청의 해결 대상은 access 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
배송 · 불일치 원시 JSON	계정 · 일치 원시 JSON	평가하지 않음	계정 · 일치 원시 JSON

eval_route_access_08라우팅 · 기대 계정

모델에 준 상태

아이디를 찾는 방법을 알려주세요.

질문

이 요청의 해결을 담당할 부서를 선택하세요. 언급된 다른 정상 업무보다 요청한 문제를 우선하세요.

허용 후보

{
  "billing": "결제, 환불, 청구, 결제 증빙",
  "shipping": "배송, 주소, 운송장, 배달 상태",
  "access": "계정, 로그인, 비밀번호, 인증"
}

기대 라벨: 계정　작성한 이유: 요청의 해결 대상은 access 업무다.

Julia-1	Kev-0.8B	mDeBERTa	Qwen3.5-4B
계정 · 일치 원시 JSON	계정 · 일치 원시 JSON	평가하지 않음	계정 · 일치 원시 JSON

모델과 구현의 출처

Julia-1 · Kev-0.8B · Kev 실행 코드 · mDeBERTa NLI · Qwen3.5-4B · Ollama 0.35.1

공개 모델은 평가 입력의 출처와 별개다. 실행에 고정한 revision과 파일 hash는 다운로드 manifest, 모델별 입력 처리와 측정 제약은 METHOD 문서를 참조한다.

개인 Mac 판단 모델 실험입력 문항과 원시 응답

원본 데이터는 무엇인가?

결과와 추적 방법

48개 문항

모델과 구현의 출처

개인 Mac 판단 모델 실험
입력 문항과 원시 응답