Pipeline Run Evaluation

1Agent(
2  subagent_type: "ablation-runner",
3  model: "sonnet",
4  prompt: "다음 입력 데이터를 사용하여 아래 지시사항을 수행하고 결과를 출력하라.
5
6## 입력 데이터
7{input_path의 내용}
8
9## 지시사항
10{축소 프롬프트 전문}"
11)

1Agent(
2  subagent_type: "evaluation-judge",
3  prompt: "다음 두 산출물을 평가하라. 어느 것이 파이프라인 출력이고 어느 것이 절제 변형인지는 알려주지 않는다.
4
5## 원본 입력
6{input_path의 내용}
7
8## 산출물 A
9{랜덤 배정된 산출물}
10
11## 산출물 B
12{랜덤 배정된 산출물}
13
14## 평가 차원 및 루브릭
15
16### 범용 차원
171. Completeness (0~5): 입력 대비 누락 없이 커버했는가
182. Precision (0~5): 모호하지 않고 실행 가능한가
193. Consistency (0~5): 산출물 내/간 모순이 없는가
204. Faithfulness (0~5): 입력의 의도를 왜곡 없이 반영했는가
21
22### 도메인 차원
23{계획서의 도메인 차원 + 루브릭}
24
25## 출력 형식
26각 차원에 대해 A, B 각각의 점수(0~5)와 판정 근거를 작성하라.
27마지막에 A, B 중 어느 쪽이 우세한지 총합 판정을 내려라."
28)

1# 절제 실험 리포트: {파이프라인명}
2
3> 실행일: YYYY-MM-DD
4> 계획서: {plan_path}
5> 테스트 입력: {input_path}
6
7## 1. 실험 요약
8
9| 항목 | 값 |
10|------|-----|
11| 절제 후보 수 | N개 |
12| 실행된 테스트 수 | N개 |
13| Baseline 소스 | {경로 또는 "새로 실행"} |
14
15## 2. 차원별 점수 비교
16
17| 차원 | Baseline | Test 1 | Test 2 | ... |
18|------|----------|--------|--------|-----|
19| Completeness | X.X | X.X | X.X | ... |
20| Precision | X.X | X.X | X.X | ... |
21| Consistency | X.X | X.X | X.X | ... |
22| Faithfulness | X.X | X.X | X.X | ... |
23| {도메인 차원} | X.X | X.X | X.X | ... |
24| **총점** | **XX** | **XX** | **XX** | ... |
25
26## 3. 누적 제거별 품질 변화 추이
27
28| Test | 누적 제거 항목 | 총점 | Baseline 대비 변화 | 판정 |
29|------|---------------|------|-------------------|------|
30| Baseline | (없음) | XX | - | - |
31| Test 1 | A | XX | -X.X | ✅ 제거 가능 / ❌ 유지 필요 |
32| Test 2 | A + B | XX | -X.X | ✅ / ❌ |
33| ... | ... | ... | ... | ... |
34
35## 4. 판정 기준
36
37- 총점 하락 ≤ 2점: ✅ 제거 가능 (품질 유지)
38- 총점 하락 3~4점: ⚠️ 경계 (설계자 판단 필요)
39- 총점 하락 ≥ 5점: ❌ 유지 필요 (품질 하락 유의미)
40
41## 5. 권장 사항
42
43### 제거 권장 항목
44- [항목]: [근거]
45
46### 유지 권장 항목
47- [항목]: [근거]
48
49### 최적 파이프라인 구성
50{현재 구성에서 제거 권장 항목을 빼고 유지 항목만 남긴 구성 설명}
51
52## 6. Judge 평가 상세
53
54### Test 1: {제거 항목}
55{Judge의 정성적 근거}
56
57### Test 2: {제거 항목}
58{Judge의 정성적 근거}
59
60...