사용 방법
- 설치 명령을 복사하고 자신의 에이전트 환경에 설치하기 전에 소스 패키지를 확인하세요.
- 필요한 도구, 인증 정보, 지원 환경은 원본 문서에서 확인하세요.
- 입력과 원하는 산출물을 설명하고 출처와 결과를 대조하세요.
npx skills add https://github.com/fandhe-ai/agent-reference-skills --skill openai-evals-tuning시작 전 확인
- 설치에는 모델 구독, API 한도, 파일 접근 권한이 포함되지 않습니다.
- 별점 수와 설치 수는 활동 지표이며 독립적인 품질·보안 검증이 아닙니다.
원본 Skill 문서
원본 저장소의 제목, 예시, 코드, 표, 링크, 이미지를 유지해 표시합니다.
ディレクトリ構成
text
skills/openai-evals-tuning/
SKILL.md
references/
evals/
README.md
working-with-evals.md
graders.md
getting-started-datasets.md
agent-evals.md
trace-grading.md
external-models.md
evaluation-best-practices.md
fine-tuning/
README.md
model-optimization.md
supervised-fine-tuning.md
vision-fine-tuning.md
direct-preference-optimization.md
reinforcement-fine-tuning.md
reinforcement-fine-tuning-use-cases.md
fine-tuning-best-practices.md
prompt-optimizer.md
samples/
README.md
eval-create-and-run.md
grader-definitions.md
sft-dataset-and-job.md
dpo-basics.md
rft-basics.md
distillation-workflow.md
scripts/
README.md
fine-tuning-jobs.md
training-data-files.md
evals.md探索手順
タスクからカテゴリを引き、カテゴリの README.md で目的のページを特定する:
- 下記マッピング表でタスクに対応するカテゴリを探す
- そのカテゴリの
references/{category}/README.mdを参照して目的のページを特定する - 該当ページの
.mdを Read して詳細を確認する
タスク → カテゴリ マッピング
| タスク | カテゴリ | 参照 README |
|---|---|---|
| Evals API で eval を作成・実行したい | evals | references/evals/README.md |
| grader（string check / text similarity / model / python / multi）を定義したい | evals | references/evals/README.md |
| エージェントのトレースを採点・評価したい | evals | references/evals/README.md |
| サードパーティモデル・外部エンドポイントを評価したい | evals | references/evals/README.md |
| SFT / DPO / RFT で fine-tuning ジョブを作りたい | fine-tuning | references/fine-tuning/README.md |
| vision fine-tuning や distillation を行いたい | fine-tuning | references/fine-tuning/README.md |
| prompt optimizer の使い方を知りたい | fine-tuning | references/fine-tuning/README.md |
| 典型的な使い方を知りたい | samples | samples/README.md |
| curl でジョブ・ファイル・eval を操作したい | scripts | scripts/README.md |
注意事項
- セルフサービス fine-tuning（SFT / DPO / RFT / vision fine-tuning / distillation）は段階的廃止が進行中。新規組織での利用は 2026-05-07 以降不可、既存組織も 2027-01-06 以降は新規ジョブ作成が不可になる。prompt optimizer は 2026-11-30 に停止予定。各ページの
## Notesに個別の期限を記載している - reasoning モデルの使い方や Responses API 自体のリファレンスは
openai-api-coreスキルが担当する。本スキルは評価（evals）とモデル最適化（fine-tuning）に限定する
