Come usare
- Copia il comando e controlla il pacchetto prima di installarlo nel tuo ambiente agente.
- Controlla strumenti, credenziali e ambienti richiesti nel documento originale.
- Descrivi input e risultato desiderato; confronta l’output con le fonti.
npx skills add https://github.com/fandhe-ai/agent-reference-skills --skill openai-evals-tuningPrima di iniziare
- L’installazione non include abbonamenti, quote API o accesso ai file.
- Stelle e installazioni indicano attività, non un test indipendente di qualità o sicurezza.
Documento Skill originale
Contenuto dal repository con titoli, esempi, codice, tabelle, link e immagini preservati.
ディレクトリ構成
text
skills/openai-evals-tuning/
SKILL.md
references/
evals/
README.md
working-with-evals.md
graders.md
getting-started-datasets.md
agent-evals.md
trace-grading.md
external-models.md
evaluation-best-practices.md
fine-tuning/
README.md
model-optimization.md
supervised-fine-tuning.md
vision-fine-tuning.md
direct-preference-optimization.md
reinforcement-fine-tuning.md
reinforcement-fine-tuning-use-cases.md
fine-tuning-best-practices.md
prompt-optimizer.md
samples/
README.md
eval-create-and-run.md
grader-definitions.md
sft-dataset-and-job.md
dpo-basics.md
rft-basics.md
distillation-workflow.md
scripts/
README.md
fine-tuning-jobs.md
training-data-files.md
evals.md探索手順
タスクからカテゴリを引き、カテゴリの README.md で目的のページを特定する:
- 下記マッピング表でタスクに対応するカテゴリを探す
- そのカテゴリの
references/{category}/README.mdを参照して目的のページを特定する - 該当ページの
.mdを Read して詳細を確認する
タスク → カテゴリ マッピング
| タスク | カテゴリ | 参照 README |
|---|---|---|
| Evals API で eval を作成・実行したい | evals | references/evals/README.md |
| grader（string check / text similarity / model / python / multi）を定義したい | evals | references/evals/README.md |
| エージェントのトレースを採点・評価したい | evals | references/evals/README.md |
| サードパーティモデル・外部エンドポイントを評価したい | evals | references/evals/README.md |
| SFT / DPO / RFT で fine-tuning ジョブを作りたい | fine-tuning | references/fine-tuning/README.md |
| vision fine-tuning や distillation を行いたい | fine-tuning | references/fine-tuning/README.md |
| prompt optimizer の使い方を知りたい | fine-tuning | references/fine-tuning/README.md |
| 典型的な使い方を知りたい | samples | samples/README.md |
| curl でジョブ・ファイル・eval を操作したい | scripts | scripts/README.md |
注意事項
- セルフサービス fine-tuning（SFT / DPO / RFT / vision fine-tuning / distillation）は段階的廃止が進行中。新規組織での利用は 2026-05-07 以降不可、既存組織も 2027-01-06 以降は新規ジョブ作成が不可になる。prompt optimizer は 2026-11-30 に停止予定。各ページの
## Notesに個別の期限を記載している - reasoning モデルの使い方や Responses API 自体のリファレンスは
openai-api-coreスキルが担当する。本スキルは評価（evals）とモデル最適化（fine-tuning）に限定する
