fandhe-ai/agent-reference-skills

openai-evals-tuning

OpenAI API (developers.openai.com) の Evals / Fine-tuning リファレンス。 Evals API, Datasets, graders(string check, text similarity, model, python, multi), agent evals, trace grading, external models、 SFT, DPO, RFT(reinforcement fine-tuning), vision fine-tuning, di…

View source

How to use

  1. Copy the installation command and review the source package before installing it in your own agent environment.
  2. Check the source document for required tools, credentials and supported hosts.
  3. Describe your input and desired deliverable; review the output against the source material.
npx skills add https://github.com/fandhe-ai/agent-reference-skills --skill openai-evals-tuning

Before you start

  • Installation does not include a model subscription, API allowance or permission to access your files.
  • Repository stars and installation counts describe activity, not an independent quality or security test.
Original skill document

Rendered from the source repository. Headings, examples, code, tables, links, and referenced images are preserved.

ディレクトリ構成

text
skills/openai-evals-tuning/
  SKILL.md
  references/
    evals/
      README.md
      working-with-evals.md
      graders.md
      getting-started-datasets.md
      agent-evals.md
      trace-grading.md
      external-models.md
      evaluation-best-practices.md
    fine-tuning/
      README.md
      model-optimization.md
      supervised-fine-tuning.md
      vision-fine-tuning.md
      direct-preference-optimization.md
      reinforcement-fine-tuning.md
      reinforcement-fine-tuning-use-cases.md
      fine-tuning-best-practices.md
      prompt-optimizer.md
  samples/
    README.md
    eval-create-and-run.md
    grader-definitions.md
    sft-dataset-and-job.md
    dpo-basics.md
    rft-basics.md
    distillation-workflow.md
  scripts/
    README.md
    fine-tuning-jobs.md
    training-data-files.md
    evals.md

探索手順

タスクからカテゴリを引き、カテゴリの README.md で目的のページを特定する:

  1. 下記マッピング表でタスクに対応するカテゴリを探す
  2. そのカテゴリの references/{category}/README.md を参照して目的のページを特定する
  3. 該当ページの .md を Read して詳細を確認する

タスク → カテゴリ マッピング

タスクカテゴリ参照 README
Evals API で eval を作成・実行したいevalsreferences/evals/README.md
grader(string check / text similarity / model / python / multi)を定義したいevalsreferences/evals/README.md
エージェントのトレースを採点・評価したいevalsreferences/evals/README.md
サードパーティモデル・外部エンドポイントを評価したいevalsreferences/evals/README.md
SFT / DPO / RFT で fine-tuning ジョブを作りたいfine-tuningreferences/fine-tuning/README.md
vision fine-tuning や distillation を行いたいfine-tuningreferences/fine-tuning/README.md
prompt optimizer の使い方を知りたいfine-tuningreferences/fine-tuning/README.md
典型的な使い方を知りたいsamplessamples/README.md
curl でジョブ・ファイル・eval を操作したいscriptsscripts/README.md

注意事項

  • セルフサービス fine-tuning(SFT / DPO / RFT / vision fine-tuning / distillation)は段階的廃止が進行中。新規組織での利用は 2026-05-07 以降不可、既存組織も 2027-01-06 以降は新規ジョブ作成が不可になる。prompt optimizer は 2026-11-30 に停止予定。各ページの ## Notes に個別の期限を記載している
  • reasoning モデルの使い方や Responses API 自体のリファレンスは openai-api-core スキルが担当する。本スキルは評価(evals)とモデル最適化(fine-tuning)に限定する

Related by task

from this repository

More skills

All skills
fandhe-ai
Community

fandhe-frontend

Rust 製フロントエンドフレームワーク fandhe-frontend のリファレンス。 SSR / SPA / SSG / View Transitions、hydration、Document builder(SSR 組み込み)、CSP meta、単一実行ファイル配布、Vercel、既定エスケープ。 クレート core / app / interactive / server(generatepages) / headless-ui(Primitives, AutocompleteToken, passkey) / pre-styled-ui(Themes, motion) / wireframe-ui(Wireframes) / animation(data- 属性) / wasm-full。 Blocks(Hero / Pricing / Cart 等セクション例 335 件)。CLI fw。

1h installs
2
GitHub stars
4
Updated
Nov 3
fandhe-ai
Community

playwright

Playwright v1.64 (E2E / コンポーネントテストフレームワーク) リファレンス。 test, expect, page, locator, getByRole / getByText / getByLabel / getByTestId / getByRef、 toBeVisible, click, fill, route, mock, fixtures、playwright.config.ts、 auth 永続化、Credentials (passkeys / WebAuthn)、WebStorage、WebMCP、 Playwright MCP / playwright-cli、trace viewer、screencast、test locks、codegen、UI モード。

1h installs
2
GitHub stars
4
Updated
Nov 3
fandhe-ai
Community

rust

Rust 言語リファレンス。 別名: rustlang, rs (拡張子)、Rust-lang。 TRPL (The Rust Programming Language)、Rust by Example、Reference、 Cargo Book、rustc Book、rustdoc Book、Rustonomicon (Unsafe Rust)、 Edition Guide、Standard Library、Error Index。 所有権、ライフタイム、トレイト、async / await、エラーハンドリング、マクロ。

1h installs
2
GitHub stars
4
Updated
Nov 3
fandhe-ai
Community

better-auth

Better Auth (TypeScript 認証フレームワーク) v1.7 リファレンス。 認証・認可、サインアップ・サインイン、セッション管理、OAuth、パスキー、二要素認証 (2FA / TOTP)、SSO / SAML、SCIM、 OAuth Provider (OAuth 2.1 / OIDC)、MCP 認可 (@better-auth/mcp)、Infrastructure (dash / sentinel)、 プラグイン (organization, admin, magic-link, anonymous 等)。betterAuth, createAuthClient, signUp, signIn, getSession。 Next.js, Nuxt, SvelteKit, Hono, Express, Expo, TanStack, Effect 統合。

1h installs
2
GitHub stars
4
Updated
Oct 24