fandhe-ai/agent-reference-skills

openai-evals-tuning

OpenAI API (developers.openai.com) の Evals / Fine-tuning リファレンス。 Evals API, Datasets, graders(string check, text similarity, model, python, multi), agent evals, trace grading, external models、 SFT, DPO, RFT(reinforcement fine-tuning), vision fine-tuning, di…

Zobacz źródło

Jak używać

  1. Skopiuj polecenie instalacji i sprawdź źródła przed instalacją we własnym środowisku agenta.
  2. W oryginale sprawdź wymagane narzędzia, dane dostępowe i obsługiwane środowiska.
  3. Opisz dane wejściowe i oczekiwany rezultat; porównaj wynik ze źródłami.
npx skills add https://github.com/fandhe-ai/agent-reference-skills --skill openai-evals-tuning

Przed rozpoczęciem

  • Instalacja nie obejmuje subskrypcji modelu, limitu API ani uprawnień do plików.
  • Gwiazdki i instalacje pokazują aktywność, a nie niezależny test jakości lub bezpieczeństwa.
Oryginalny dokument Skill

Treść z repozytorium z zachowaniem nagłówków, przykładów, kodu, tabel, linków i obrazów.

ディレクトリ構成

text
skills/openai-evals-tuning/
  SKILL.md
  references/
    evals/
      README.md
      working-with-evals.md
      graders.md
      getting-started-datasets.md
      agent-evals.md
      trace-grading.md
      external-models.md
      evaluation-best-practices.md
    fine-tuning/
      README.md
      model-optimization.md
      supervised-fine-tuning.md
      vision-fine-tuning.md
      direct-preference-optimization.md
      reinforcement-fine-tuning.md
      reinforcement-fine-tuning-use-cases.md
      fine-tuning-best-practices.md
      prompt-optimizer.md
  samples/
    README.md
    eval-create-and-run.md
    grader-definitions.md
    sft-dataset-and-job.md
    dpo-basics.md
    rft-basics.md
    distillation-workflow.md
  scripts/
    README.md
    fine-tuning-jobs.md
    training-data-files.md
    evals.md

探索手順

タスクからカテゴリを引き、カテゴリの README.md で目的のページを特定する:

  1. 下記マッピング表でタスクに対応するカテゴリを探す
  2. そのカテゴリの references/{category}/README.md を参照して目的のページを特定する
  3. 該当ページの .md を Read して詳細を確認する

タスク → カテゴリ マッピング

タスクカテゴリ参照 README
Evals API で eval を作成・実行したいevalsreferences/evals/README.md
grader(string check / text similarity / model / python / multi)を定義したいevalsreferences/evals/README.md
エージェントのトレースを採点・評価したいevalsreferences/evals/README.md
サードパーティモデル・外部エンドポイントを評価したいevalsreferences/evals/README.md
SFT / DPO / RFT で fine-tuning ジョブを作りたいfine-tuningreferences/fine-tuning/README.md
vision fine-tuning や distillation を行いたいfine-tuningreferences/fine-tuning/README.md
prompt optimizer の使い方を知りたいfine-tuningreferences/fine-tuning/README.md
典型的な使い方を知りたいsamplessamples/README.md
curl でジョブ・ファイル・eval を操作したいscriptsscripts/README.md

注意事項

  • セルフサービス fine-tuning(SFT / DPO / RFT / vision fine-tuning / distillation)は段階的廃止が進行中。新規組織での利用は 2026-05-07 以降不可、既存組織も 2027-01-06 以降は新規ジョブ作成が不可になる。prompt optimizer は 2026-11-30 に停止予定。各ページの ## Notes に個別の期限を記載している
  • reasoning モデルの使い方や Responses API 自体のリファレンスは openai-api-core スキルが担当する。本スキルは評価(evals)とモデル最適化(fine-tuning)に限定する

Powiązane zadania

z tego samego repozytorium

Więcej Skills

Wszystkie Skills
fandhe-ai
Społeczność

fandhe-frontend

Rust 製フロントエンドフレームワーク fandhe-frontend のリファレンス。 SSR / SPA / SSG / View Transitions、hydration、Document builder(SSR 組み込み)、CSP meta、単一実行ファイル配布、Vercel、既定エスケープ。 クレート core / app / interactive / server(generatepages) / headless-ui(Primitives, AutocompleteToken, passkey) / pre-styled-ui(Themes, motion) / wireframe-ui(Wireframes) / animation(data- 属性) / wasm-full。 Blocks(Hero / Pricing / Cart 等セクション例 335 件)。CLI fw。

Instalacje / 1h
2
GitHub Stars
4
Aktualizacja
3 lis
fandhe-ai
Społeczność

playwright

Playwright v1.64 (E2E / コンポーネントテストフレームワーク) リファレンス。 test, expect, page, locator, getByRole / getByText / getByLabel / getByTestId / getByRef、 toBeVisible, click, fill, route, mock, fixtures、playwright.config.ts、 auth 永続化、Credentials (passkeys / WebAuthn)、WebStorage、WebMCP、 Playwright MCP / playwright-cli、trace viewer、screencast、test locks、codegen、UI モード。

Instalacje / 1h
2
GitHub Stars
4
Aktualizacja
3 lis
fandhe-ai
Społeczność

rust

Rust 言語リファレンス。 別名: rustlang, rs (拡張子)、Rust-lang。 TRPL (The Rust Programming Language)、Rust by Example、Reference、 Cargo Book、rustc Book、rustdoc Book、Rustonomicon (Unsafe Rust)、 Edition Guide、Standard Library、Error Index。 所有権、ライフタイム、トレイト、async / await、エラーハンドリング、マクロ。

Instalacje / 1h
2
GitHub Stars
4
Aktualizacja
3 lis
fandhe-ai
Społeczność

better-auth

Better Auth (TypeScript 認証フレームワーク) v1.7 リファレンス。 認証・認可、サインアップ・サインイン、セッション管理、OAuth、パスキー、二要素認証 (2FA / TOTP)、SSO / SAML、SCIM、 OAuth Provider (OAuth 2.1 / OIDC)、MCP 認可 (@better-auth/mcp)、Infrastructure (dash / sentinel)、 プラグイン (organization, admin, magic-link, anonymous 等)。betterAuth, createAuthClient, signUp, signIn, getSession。 Next.js, Nuxt, SvelteKit, Hono, Express, Expo, TanStack, Effect 統合。

Instalacje / 1h
2
GitHub Stars
4
Aktualizacja
24 paź