Memahami Structured Outputs di LLM: Dari JSON Schema hingga Tool Calling

Akhir dari Era ‘Tolong Jawab Hanya dalam Format JSON Valid’

Dahulu, developer sering frustrasi karena model AI kerap menambahkan basa-basi seperti "Tentu! Ini JSON untuk Anda: ```json ... ```" di awal respon, yang menyebabkan fungsi JSON.parse() di backend melempar exception fatal.

Kini, penyedia model terkemuka menyediakan fitur Strict Structured Outputs.

import { z } from 'zod';
import { generateObject } from 'ai';
import { openai } from '@ai-sdk/openai';

const ArticleSchema = z.object({
  title: z.string(),
  readingTime: z.number().int(),
  tags: z.array(z.string()).max(5),
});

const { object } = await generateObject({
  model: openai('gpt-4o'),
  schema: ArticleSchema,
  prompt: 'Ekstrak metadata dari draf tulisan berikut...',
});

console.log(object.title); // Bertipe aman 100%!

Fitur ini bekerja di level token sampling mesin inference: model secara fisik dilarang menghasilkan token karakter berikutnya jika karakter tersebut melanggar skema grammar JSON yang ditentukan.