5. Foundation Models: On-Device LLM Apple

5. Foundation Models: On-Device LLM Apple

Konsep Singkat

Foundation Models adalah on-device LLM (~3B parameter) yang dirilis Apple bersama Apple Intelligence (iOS 18). Akses lewat framework FoundationModels.

Detail lengkap di foundation-models-guide.md — di sini hanya highlight kapan dipakai.

Kelebihan

• Privat: semua inference di device, tidak ada data keluar.
• Gratis: tidak ada biaya per-token.
• Offline: tidak butuh internet.
• Structured output via @Generable: type-safe, terintegrasi Swift.
• Tool calling: model bisa panggil function di app kamu.

Keterbatasan

• Capability medium: bagus untuk summarization, classification, structured extraction. Lemah untuk reasoning kompleks, math, kode panjang.
• Knowledge cutoff: model tidak tahu event recent — kalau butuh info terkini, sediakan via tool calling atau RAG.
• Device requirement: A17 Pro+ atau M-series saja. Mayoritas user iPhone tidak punya akses.

Pattern Penggunaan

// foundation-models: Summarization sederhana
import FoundationModels

let session = LanguageModelSession()
let response = try await session.respond(to: "Ringkas: \(longArticle)")
print(response.content)

// foundation-models: Structured output dengan @Generable
@Generable
struct ProductReview: Sendable {
    let rating: Int
    let pros: [String]
    let cons: [String]
    let summary: String
}

let session = LanguageModelSession()
let review = try await session.respond(
    to: "Analisis ulasan ini: \(userReview)",
    generating: ProductReview.self
)

Kapan Foundation Models = Pilihan Terbaik

• App butuh fitur "AI assist" yang sederhana (summarize, rewrite, classify).
• Target user adalah pemegang device terbaru (Pro user, enterprise).
• Privacy adalah selling point app.
• Tidak butuh recent knowledge atau capability tinggi.

---