Azure Foundry Local : OpenAI‑compatible lokal API, cihazda model idarəetməsi

2026 suverenlik xəttində Foundry Local “cloud dependency olmadan” lokal inferens üçün strateji prime-time alətdir: CLI ilə model download/run, OpenAI‑compatible REST surface və müxtəlif hardware acceleration (NPU/GPU/CPU) ssenariləri ilə “build once, run locally” yanaşmasını praktikləşdirir . Microsoft-un 2026 Sovereign Cloud yeniləmələri Foundry Local-un qualified müştərilər üçün böyük AI modellərini tam disconnected mühitlərdə lokal NVIDIA infrastrukturu üzərində işlədə bilməsini ayrıca vurğulayır .

Background:

Edge/endpoint AI-də əsas çətinliklər: model paketləmə, hardware uyğunsuzluğu, API səthinin fərqli olması, offline işləmə tələbi və təhlükəsizlik. 2026 Foundry Local sənədləri OpenAI‑compatible API ilə “drop-in replacement” tipli inteqrasiyanı, CLI/SDK/REST yanaşmalarını və preview statusuna görə dəyişkənlik riskini açıq bildirir .

Yeni funksiya/xidmətin detallı izahı:
– Quraşdırma və idarəetmə “CLI-first”: foundry model list/run/load/unload, foundry service status/restart, foundry cache list kimi komandalarla həm model kataloqu, həm servis, həm də cache lifecycle idarə olunur .
– OpenAI‑compatible REST: Foundry Local REST API “Chat Completions” səthinin OpenAI Chat Completions API ilə tam uyğun olduğunu qeyd edir; bu, mövcud client-lərin minimal dəyişikliklə lokala yönləndirilməsinə imkan verir .
– Sovereign/offline böyük modellər: Microsoft 2026 anonsu Foundry Local-un “large AI models” üçün disconnected sovereign mühitlərdə dəstəyini və NVIDIA kimi partnyor infrastrukturu üzərində lokal multimodal inferens imkanını vurğulayır .

Arxitektura (Mermaid):

flowchart LR
  App[Your app\n(.NET/JS/Python)] –>|HTTP| LocalAPI[Foundry Local\nOpenAI-compatible REST]
  LocalAPI –> Service[Foundry Local Service]
  Service –> EP[Execution Providers\nCPU/GPU/NPU]
  EP –> Models[Local Model Cache]
  CLI[foundry CLI] –> Service
  CLI –> Models

Step-by-step quraşdırma + test + troubleshooting (komandalar):
1) Install (Windows):

winget install Microsoft.FoundryLocal
foundry –version

Docs bu yolu “Quick CLI setup” kimi verir .
2) Install (macOS, Homebrew):

brew tap microsoft/foundrylocal
brew install foundrylocal
foundry –version

3) Servis status və endpoint-i yoxlayın:

foundry service status

CLI reference “quick verification” kimi bunu tövsiyə edir .
4) İlk model run:

foundry model run qwen2.5-0.5b

5) Model kataloqu və hardware uyğunluğu:

foundry model list
foundry model info qwen2.5-0.5b –license

Model list ilk dəfə execution provider-ları endirə bilər, license yoxlaması da best practice kimi verilir .
6) REST ilə “drop-in” test (lokal chat completion):
Aşağıdakı nümunə OpenAI‑compatible /v1/chat/completions endpoint-i istifadə edir (port dəyəri foundry service status çıxışına görə dəyişir):

curl http://localhost:PORT/v1/chat/completions \
  -H “Content-Type: application/json” \
  -d ‘{
    “model”: “qwen2.5-0.5b”,
    “messages”: [{“role”:”user”,”content”:”Explain why the sky is blue.”}],
    “temperature”: 0.2
  }’

API-nin OpenAI Chat Completions ilə uyğunluğu və request body sahələri REST reference-də izah olunur .

Troubleshooting checklist (2026 docs):
– Request to local service failed kimi servis bağlantı xətalarında ən birinci foundry service restart tövsiyə edilir .
– Model download problemi: foundry cache list ilə cache statusunu yoxlayın .
– Port binding/permission: foundry zip-logs ilə log bundle yaradıb issue kimi paylaşmaq tövsiyə olunur .
– REST API “breaking changes” riski: REST reference preview API üçün changelog-u izləməyi tövsiyə edir .

Praktik use-case-lər:
– Sovereign AI: tam disconnected “sovereign operational boundary” daxilində lokallaşdırılmış multimodal inferens .
– Low-latency UX: real-time UI/agent interaction üçün cloud roundtrip olmadan lokal inferens.
– Gizlilik: sensitive data-nın cihazdan çıxmaması (tətbiq dizaynına bağlı olaraq) .

Limitasiyalar:
– Foundry Local “preview” olduğuna görə capability və API səthi dəyişə bilər; REST API üçün breaking change ehtimalı xüsusi qeyd olunur .
– Best practice sənədinə görə Foundry Local “distributed/multi-machine production deployments” üçün nəzərdə tutulmur .
– “Large models” availability: Microsoft anonsunda yalnız “qualified customers” üçün qeyd edilir — dəqiq kvalifikasiya meyarları unspecified .

---