2026 suverenlik xəttində Foundry Local “cloud dependency olmadan” lokal inferens üçün strateji prime-time alətdir: CLI ilə model download/run, OpenAI‑compatible REST surface və müxtəlif hardware acceleration (NPU/GPU/CPU) ssenariləri ilə “build once, run locally” yanaşmasını praktikləşdirir . Microsoft-un 2026 Sovereign Cloud yeniləmələri Foundry Local-un qualified müştərilər üçün böyük AI modellərini tam disconnected mühitlərdə lokal NVIDIA infrastrukturu üzərində işlədə bilməsini ayrıca vurğulayır .
Background:
Edge/endpoint AI-də əsas çətinliklər: model paketləmə, hardware uyğunsuzluğu, API səthinin fərqli olması, offline işləmə tələbi və təhlükəsizlik. 2026 Foundry Local sənədləri OpenAI‑compatible API ilə “drop-in replacement” tipli inteqrasiyanı, CLI/SDK/REST yanaşmalarını və preview statusuna görə dəyişkənlik riskini açıq bildirir .
Yeni funksiya/xidmətin detallı izahı:
– Quraşdırma və idarəetmə “CLI-first”: foundry model list/run/load/unload, foundry service status/restart, foundry cache list kimi komandalarla həm model kataloqu, həm servis, həm də cache lifecycle idarə olunur .
– OpenAI‑compatible REST: Foundry Local REST API “Chat Completions” səthinin OpenAI Chat Completions API ilə tam uyğun olduğunu qeyd edir; bu, mövcud client-lərin minimal dəyişikliklə lokala yönləndirilməsinə imkan verir .
– Sovereign/offline böyük modellər: Microsoft 2026 anonsu Foundry Local-un “large AI models” üçün disconnected sovereign mühitlərdə dəstəyini və NVIDIA kimi partnyor infrastrukturu üzərində lokal multimodal inferens imkanını vurğulayır .
Arxitektura (Mermaid):
flowchart LR
App[Your app\n(.NET/JS/Python)] –>|HTTP| LocalAPI[Foundry Local\nOpenAI-compatible REST]
LocalAPI –> Service[Foundry Local Service]
Service –> EP[Execution Providers\nCPU/GPU/NPU]
EP –> Models[Local Model Cache]
CLI[foundry CLI] –> Service
CLI –> Models
Step-by-step quraşdırma + test + troubleshooting (komandalar):
1) Install (Windows):
winget install Microsoft.FoundryLocal
foundry –version
Docs bu yolu “Quick CLI setup” kimi verir .
2) Install (macOS, Homebrew):
brew tap microsoft/foundrylocal
brew install foundrylocal
foundry –version
3) Servis status və endpoint-i yoxlayın:
foundry service status
CLI reference “quick verification” kimi bunu tövsiyə edir .
4) İlk model run:
foundry model run qwen2.5-0.5b
5) Model kataloqu və hardware uyğunluğu:
foundry model list
foundry model info qwen2.5-0.5b –license
Model list ilk dəfə execution provider-ları endirə bilər, license yoxlaması da best practice kimi verilir .
6) REST ilə “drop-in” test (lokal chat completion):
Aşağıdakı nümunə OpenAI‑compatible /v1/chat/completions endpoint-i istifadə edir (port dəyəri foundry service status çıxışına görə dəyişir):
curl http://localhost:PORT/v1/chat/completions \
-H “Content-Type: application/json” \
-d ‘{
“model”: “qwen2.5-0.5b”,
“messages”: [{“role”:”user”,”content”:”Explain why the sky is blue.”}],
“temperature”: 0.2
}’
API-nin OpenAI Chat Completions ilə uyğunluğu və request body sahələri REST reference-də izah olunur .
Troubleshooting checklist (2026 docs):
– Request to local service failed kimi servis bağlantı xətalarında ən birinci foundry service restart tövsiyə edilir .
– Model download problemi: foundry cache list ilə cache statusunu yoxlayın .
– Port binding/permission: foundry zip-logs ilə log bundle yaradıb issue kimi paylaşmaq tövsiyə olunur .
– REST API “breaking changes” riski: REST reference preview API üçün changelog-u izləməyi tövsiyə edir .
Praktik use-case-lər:
– Sovereign AI: tam disconnected “sovereign operational boundary” daxilində lokallaşdırılmış multimodal inferens .
– Low-latency UX: real-time UI/agent interaction üçün cloud roundtrip olmadan lokal inferens.
– Gizlilik: sensitive data-nın cihazdan çıxmaması (tətbiq dizaynına bağlı olaraq) .
Limitasiyalar:
– Foundry Local “preview” olduğuna görə capability və API səthi dəyişə bilər; REST API üçün breaking change ehtimalı xüsusi qeyd olunur .
– Best practice sənədinə görə Foundry Local “distributed/multi-machine production deployments” üçün nəzərdə tutulmur .
– “Large models” availability: Microsoft anonsunda yalnız “qualified customers” üçün qeyd edilir — dəqiq kvalifikasiya meyarları unspecified .
