Giriş
Azure Databricks istifadəçiləri üçün yeni bir imkan: Foundation Model Training artıq ictimai önizləmə mərhələsindədir. Bu imkan, istifadəçilərin öz məlumatlarını istifadə edərək bir foundation modeli öz tətbiqlərinə uyğunlaşdırmaq üçün optimallaşdırmağa imkan verir.
Foundation Model Training Nədir?
Foundation Model Training, Azure Databricks API və ya UI istifadə edərək bir foundation modeli tənzimləməyə və ya daha da öyrətməyə imkan verir. Bu, az məlumat, vaxt və hesablama resursu istifadə edərək öz modelinizi öyrətməyə imkan verir, bu da sıfırdan bir model öyrətməkdən daha effektivdir.
Foundation Model Training ilə Nə Edə Bilərsiniz?
- Öz xüsusi məlumatlarınızla bir modeli öyrətmək, nəticələri MLflow-da saxlamaq və modelə tam nəzarət etmək.
- Modeli Unity Catalog-a avtomatik olaraq qeyd etmək, bu da model xidmətindən istifadə edərək asan yerləşdirməyə imkan verir.
- Əvvəlcə öyrədilmiş bir modelin çəkilərini yükləyərək tamamlamaq və ya xüsusi bir modeli daha da öyrətmək.
Databricks, aşağıdakı hallarda Foundation Model Training-dən istifadə etməyi tövsiyə edir:
- Few-shot learning sınamısınız və daha yaxşı nəticələr istəyirsiniz.
- Mövcud bir modeldə prompt engineering sınamısınız və daha yaxşı nəticələr istəyirsiniz.
- Məlumat məxfiliyi üçün xüsusi bir model üzərində tam mülkiyyət istəyirsiniz.
- Gecikmə və ya maliyyətə həssassınız və xüsusi məlumatlarla daha kiçik və ucuz bir model istifadə etmək istəyirsiniz.
Dəstəklənən Tapşırıqlar
Foundation Model Training aşağıdakı istifadə hallarını dəstəkləyir:
- Chat completion: İstifadəçi və AI köməkçisi arasında olan söhbət loglarını öyrədin. Bu format həm faktiki söhbət logları, həm də sual-cavab və danışıq mətnləri üçün istifadə edilə bilər.
- Supervised fine-tuning: Strukturlu prompt-cavab məlumatlarını öyrədin. Modeli yeni bir tapşırığa uyğunlaşdırmaq, cavab üslubunu dəyişdirmək və ya təlimat-izləmə qabiliyyətləri əlavə etmək üçün istifadə olunur.
- Continued pre-training: Əlavə mətn məlumatları ilə modeli öyrədin. Modelə yeni biliklər əlavə etmək və ya müəyyən bir domenə yönəltmək üçün istifadə olunur.
Tələblər
Foundation Model Training üçün lazım olanlar:
- Aşağıdakı Azure bölgələrində bir Databricks iş sahəsi: centralus, eastus, eastus2, northcentralus, westcentralus, westus, westus3.
- Foundation Model Training API-lərinin quraşdırılması:
pip install databricks_genai. - Databricks Runtime 12.2 LTS ML və ya yuxarı versiyası (məlumat Delta cədvəlindədirsə).
Model Təlimi Üçün Tələb Olunan Məlumat Həcmi
- Supervised fine-tuning və chat completion: Modelin tam kontekst uzunluğu üçün kifayət qədər token təqdim edilməlidir. Məsələn, meta-llama/Llama-2-7b-chat-hf üçün 4096 token, mistralai/Mistral-7B-v0.1 üçün 32768 token.
- Continued pre-training: Minimum 1.5 milyon nümunə təklif edilir.
Dəstəklənən Modellər
Ən son dəstəklənən modellər və onların kontekst uzunluqları üçün get_models() funksiyasını istifadə edin.
Məhdudiyyətlər
- Böyük məlumat dəstləri (10B+ token) hesablama mövcudluğu səbəbindən dəstəklənmir.
- PrivateLink dəstəklənmir.
- Davamlı pre-training üçün iş yükləri 60-256MB fayllarla məhdudlaşdırılıb.
Databricks, Foundation Model Training istifadə edərək xüsusi modellərin yaradılması üçün ən son state-of-the-art modelləri təqdim etməyə çalışır. Yeni modellər mövcud olduqda, köhnə modellərin API və ya UI-dən çıxarılması və ya dəstəklənməsinin dayandırılması barədə ən azı üç ay əvvəl xəbərdarlıq edilir.
Daha ətraflı məlumat və demolar üçün Databricks təlimatlarını izləyin və bu yeni funksiyanı sınayın.
