İnnovasiya və Rəqəmsal İnkişaf Agentliyi ölkənin rəqəmsal transformasiya strategiyasına uyğun olaraq, Azərbaycan dili və dövlət xidmətləri üçün yüksək keyfiyyətli Böyük Dil Modellərinin (LLM) hazırlanması, təkmilləşdirilməsi və qiymətləndirilməsi məqsədilə LLM Fine-Tuning & Evaluation Engineer vakansiyasını elan edir.

• Böyük Dil Modellərinin (LLM) müxtəlif istifadə ssenarilərinə uyğun fine-tuning proseslərinin həyata keçirilməsi;
• Dövlət xidmətləri və Azərbaycan dili üzrə yüksək keyfiyyətli datasetlərin hazırlanması, təmizlənməsi və optimallaşdırılması;
• Fine-tuning nəticələrinin obyektiv qiymətləndirilməsi və model performansının davamlı olaraq yaxşılaşdırılması;
• Müxtəlif yanaşmalar (Fine-Tuning, RAG, Prompt Engineering və Guardrails) arasında düzgün texniki həllin seçilməsi;
• GPU klasterlərində model təlimi, optimallaşdırılması və istehsal (production) mühitinə hazırlanması;
• Təcrübələrin (experiments), modellərin və datasetlərin izlənilə bilən və təkrarlana bilən (reproducible) şəkildə idarə olunmasının təmin edilməsi.

Biznes və ümumi bacarıqlar:

• Machine Learning və ya LLM sahəsində minimum 2 il real iş təcrübəsi;
• Analitik düşünmə və mürəkkəb problemləri sistemli şəkildə həll etmə bacarığı;
• Texniki həllərin biznes ehtiyaclarına uyğunlaşdırılması bacarığı;
• Krosfunksional komandalarla effektiv əməkdaşlıq və Agile metodologiyaları ilə işləmə təcrübəsi;
• Elmi məqalələri sürətlə analiz edib praktik həllərə çevirmək bacarığı;
• Fine-tuning yanaşmasının hansı problemləri həll edə biləcəyini və edə bilməyəcəyini düzgün qiymətləndirmək bacarığı.

Texniki bacarıqlar:

• Python proqramlaşdırma dili üzrə yüksək səviyyədə bilik;
• PyTorch framework-u ilə iş təcrübəsi;
• Transformer arxitekturasının (Attention, RoPE, Tokenization, Context Window, KV Cache) dərin anlayışı;
• Supervised Fine-Tuning (SFT), LoRA, QLoRA, DPO və digər Preference Tuning metodları ilə praktiki təcrübə;
• Hugging Face ekosistemi (Transformers, PEFT, TRL, Datasets, Accelerate) ilə işləmə bacarığı;
• Axolotl, LLaMA-Factory, Unsloth və ya ekvivalent fine-tuning framework-ləri ilə təcrübə;
• Distributed GPU Training (DeepSpeed, FSDP, NCCL) texnologiyaları üzrə praktiki bilik;
• Slurm mühitində GPU resurslarının idarə olunması (sbatch, srun, multi-node job management, restart/failure handling);
• H100, H200 və ya ekvivalent yüksək performanslı GPU-larla iş təcrübəsi;
• BF16/FP16, Flash Attention, Gradient Checkpointing və Quantization texnologiyalarını tətbiq etmək bacarığı;
• Dataset Engineering üzrə təcrübə (Cleaning, Deduplication, Contamination Detection, Formatting və Quality Scoring);
• Multilingual və Low-resource dillər üzrə model fine-tuning təcrübəsi;
• Tokenizer analizi (Vocabulary Coverage, Fertility və Token Efficiency Analysis);
• LLM qiymətləndirmə metodları üzrə praktiki bilik:
• Base və Fine-tuned modellərin müqayisəsi;
• Domain-specific Evaluation Dataset-lərinin hazırlanması;
• LLM-as-a-Judge yanaşması;
• Human Evaluation;
• Regression Testing;
• Hallucination və Grounding göstəricilərinin ölçülməsi;
• Fine-Tuning, Retrieval-Augmented Generation (RAG), Prompt Engineering və Guardrails yanaşmalarının düzgün seçilməsi bacarığı;
• MLflow və ya Weights & Biases (W&B) vasitəsilə experiment tracking təcrübəsi;
• Model, dataset və experiment lineage prinsipləri və reproducibility anlayışı;
• vLLM platformasında modelin production mühitinə çıxarılması üzrə təcrübə;
• Docker, Linux və Git alətləri ilə sərbəst işləmək bacarığı;
• Hugging Face checkpoint-dən başlayaraq distributed fine-tuning, evaluation, merged/export edilmiş checkpoint və production inference prosesini tam şəkildə həyata keçirmə təcrübəsi.

Üstünlük verilir:

• Continued Pre-training və Domain Adaptive Pre-training təcrübəsi;
• Model Merging texnikaları;
• Long Context Tuning;
• Multimodal Model Fine-Tuning;
• Synthetic Data Generation;
• Knowledge Distillation;
• Speculative Decoding və digər inference optimallaşdırma texnikaları;
• LLM Safety, Guardrails və Red Teaming sahəsində təcrübə;
• Dövlət, hüquq və ya tənzimlənən (regulated) sahələr üçün AI həllərinin hazırlanması təcrübəsi.