Tentang Kursus
Kursus “Mekanisme Attention pada Neural Networks” dirancang untuk memberikan pemahaman komprehensif tentang salah satu terobosan terpenting dalam deep learning modern. Mekanisme attention telah merevolusi berbagai domain AI, mulai dari pemrosesan bahasa alami hingga computer vision, dengan memungkinkan model neural network untuk secara dinamis fokus pada informasi yang paling relevan dari data input. Kursus ini menggunakan pendekatan learning-by-doing dengan kombinasi teori mendalam dan praktik implementasi langsung.
Melalui 4 modul dengan total 20 sesi pembelajaran, peserta akan melakukan perjalanan dari konsep dasar attention dalam model sequence-to-sequence hingga arsitektur Transformer modern dan variannya yang efisien. Kursus ini juga dilengkapi dengan contoh implementasi yang memungkinkan peserta membangun intuisi kuat sambil mengembangkan keterampilan nyata menggunakan Python dan framework deep learning populer seperti PyTorch atau TensorFlow.
Kursus ini tidak hanya mengajarkan “bagaimana” tetapi juga “mengapa” di balik setiap mekanisme, dengan penekanan pada pemahaman matematis, visualisasi, dan interpretabilitas. Peserta akan mendapatkan exposure terhadap aplikasi praktis real-world seperti penerjemahan mesin (machine translation), perangkuman teks (text summarization), dan sistem question answering, serta mempelajari teknik-teknik terkini untuk mengoptimalkan dan men-deploy model attention di lingkungan produksi.
Apa yang akan kamu pelajari?
- Fondasi dan Evolusi Attention: Memahami mekanisme attention Bahdanau dan Luong, berbagai fungsi scoring, visualisasi bobot attention, serta implementasi dari nol untuk model sequence-to-sequence dalam konteks neural mashine translation.
- Self-Attention dan Arsitektur Transformer: Menguasai konsep Query-Key-Value, scaled dot-product attention, multi-head attention, positional encoding, serta implementasi lengkap arsitektur Transformer encoder-decoder dengan teknik training dan optimasi modern.
- Aplikasi Praktis Multi-Domain: Menerapkan attention untuk tugas NLP seperti penerjemahan mesin neural (English-Indonesian), perangkuman teks abstraktif, sistem question answering, serta eksplorasi cross-attention untuk aplikasi multimodal seperti image captioning.
- Efficient Attention dan Perkembangan Terkini: Mempelajari sparse attention patterns, linear attention, efficient Transformers (Longformer, BigBird, Flash Attention), Vision Transformers, fine-tuning model pre-trained, serta teknik deployment seperti quantization dan knowledge distillation.