پردازش زبانهای طبیعی
مدرس: علیرضا صاحبی | گواهینامه: رسمی دوزبانه |
ترم: تابستان ۱۴۰۴ | پیشنیاز: یادگیری ژرف |
زمان ارائه: سهشنبه و پنجشنبه ۱۷:۰۰ تا ۱۸:۳۰ | محل برگزاری: کلاس مجازی |
هدف کلی
پردازش زبان طبیعی، شاخهای مهم از هوش مصنوعی است که هدف آن ایجاد تعامل بین انسان و ماشین از طریق زبان طبیعی میباشد. در این درس، ضمن آشنایی با مفاهیم کلیدی این حوزه، روشهای پایهای و پیشرفته برای حل مسائل و مقابله با چالشهای موجود در آن مورد بررسی قرار میگیرد.
سرفصلها
- معرفی درس و آشنایی با مفاهیم اولیه
- مفهوم زبان و پردازش زبان طبیعی، کاربردها، چالشها، کلیات انواع مسائل و روشهای حل آنها
- مفاهیم مربوط به زبان
- لایههای زبان و ابهامهای آن، روابط واژگانی
- پیشپردازش متن
- نرمالسازی، جداسازیواژگان (Tokenization)، تشخیص ریشه و لما، موجودیتهای نامدار، فاصله ویرایشی، عبارات منظم
- مدلهای زبانی
- روشهای پایه در مدلسازی زبانی، اِنگرامها، هموارسازی، ارزیابی مدل
- بازنمایی واژگان
- بازنماییهای ثابت (Static) (روش های پایهای، روشهای مبتنی بر جبرخطی، و روشهای مبتنی بر شبکههای عصبی) و بازنماییهای مبتنی بر بافت (Contextualized)
- معماریهای شبکههای عصبی پرکاربرد در پردازش زبان طبیعی
- شبکههای عصبی پیچشی (Convolutional)، شبکههای عصبی بازگشتی (Recurrent)، مکانیزم توجه، مبدلها (Transformers)، مدلهای رمزگذار (Encoder)، مدلهای رمزگشا (Decoder)، مدلهای رمزگذار-رمزگشا (Encoder-Decoder)
- روشهای طبقهبندی متن
- بیز ساده (Naive Bayes)، رگرسیون لاجیستیک (Logistic Regression)، شبکههای عصبی و مدلهای زبانی
- روشهای طبقهبندی اجزاء رشته
- مسائل برچسبزنی اجزاء سخن (POS) و تشخیص موجودیتهای نامدار (NER)، مدلهای مخفی مارکوف (HMM)، شبکههای عصبی و مدلهای زبانی
- روشهای تولید متن
- مدلهای سنتی ترجمه ماشینی، مدلهای شبکهعصبی Seq-to-Seq
- روشهای تنظیمدقیق (Fine-tune) مدلهای زبانی
- آموزش لایه دستهبند، استفاده از Adapterها
- مدل زبانی بزرگ (LLM) و برخی از کاربردهای آنها
- معماری RAG، عاملهای مبتنی بر مدلزبانی بزرگ (LLM agents)
ارزیابی
- تمرینهای عملی: ۸ نمره
- آزمونکها: ۴ نمره
- آزمون پایانی: ۸ نمره
منابع
- Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. Draft), 2023.
- Manning and Schuetze, Foundations of Statistical Natural Language Processing, 1999.
- Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing, 2015.
- Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning, 2016.