트랙장 :

1️⃣  자연어 처리 트랙

What I cannot create, I do not understand. -Richard Feynman

<aside> 💡 GPT를 직접 만들어 봅시다

자연어 처리(NLP) 분야는 최근 몇 년간 급격한 발전을 이루었으며, 그 중심에는 트랜스포머(Transformer) 모델이 있습니다. GPT가 인제 자연어 처리의 표준이 되었고, RNN, LSTM, GRU 등은 그 역할을 많이 상실하게 되었습니다. 실전 문제 해결력을 키우기 위해, 과거 모델들을 제외하고, 최신 기술인 트랜스포머를 중심으로 학습을 진행합니다.

단순히 이론을 공부하는 것만으로는 모델의 작동 원리를 완전히 이해하기 어렵습니다. 그래서 단순히 모델을 가져와 쓰거나 이론을 배우는 데 그치지 않고, PyTorch로 직접 구현하는 과정을 통해 깊이 있는 이해를 추구합니다. Self-Attention 등 트랜스포머의 핵심 요소들을 직접 코드로 작성하면서, 실전 문제 해결에 도움이 될 수 있는 통찰력을 기르고자 합니다.

다룰 내용

• N-gram language models
• Transformers

다루지 않을 내용

• Word2Vec
• RNN, LSTM
• Tokenizer </aside>

2️⃣  Prerequisites

<aside> 💡 1️⃣ Knowledge of basic machine learning 2️⃣ Familiarity with Python and PyTorch

</aside>

3️⃣ 커리큘럼

<aside> 💡 Andrej Karpathy의 유튜브 강의 **Neural Networks: Zero to Hero를 수강합니다.** 이 강의는 자연어 처리와 인공지능 모델을 이해하는 데 필요한 기초 이론뿐만 아니라, 직접 인공지능 모델을 구현하는 과정을 상세하게 설명합니다.

로우 레벨로 트랜스포머 모델을 구현하는 방법을 배운 후에는, HuggingFace Transformer를 사용해 하이 레벨로 트랜스포머 모델을 튜닝하는 방법을 배웁니다.

</aside>

사용 교재: 없음

<aside> ⚠️ 각 커리큘럼의 세부 일정은 상황에 따라 조정될 수 있습니다.

</aside>

<aside> 📢 트랙장 분들은 트랙 활동 후, 아래 ⬇️⬇️ 트랙 커리큘럼 표에 주차별 페이지를 열어서 템플릿 또는 자유롭게 주차별 활동 내역을 작성해주세요! ( ’n주차’에 커서를 올리면 ‘열기’가 보입니다)

</aside>