自然言語処理と深層学習（2021年度）

2022年度版の方をご覧ください

講義概要

コース名

データサイエンス『実践コース』数理工学PBL

概要

自然言語処理について，基礎事項から深層学習を用いた応用までを講義・実習する．

講師

一関高専　小池 敦

資料について

• 講義のPDFファイルとPython Notebook形式の実習ファイルからなる
• 実習教材については，Google Colaboratoryで動作する
• 実習は別途記載されたソースコードを写経して実行する形式になっているが，本ページからリンクされたファイルは基本的にコード記載済みになっている
  • コード未記載の実習ファイルはこちら

資料ダウンロード

• GitHub教材ページ

1日目：自然言語処理の基礎

• 基本的な文字列処理（トークン化，単語・文書の表現）
• Python速習
• Webからのテキスト取得と前処理
• 日本語に対する自然言語処理

教材

• 講義資料（自然言語処理の基礎）：Day1_自然言語処理.pdf
• 実習教材（Pythonと自然言語処理の基礎）：01-Python-NLP-basic-filled.ipynb

2日目：深層学習による自然言語処理（１）

• 深層学習の基礎（深層学習の仕組みと進展，Kerasの使い方）
  • 講義資料：Day2-1_深層学習.pdf
  • 実習教材：02-Keras-basic-filled.ipynb
• 分散表現（分散表現の概要，学習方法）
  • 講義資料：Day2-2_分散表現.pdf
  • 実習教材：03-Word-embedding-filled.ipynb

3日目：深層学習による自然言語処理（２）

• アテンション（RNN，アテンション，セルフアテンション，Transformer，BERT）
  • 講義資料：Day3_アテンション.pdf
• Hugging Face Transformersを用いた自然言語処理
  • 実習教材：04-HuggingFace-filled.ipynb