自然言語処理と深層学習

講義概要

コース名

データサイエンス『実践コース』数理工学PBL

概要

自然言語処理について，基礎事項から深層学習を用いた応用までを講義・実習する．

講師

東北大学　小池 敦

成績評価

• 課題1,2により行う

資料について

• 講義のPDFファイルとPython Notebook形式の実習ファイルからなる
• 実習教材については，Google Colaboratoryで動作する
• 実習は別途記載されたソースコードを写経して実行する形式になっているが，本ページからリンクされたファイルは基本的にコード記載済みになっている
  • コード未記載の実習ファイルはこちら

資料一括ダウンロード

• Googleドライブ

1日目：自然言語処理と深層学習の基礎

• 基本的な文字列処理（トークン化，単語・文書の表現）
  • 講義資料（自然言語処理の基礎）：Day1-1_自然言語処理.pdf
• Pythonと自然言語処理の実習（Python速習，Webからのテキスト取得と前処理，日本語に対する自然言語処理）
  • 実習教材（Pythonと自然言語処理の基礎）：01-Python-NLP-basic-filled.ipynb
• 深層学習の基礎（深層学習の仕組みと進展，Kerasの使い方）
  • 講義資料：Day1-2_深層学習.pdf
  • 実習教材：02-Keras-basic-filled.ipynb（03-Keras-practice-filled.ipynbは未実施）

2日目：深層学習による自然言語処理

• 分散表現（分散表現の概要，学習方法）
  • 講義資料：Day2-1_分散表現.pdf
  • 実習教材：04-Word-embedding-filled.ipynb
• アテンション（RNN，アテンション，セルフアテンション，Transformer，BERT）
  • 講義資料：Day2-2_アテンション.pdf
• 大規模言語モデルとHugging Face Transformers
  • 講義資料：Day2-3_大規模言語モデル.pdf
  • 実習教材：05-HuggingFace-filled.ipynb

課題1：ワードクラウド作成

青空文庫の作品や他のWebページから取得した文書を使用してワードクラウドを作成してください．

• 提出方法：講師（小池）までメールしてください
• Pythonノートブック（ipynb）形式で作成し，そのファイルを提出してください
• 実習で使用したコードをコピーして使用して良いですが，無関係の部分をコピーしないでください （実習のノートブックに追記せず，新しくファイルを作ってください）
• より良いワードクラウドを作成するために何らかの工夫をしてください

課題2：HuggingFace Transformers

HuggingFace Transformersを使用して，何らかの自然言語処理を行なってください．

• 提出方法：講師（小池）までメールしてください
• Pythonノートブック（ipynb）形式で作成し，そのファイルを提出してください
• 実習で使用したコードをコピーして使用して良いですが，無関係の部分をコピーしないでください （実習のノートブックに追記せず，新しくファイルを作ってください）
• 何らかの工夫を行なってください（異なるモデルを使う，複数のモデルを組み合わせる，ファインチューニングを行う等）