JDLA Generative AI Test 2024 #2

シラバス

1. 生成AIの技術
   • 特徴
     テキスト、画像、音声など生成モデルに共通する技術的な特徴を俯瞰して理解していること。
     ・確率モデル、ハルシネーション
     大規模言語モデルの基本構造を理解している。
     ・基盤モデル、言語モデル、大規模言語モデル（LLM）、トランスフォーマー、アテンション、GPT-3
     大規模言語モデルにおけるモデルの学習方法を理解している
     ・教師あり学習、自己教師あり学習、事前学習、ファインチェーニング
     大規模言語モデルのアライメントを理解している
     ・アライメント、人間のフィードバックによる学習、インストラクション、チューニング
     大規模言語モデルにおける生成の仕組みを理解している。
     コンテキスト内学習、Zero-Shot、Few-Shot、Chain-of-Thought、サンプリング手法
     大規模言語モデルの性能評価について知っている。
     リーダーボード、ベンチマーク
   • 動向
     テキスト、画像、音声等の生成モデルの技術動向を俯瞰して理解している。
     ・条件付き生成、拡散モデル
     大規模言語モデルのオープン化の動向と原因について理解している
     ・オープンコミュニティ、オープン大規模言語モデル、オープンデータセット、オープンソース、量子化や上流による推論の効率化
     大規模言語モデルに性能を決める要素の動向と原因について理解している。
     ・スケーリング則、データセットのサイズ、データセットの質、モデルのパラメーター数、計算資源の効率化、LoRA、GPU