データ利活用とAI

基本の仕組み

100日分を学習に、別の30日分を評価に使います。学習データでは誤差が小さいのに別データで大きいなら、過学習を疑います。

教師あり学習は入力と正解の組から関係を学び、教師なし学習はデータのまとまりなどを見つけます。評価用データを学習へ混ぜないことが、未知のデータでの実力測定につながります。

相関があっても原因とは限りません。気温が上がるとアイスと飲料の売上がともに増えるように、共通の原因で一緒に動くこともあります。

生成AIの中でも、大量の文章で学習した大規模言語モデル（LLM）は文章の生成や要約に使われます。もっともらしい誤りを出すことがあるため、元資料の確認や機密情報を入力しない運用を決めます。

学習方式と評価

教師あり学習は正解付きデータから分類・数値予測を学び、教師なし学習は正解ラベルなしでクラスタリングなどを行います。強化学習は行動と報酬を通じて方策を改善します。生成AIは文章・画像などを作る用途であり、これらの学習方式と同じ分類軸ではありません。

ディープラーニング（深層学習）は、多層のニューラルネットワークを使う機械学習の手法で、画像認識や音声認識、生成AIの基盤に使われます。学習方式とは別の軸であり、教師あり学習などと組み合わせて使います。生成AIがもっともらしい誤りを出力することをハルシネーションといいます。

データは学習用・検証用・評価用に分け、未知のデータに対する性能を確かめます。検証用データは学習中の調整に、評価用データは最後の性能確認に使います。生成AIの出力は事実確認のほか、個人情報・著作権・機密情報の取扱いも確認が必要です。