✦ 機械学習 DNN の不思議を前にして
（エッセイ風・駄文仕立て）
機械学習の本を開くと、必ず出てくるあの「係数だらけの図」。入力があって、隠れ層があって、出力があって、矢印がびっしり。
「教師あり学習で、正しい出力が1、他は0になるように係数を調整します」と、さらっと書いてある。
さらっと書くなよ、と言いたくなる。
誤差逆伝播法？勾配？損失関数？はいはい、言葉はわかる。だが、わかるのと納得するのは別の話である。
✦ MNIST の“あの問題”
0を学習しました。次に1を学習します。その次に2を学習します。
……と、ここまではいい。
だが、5を学習するときに係数をいじったら、せっかく2でうまくいっていた係数が壊れるのではないか。
これがワタクシの最大の疑問であった。
「いや、壊れますよ」と、DNNは平然としている。
壊れるのだ。壊れるけれど、また直すのだ。直すというより、全体を“よりマシな方向”に押し込むのだ。
理屈で考えると破綻している。だが、破綻しているからこそ、何度も何度も計算して、“収束”という名の祈りを捧げるのである。
✦ 教科書は成功例しか載せない
教科書は、うまくいった例しか載せない。「はい、これで収束しました」と、当然のように書いてある。
だが、現実のDNNはそんなに素直ではない。収束しないこともある。局所解に落ちることもある。途中で気が変わったように振る舞うこともある。
人間の学習より気まぐれである。
✦ 理屈ではなく、シミュレーションで理解する
あるとき、ワタクシは気づいた。「理屈でわからんのなら、シミュレーションで理解すればよい」
そう発想を切り替えた瞬間、DNNというものが急に“生き物”のように見えてきた。
理屈で説明できない動きをする。だが、何度も試すと、なんとなく“そういうものか”と腑に落ちる。
DNNとは、理屈で理解する対象ではなく、観察し、試し、収束を祈る対象なのだ。
そう思ったとき、ワタクシの理解は一歩進んだ気がしたのでございますじゃ。
原案・ワタクシ、整形・Copilot先生」
こういうの面白いからいろいろためそうっと(笑)
だって ひまだし いや、だって にんげんだもの byニセみつほ
