GPT-3が足し算を覚えない
GPT-3はOpenAI（Facebook系の企業）が作ったNLP（自然言語処理）向けの言語モデルだ。文章作成や翻訳がうまくできるので評価されている。OpenAIの人が2020に書いた論文 "Language models are fewshot lernaers" の中で2桁の足し算はまあまあできるけど、桁数が多くなるとできないんだよねーと述べている。正直でよろしい。以下の表だ。
2桁までは足し算と引き算はまあまあできているが、3桁だと少々怪しくなり、4桁以上はほぼできない。人間の子供だと2桁の足し算を筆算でできるようになると、桁数がいくら増えてもできる。それは人間の子供が数の概念と足し算のルールを学習しているからだ。このような概念の学習をメタ学習と言うが、GPT-3にはそれはできないようだ。
GPT-3のネットワーク構造を眺めてみると、定型のブロック構造を重ねて大規模化している。しかし、その定型ブロック内にメタ学習ができるようになる仕組みはない。大規模化してもそれは同じ。だからGPT-3のようなアプローチでいくら大規模化しても、人間の子供のようにメタ学習できるようにはならない。GPT-3はNLP分野の人向けの特化型AIの一種だ。それ以上でもそれ以下でもない。