第4章 後半: バイトの並びと文字、オブジェクト、機械学習の数値型

• バイト列は並べ方の約束があって初めて読め、順序を誤っても例外にならず別の値になる。
• 文字は符号位置、UTF-8 のバイト、画面の一文字が別々の単位で、Python 内部の持ち方とも別である。
• オブジェクトは参照でつながり、保存には復元できる契約が要る。数値型は、ビット数が同じでも精度の割り振りが異なる。

教材の 4.4 節から 4.6 節まで。

4.4.1〜4.4.2 バイトの並びとメモリ

『日本語技術教科書 ボリュームゼロ』の第4章後半は、まず場所と中身の区別から入る。メモリには 1 バイトごとに番号が付いていて、それがアドレスである。番地 100 の箱に 16 進の 12 が入っているなら、箱の位置と中身は、別々に数えるものである。

4 バイトの値 0x12345678 を保存するとき、どの順に並べるかを決めるのがエンディアンだ。大きい桁から置くのがビッグ、小さい桁から置くのがリトルで、日付を年から書くか日から書くかの違いに近い。リトルで作った列を、ビッグで読み直すと 0x78563412 になる。この取り違えは例外を出さず、それらしい別の値が静かに出てくる。そのため、バイト順はデータ形式の約束として決めておく。

Python では、書き換えられない bytes と、書き換えられる bytearray がある。memoryview は複写せずに元の領域を覗く窓で、窓越しに書けば元が変わるが、先に作った複写は変わらない。複写は安全だが容量と運ぶ手間が増え、窓は節約になる代わりに、共有更新と寿命に気を配る必要がある。

4.5.1〜4.5.3 文字の単位と UTF-8

Unicode は文字に共通の番号、符号位置を与える規格で、その番号をバイトの列に直す約束が UTF-8 などの符号化である。両者は別の層だ。画面で一文字に見えるまとまりは書記素クラスタといい、「が」は 1 つの符号位置でも、「か」に濁点を足した 2 つでも書ける。見た目が同じでも列としては不一致なので、正規化で書き方をそろえる。一方、NFKC は全角と半角のような違いまで寄せるので、区別が大切な文章に一律で使うのは危うい。

UTF-8 では、符号位置が 1 から 4 バイトの列になる。「あ」の 0x3042 を 16 ビットで書き、上から 4、6、6 ビットに切って、先頭に印を付けると E3 81 82 の 3 バイトになる。3 バイトの列を 2 バイトで切って復号すると失敗するので、バイト単位の切断は文字の境目を知らない。不正な列を置換文字で埋めれば読み進められるが、元のバイトは戻らず、学習用の文章では傷みを見逃す恐れがある。

Python が文字列を内部に持つ形は、UTF-8 の列とは別物である。実装の事情で一文字の幅が変わるため、内側のサイズと書き出したバイト数は一致しなくてよい。

4.6.1〜4.6.3 オブジェクトと数値型

Python のオブジェクトには、型と値のほかに、同じ物かを見分ける同一性がある。代入は中身の複写ではなく、物に付箋を貼る作業に近い。同じリストに 2 つの名前を付けて片方から変えれば、もう片方からも変わって見える。片方を別のリストへ貼り替えても、もう片方は元の物を指したままである。リストが持つのも実物ではなく参照で、整数のビットが詰まっているわけではない。

保存や転送では、型、長さ、バイト順、文字の符号、形式の版まで取り決める。配置の整列を入れると、1 バイトの種別と 4 バイトの値は詰め物込みで 8 バイトになり、詰めて並べれば 5 バイトで済む。

機械学習で使う 16 ビットの型は、2 つの形に分かれる。float16 は符号 1、指数 5、仮数 10 で細かさに、bfloat16 は符号 1、指数 8、仮数 7 で指数の幅に力を配る。量子化は、細かい値を数少ない代表の値へ割り当てる処理で、刻みが 0.02 なら 0.73 は 36 に丸められ、戻すと 0.72 になる。極端な値に範囲を合わせると、小さな重みの大半は粗い目盛りに入ってしまう。

次は第5章で、こうした値を処理する Python の環境と実行の仕組みを扱う。