blog

TL;DR

  • MinimalGLで同じプロジェクトを別名のEXEへ出力すると、ファイルサイズが増えた。
  • 原因は、出力名ごとに異なるCrinklerのreuseファイル(過去の圧縮探索結果)を読み込んでいたことだった。
  • 元の出力のreuseを別名側へコピーして再出力すると、今回の検証ではEXEのサイズもSHA-256も一致した。

調査のきっかけ

MinimalGLから同じプロジェクトを別のファイル名でEXE出力したところ、元のファイルよりサイズが増える現象に遭遇しました。

シェーダーや出力設定は同じだったため、当初はEXEのファイル名がバイナリへ埋め込まれている可能性を疑いました。しかし調査すると、原因はファイル名そのものではなく、出力名ごとに作られるCrinklerのreuseファイルでした。

この記事では、なぜファイル名を変えただけで圧縮率が変わったように見えたのか、どう切り分けて解決したのかをまとめます。

ファイル名を変えただけで、なぜEXEサイズが変わるのか

元の出力をファイルA.exe、別名で出力したものをファイルB.exeとすると、サイズは次のようになりました。

出力サイズ元の出力との差
ファイルA.exe(元の出力)8,172 bytes―
ファイルB.exe(別名で出力)8,192 bytes+20 bytes

ファイル名を変えただけのつもりなのに、なぜ20 bytes増えたのでしょうか。

両方の.gfx.inlと.snd.inlはSHA-256まで一致していました。つまり、Shader Minifier後のシェーダーとサウンドシェーダーは同一です。

出力名の影響を調べる中で、EXEと一緒に作られる次のreuseファイルは内容が異なっていることに気づきました。

ファイルA.exe.crinkler_reuse.txt
ファイルB.exe.crinkler_reuse.txt

元の出力に対応するファイルA.exe.crinkler_reuse.txtをファイルB.exe.crinkler_reuse.txtとしてコピーし、再出力すると、ファイルB.exeも元と同じ8,172 bytesになりました。サイズだけでなく、EXE全体のSHA-256も次の値で一致しました。

1A941A9BDE949F1F5D382CD42401EF16001514AAD2F12B106F93F23ADDEFB06B

出力名が異なっていても同一のバイナリになったため、今回のサイズ差はファイル名がEXEへ埋め込まれたことによるものではありませんでした。

ファイル名によって、読み込むreuseが変わっていた

Crinklerは、小さなWindows実行ファイル向けの圧縮リンカーです。通常のリンカーと実行ファイル圧縮を一体化し、コードやデータの配置、圧縮モデル、解凍用ハッシュテーブルなどを探索します。

Crinklerへ/REUSEを指定すると、圧縮後に次の情報がテキストファイルへ保存されます。

  • パートの構成
  • パート内のセクション順序
  • 各パートの圧縮モデル
  • 最適化されたハッシュテーブルサイズ

MinimalGLでは出力EXE名を基準にreuseファイル名を作ります。

ファイルA.exe
ファイルA.exe.crinkler_reuse.txt

そのため、別名のEXEへ出力すると別のreuseファイルが選ばれます。入力が同じでも、reuseに保存されたモデルや順序が違えば最終サイズが変わる可能性があります。

reuseファイルはEXEの実行には不要です。削除してもEXEは壊れませんが、次回の圧縮では過去の探索結果を利用できなくなります。

同じ設定でも、圧縮結果が同じとは限らない

MinimalGLはCrinklerを次の設定で呼び出しています。

/REUSE:"ファイルA.exe.crinkler_reuse.txt"
/REUSEMODE:PARTS

Crinkler 3.0のPARTSモードでは、reuseからパート分割を引き継ぎます。そのうえで、セクション順序、各パートの圧縮モデル、ハッシュテーブルサイズを再計算します。

新しい探索結果がreuseに記録された設定より小さければreuseを更新し、改善しなければ以前の設定へ戻します。ORDERTRIESによる順序探索にはランダムな変更が含まれるため、同じ入力・同じ設定で繰り返し出力しても、別の候補が見つかることがあります。実行するたびに必ず小さくなるわけではありません。

つまり、画面上の出力設定だけでは圧縮の条件は揃いません。reuseに保存された探索結果と、その後の探索も最終サイズに影響します。今回のように出力名ごとにreuseが分かれていると、それぞれの探索履歴の違いが「ファイル名による圧縮率の違い」に見えてしまいます。

各モードの正確な動作はCrinkler公式マニュアルに記載されています。

解決:出力名だけでなくreuseの条件も揃える

今回のサイズ増加は、元のファイルAのreuseを、別名で出力したファイルBに対応するreuseファイルへコピーし、再出力することで解消しました。入力を変えずにEXE全体のSHA-256まで一致したことが、原因を切り分ける決め手になりました。

同じ現象に遭遇したら、次の順に確認します。

  1. .gfx.inlと.snd.inlを比較し、圧縮前のシェーダー入力が同じか確認する
  2. 各出力名に対応する.crinkler_reuse.txtの内容を比較する
  3. reuseの控えを取り、同じ内容をそれぞれの出力名に対応するreuseファイルへコピーして再出力する
  4. EXEのサイズとハッシュを比較する

PARTSでは再出力時にも探索が入るため、reuseを揃えれば常にEXEが完全一致するという保証はありません。今回の検証では一致しましたが、探索結果を固定して比較したい場合は/REUSEMODE:ALLを使い、パート、セクション順序、モデル、ハッシュテーブルサイズを引き継ぐ方法があります。

reuseを削除すると過去の探索結果を使わずに圧縮し直せますが、以前と同じサイズが再現されるとは限りません。既存の圧縮結果を引き継ぎたい場合は、EXEだけでなく対応するreuseも残しておきます。

補足:圧縮の探索条件を確認するには

調査の過程で、reuse以外にも圧縮結果に関係する設定を整理しました。

オプション役割
COMPMODE圧縮モデルの推定方法を指定する
HASHTRIES解凍用ハッシュテーブルのサイズ候補を試す回数を指定する
ORDERTRIESセクションの並び順を試す回数を指定する

これらは圧縮時の探索条件です。同じ値を指定しても、reuseやランダムな順序探索の影響までなくなるわけではありません。

MinimalGLではHASHTRIESとORDERTRIESがソースコード上で300に固定されていたため、Export Executable画面にHash triesとOrder triesを追加しました。

まとめ

ファイル名を変えると圧縮率が変わるように見えた原因は、MinimalGLが出力EXE名ごとに異なるCrinklerのreuseファイルを使っていたことでした。reuseを揃えて再出力すると、別名のEXEでもサイズとSHA-256が一致し、今回の疑問を解消できました。

同じプロジェクト・同じ出力設定でも、過去の探索結果まで同じとは限りません。圧縮結果の差を調べるときは、入力やオプションに加えて、どのreuseを読み込んでいるかを確認しましょう。