名前¶

perlfilter - ソースフィルタ

説明¶

この記事は、ほとんど知られていない Perl の機能である ソースフィルタ に 関するものです。 C プリプロセッサが C プログラムのソーステキストをコンパイラが見る前に 変更するように、ソースフィルタはモジュールのプログラム文を Perl が 見る前に変更します。 この記事は、ソースフィルタとは何か、どのように動作するのか、自分自身で 書くにはどうすればいいかについての情報を提供します。

ソースフィルタの本来の目的は、カジュアルな盗み見を防ぐためにプログラム ソースを暗号化するためでした。 これから学ぶように、出来ることはこれだけではありません。 しかしまずは基本からです。

コンセプト¶

Perl インタプリタが Perl スクリプトを実行できるようにする前に、 パースとコンパイルのためにまずファイルをメモリに読み込まなければなりません。 このスクリプト自身が use 文や require 文で他のスクリプトを インクルードしているなら、それらのスクリプトも同様にファイルから読み込む 必要があります。

ここで、Perl パーサと個々のファイルとの論理的な接続を ソースストリーム (source stream) として考えます。 ソースストリームは Perl パーサがファイルを開いたときに作成され、 ソースコードがメモリに読み込まれている間存在し、Perl がファイルを パースし終えたときに破壊されます。 パーサがソースストリーム中に require 文や use 文に出会うと、 新しく異なったストリームがそのファイルのために作成されます。

以下の図は単一のソースストリームを表現していて、左側の Perl スクリプト ファイルから右側の Perl パーサへのソースの流れです。 これは Perl が普通処理する方法です。

    file -------> parser

覚えておくべき重要なポイントが二つあります:

1. Although there can be any number of source streams in existence at any given time, only one will be active.

   同時に任意の数のソースストリームが存在できますが、一つだけが 有効となります。

2. Every source stream is associated with only one file.

   各ソースストリームはただ一つのファイルと関連づけられます。

ソースフィルタは、ソースストリームがパーサに届く前に捕まえて修正する、 特別な種類の Perl モジュールです。 ソースフィルタは以下のようにダイアグラムを変更します:

    file ----> filter ----> parser

これにあまり納得が出来ないなら、コマンドパイプラインの例えを 考えてみてください。 圧縮されたファイル trial.gz に補完されたシェルスクリプトを 考えてみてください。 後述の単純なパイプラインコマンドは展開されたファイルを保管するための 一時ファイルを作ることなくスクリプトを実行します。

    gunzip -c trial.gz | sh

この場合、パイプラインからのデータフローは以下のように表現できます:

    trial.gz ----> gunzip ----> sh

ソースフィルタがあると、スクリプトのテキストを圧縮して、Perl パーサのために 展開するソースフィルタを使います:

     compressed           gunzip
    Perl program ---> source filter ---> parser

フィルタを使う¶

それで、どうやって Perl スクリプトでソースフィルタを使うのでしょう? 先に、ソースフィルタは単に特別な種類のモジュールであると言いました。 その他全ての Perl モジュールと同様、ソースフィルタは use 文で 起動されます。

Perl のソースを実行前に C のプリプロセッサを通したいとします。 たまたまソースフィルタ配布には Filter::cpp と呼ばれる C プリプロセッサ フィルタモジュールが含まれています。

以下は、このフィルタを使うためのサンプルプログラムである cpp_test です。 行番号は、特定の行を参照しやすくするために追加されています。

    1: use Filter::cpp;
    2: #define TRUE 1
    3: $a = TRUE;
    4: print "a = $a\n";

このスクリプトを実行すると、Perl はこのファイルのためのソースストリームを 作成します。 パーサがファイルから行を処理する前、ソースストリームは以下のように なります:

    cpp_test ---------> parser

1 行目の use Filter::cpp で、cpp モジュールをインクルードして インストールします。 全てのソースフィルタはこのようにして動作します。 use 文はコンパイルされてコンパイル時に、ファイルの残りの部分が読み込まれる 前に実行され、背後でソースフィルタに cpp フィルタをくっつけます。 ここでデータフローは以下のようになります:

    cpp_test ----> cpp filter ----> parser

パーサがソースストリームから 2 行目以降を読むにつれて、処理する前に cpp ソースフィルタを通して行が供給されます。 cpp フィルタは単に各行を実際の C プリプロセッサに通します。 C プリプロセッサからの出力はそれからフィルタによってソースストリームに 再挿入されます。

                  .-> cpp --.
                  |         |
                  |         |
                  |       <-'
   cpp_test ----> cpp filter ----> parser

それからパーサは以下のコードを見ます:

    use Filter::cpp;
    $a = 1;
    print "a = $a\n";

フィルタされたコードに use を使ったもう一つのモジュールを含んでいる 場合に何が起きるかを考えてみましょう:

    1: use Filter::cpp;
    2: #define TRUE 1
    3: use Fred;
    4: $a = TRUE;
    5: print "a = $a\n";

cpp フィルタは Fred モジュールのテキストには適用されず、 フィルタが使われているファイル (cpp_test) のテキストにのみ 適用されます。 3 行目の use 文は cpp フィルタに渡されますが、インクルードされる モジュール (Fred) は渡されません。 3 行目がパースされ、4 行目がパースされる前のソースストリームは 以下のようになります:

    cpp_test ---> cpp filter ---> parser (INACTIVE)

    Fred.pm ----> parser

見て分かるように、Fred.pm からソースを読み込むための新しいストリームが 作成されます。 このストリームは Fred.pm を全て読み込むまで有効のままです。 cpp_test のためのソースストリームは存在したままですが、無効に なっています。 パーサが Fred.pm からの読み込みを終了すると、これに関連づけられた ソースストリームは破壊されます。 それから cpp_test のためのソースストリームが再び有効になり、 パーサは cpp_test から 4 行目以降を読み込みます。

一つのファイルに複数のソースフィルタを使うことができます。 同様に、好きなだけ多くのファイルに対して同じフィルタを 再使用することができます。

例えば、uuencode されて圧縮されているソースファイルがある場合、 次のようにして uudecode フィルタと uncompress フィルタを スタックさせることができます:

    use Filter::uudecode; use Filter::uncompress;
    M'XL(".H<US4''V9I;F%L')Q;>7/;1I;_>_I3=&E=%:F*I"T?22Q/
    M6]9*<IQCO*XFT"0[PL%%'Y+IG?WN^ZYN-$'J.[.JE$,20/?K=_[>
    ...

最初の行が処理されると、フローは以下のようになります:

    file ---> uudecode ---> uncompress ---> parser
               filter         filter

データはソースファイルに現れたのと同じ順でフィルタを流れます。 uudecode フィルタは uncompress フィルタの前に現れるので、ソースファイルは 展開される前に uudecode されます。

ソースフィルタを書く¶

独自のソースフィルタを書くには三つの方法があります。 C で書くか、フィルタとして外部プログラムを使うか、Perl でフィルタを 書くかです。 最初の二つについてはあまり詳しくは記述しないので、先にこれらについて 触れます。 Perl でフィルタを書くのが一番便利なので、これに最大のスペースを割きます。

C でソースフィルタを書く¶

利用可能な三つのテクニックのうちの一つ目は、フィルタを完全に C で 書くことです。 作成した外部モジュールは Perl によって提供されるソースフィルタフックと 直接接続されます。

このテクニックの利点は、フィルタの実装を完全に制御できることです。 大きな弱点は、フィルタを書くために必要な複雑性が増すことです - ソースフィルタフックについて理解するだけでなく、Perl の内部に関する ある程度の知識も必要です。 この困難に向かう価値のある数回に一回はソースのスクランブル化を 書くときです。 (Perl がパースする前にソースのスクランブルを解除する) decrypt フィルタは C ソースフィルタの例です (以下の Decryption Filters を参照してください)。

Decryption Filters

(復号フィルタ)

All decryption filters work on the principle of "security through obscurity." Regardless of how well you write a decryption filter and how strong your encryption algorithm is, anyone determined enough can retrieve the original source code. The reason is quite simple - once the decryption filter has decrypted the source back to its original form, fragments of it will be stored in the computer's memory as Perl parses it. The source might only be in memory for a short period of time, but anyone possessing a debugger, skill, and lots of patience can eventually reconstruct your program.

全ての復号フィルタは「不明瞭さによるセキュリティ」の原則に則っています。 どれだけうまく復号フィルタを書いて、どんなに強い暗号化アルゴリズムを 使っても、十分な決意があれば元のソースコードを取得できます。 その理由はとても単純です - 一旦復号フィルタがソースを元の形に戻すと、その 一部は Perl がパースするためにコンピュータのメモリに保管されます。 ソースは短い時間の間だけしかメモリにないかもしれませんが、デバッガ、スキル、 多大な忍耐がある人なら最終的にはプログラムを再構成できます。

That said, there are a number of steps that can be taken to make life difficult for the potential cracker. The most important: Write your decryption filter in C and statically link the decryption module into the Perl binary. For further tips to make life difficult for the potential cracker, see the file decrypt.pm in the source filters distribution.

潜在的なクラッカーに対して物事を難しくするために取るいくつかのステップが あります。 最も重要なのは: 復号フィルタを C で書いて、復号モジュールを Perl バイナリと 静的にリンクすることです。 潜在的なクラッカーに対して物事を難しくするために取るさらなるステップは、 ソースフィルタ配布の decrypt.pm ファイルを参照してください。

独立した実行ファイルとしてソースフィルタとして作成する¶

C でフィルタを書くための代替案は、好みの言語で独立した実行ファイルを 作ることです。 独立した実行ファイルは標準出力から読み込み、何か必要な処理を行い、 フィルタされたデータを標準出力に書き込みます。 Filter::cpp は、独立した実行ファイルとして実行されたソースフィルタの 例です - 実行ファイルは C コンパイラに付いている C プリプロセッサです。

ソースフィルタ配布にはこのタスクを簡単にするための二つのモジュールが あります: Filter::exec と Filter::sh です。 どちらも外部実行ファイルを実行します。 どちらも外部実行ファイルとのデータのやりとりを制御するのにコプロセスを 使います。 (コプロセスの詳細については、Stephens, W.R. による "Advanced Programming in the UNIX Environment." Addison-Wesley, ISBN 0-210-56317-7, 441-445 ページ を参照してください。) 二つの違いは、Filter::exec は外部コマンドを直接起動しますが、 Filter::sh は外部コマンドを起動するためのシェルを起動します。 (Unix は Bourne シェルを使います; NT は cmd シェルを使います。) シェルを起動することにより、シェルのメタ文字とリダイレクト機構を 使えるようになります。

以下は Filter::sh を使ったスクリプトの例です:

    use Filter::sh 'tr XYZ PQR';
    $a = 1;
    print "XYZ a = $a\n";

スクリプトが実行されたときに得られる出力は:

    PQR a = 1

独立した実行ファイルとしてソースフィルタを書くとうまく動作しますが、 小さい性能上のペナルティがあります。 例えば、上述の小さい例を実行すると、Unix の tr コマンドを実行するために 別々のサブプロセスが作られます。 それぞれのフィルタの使用には独自のサブプロセスが必要です。 サブシステムの作成のコストが高いシステムでは、ソースフィルタを作るための その他の選択肢を考えたいかもしれません。

Perl でソースフィルタを書く¶

独自のソースフィルタを作成するためのもっとも簡単でもっとも移植性のある 選択肢は、完全に Perl で書くことです。 これを前述の二つのテクニックと区別するために、ここではこれを Perl ソースフィルタと呼びます。

Perl ソースフィルタの書き方を理解するのを助けるために、学習するための 例が必要です。 以下は rot13 復号を行う完全なソースフィルタです。 (rot13 は、攻撃的な投稿を隠すために Usenet 投稿で使われたとても簡単な 暗号スキームです。 これはそれぞれの英文字を 13 ずらします; 従って A は N に、B は O に、 Z は M になります。)

   package Rot13;

   use Filter::Util::Call;

   sub import {
      my ($type) = @_;
      my ($ref) = [];
      filter_add(bless $ref);
   }

   sub filter {
      my ($self) = @_;
      my ($status);

      tr/n-za-mN-ZA-M/a-zA-Z/
         if ($status = filter_read()) > 0;
      $status;
   }

   1;

全ての Perl ソースフィルタは Perl クラスとして実装され、上述の例と 同じ基本構造を持ちます。

まず、Filter::Util::Call をインクルードして、多くの関数をフィルタの 名前空間にエクスポートします。 上述のフィルタはこれらの関数の内 filter_add() と filter_read() の 二つの関数を使います。

次に、フィルタオブジェクトを作って、import 関数を定義することによって これをソースストリームと結びつけます。 Perl のことを十分知っているなら、 import は use 文でモジュールがインクルードされる旅に自動的に 呼び出されることを知っているでしょう。 これにより、import はフィルタオブジェクトの作成とインストールに 最適の場所と言えます。

例のフィルタでは、オブジェクト ($ref) はその他の Perl オブジェクトと 同じように bless されます。 この例では無名配列を使っていますが、これは必須ではありません。 この例では内容の情報を補完する必要がないので、スカラリファレンスや ハッシュリファレンスでを使うこともできます。 次の節ではコンテキストデータを図示します。

フィルタオブジェクトとソースストリームの関連付けは filter_add() 関数で 行われます。 これはフィルタオブジェクト (今回の場合では $ref) を引数に取って、 これをソースストリームに取り付けます。

最後に、実際にフィルタリングを行うコードがあります。 この種の Perl ソースフィルタのために、フィルタリングの全ては filter() と呼ばれるメソッドで行われます。 (クロージャを使って Perl ソースフィルタを書くことも可能です。 さらなる詳細については Filter::Util::Call マニュアルページを 参照してください。) これは Perl パーサが処理するソースの行が必要になる度に毎回呼び出されます。 filter() メソッドは、filter_read() 関数を使ってソースストリームから 順番に行を読み込みます。

ソースストリームから 1 行が利用可能になったら、filter_read() は 0 より大きいステータス値を返して、$_ に行を追加します。 ステータス値が 0 の場合はファイル末尾を示し、0 より小さい場合は エラーを意味します。 filter 関数自身はステータスを同じ方法で返し、ソースストリームに 書き込みたいフィルタリングされた行を $_ に入れることを 想定されています。 $_ の使い方はほとんどの Perl ソースフィルタの簡潔さを考慮に 入れています。

rot13 フィルタを使うには、ソースファイルを rot13 形式で符号化する 方法が必要です。 以下のスクリプト mkrot13 はそれを行います。

    die "usage mkrot13 filename\n" unless @ARGV;
    my $in = $ARGV[0];
    my $out = "$in.tmp";
    open(IN, "<$in") or die "Cannot open file $in: $!\n";
    open(OUT, ">$out") or die "Cannot open file $out: $!\n";

    print OUT "use Rot13;\n";
    while (<IN>) {
       tr/a-zA-Z/n-za-mN-ZA-M/;
       print OUT;
    }

    close IN;
    close OUT;
    unlink $in;
    rename $out, $in;

これを mkrot13 で暗号化すると:

    print " hello fred \n";

結果は以下のようになります:

    use Rot13;
    cevag "uryyb serq\a";

これを実行すると以下の出力を生成します:

    hello fred

コンテキストを使う: デバッグフィルタ¶

rot13 の例はつまらない例でした。 以下は、もういくつかの機能を見せるための例です。

開発中に Perl スクリプトに大量のデバッグコードを含めておきたいけれども、 リリース製品では利用可能にしたくないとします。 ソースフィルタが解決法を提供します。 例を単純なままにするために、環境変数 DEBUG で制御されるデバッグ出力が ほしいとします。 デバッグコードは、環境変数が存在すれば有効になり、さもなければ 無効になります。

次のように、二つの特殊なマーカー行でデバッグするコードを囲みます:

    ## DEBUG_BEGIN
    if ($year > 1999) {
       warn "Debug: millennium bug in year $year\n";
    }
    ## DEBUG_END

DEBUG 環境変数が存在するとき、フィルタは Perl が DEBUG_BEGIN と DEBUG_END のマーカーの間のコードだけをパースするようにします。 これにより、DEBUG が存在すると、上述のコードはフィルタを変更なしで 通過して渡されます。 マーカー行もそのまま渡されます; Perl パーサはこれらをコメント行として 扱うからです。 DEBUG が設定されていないとき、デバッグコードを無効にする方法が 必要になります。 これを達成する簡単な方法は、二つのマーカーの間の行をコメントに 変換することです:

    ## DEBUG_BEGIN
    #if ($year > 1999) {
    #     warn "Debug: millennium bug in year $year\n";
    #}
    ## DEBUG_END

以下は完全な Debug フィルタです:

    package Debug;

    use strict;
    use warnings;
    use Filter::Util::Call;

    use constant TRUE => 1;
    use constant FALSE => 0;

    sub import {
       my ($type) = @_;
       my (%context) = (
         Enabled => defined $ENV{DEBUG},
         InTraceBlock => FALSE,
         Filename => (caller)[1],
         LineNo => 0,
         LastBegin => 0,
       );
       filter_add(bless \%context);
    }

    sub Die {
       my ($self) = shift;
       my ($message) = shift;
       my ($line_no) = shift || $self->{LastBegin};
       die "$message at $self->{Filename} line $line_no.\n"
    }

    sub filter {
       my ($self) = @_;
       my ($status);
       $status = filter_read();
       ++ $self->{LineNo};

       # deal with EOF/error first
       if ($status <= 0) {
           $self->Die("DEBUG_BEGIN has no DEBUG_END")
               if $self->{InTraceBlock};
           return $status;
       }

       if ($self->{InTraceBlock}) {
          if (/^\s*##\s*DEBUG_BEGIN/ ) {
              $self->Die("Nested DEBUG_BEGIN", $self->{LineNo})
          } elsif (/^\s*##\s*DEBUG_END/) {
              $self->{InTraceBlock} = FALSE;
          }

          # comment out the debug lines when the filter is disabled
          s/^/#/ if ! $self->{Enabled};
       } elsif ( /^\s*##\s*DEBUG_BEGIN/ ) {
          $self->{InTraceBlock} = TRUE;
          $self->{LastBegin} = $self->{LineNo};
       } elsif ( /^\s*##\s*DEBUG_END/ ) {
          $self->Die("DEBUG_END has no DEBUG_BEGIN", $self->{LineNo});
       }
       return $status;
    }

    1;

このフィルタと以前の例との大きな違いは、フィルタオブジェクトの コンテキストデータの使用です。 フィルタオブジェクトはハッシュリファレンスを基礎としていて、フィルタ関数の 呼び出し間のコンテキスト情報の様々な断片を保持するために使われます。 二つを除いた全てのハッシュフィールドはエラー報告のために使われます。 二つの内一番目である Enabled は、デバッグコードが Perl パーサに 与えられるべきかどうかを決定するために使われます。 二番目である InTraceBlock は、フィルタが DEBUG_BEGIN に遭遇したけれども まだ引き続く DEBUG_END 行に出会っていないときに真となります。

コードのほとんどが行っているエラーチェックの全てを無視すると、フィルタの 本質は以下のようになります:

    sub filter {
       my ($self) = @_;
       my ($status);
       $status = filter_read();

       # deal with EOF/error first
       return $status if $status <= 0;
       if ($self->{InTraceBlock}) {
          if (/^\s*##\s*DEBUG_END/) {
             $self->{InTraceBlock} = FALSE
          }

          # comment out debug lines when the filter is disabled
          s/^/#/ if ! $self->{Enabled};
       } elsif ( /^\s*##\s*DEBUG_BEGIN/ ) {
          $self->{InTraceBlock} = TRUE;
       }
       return $status;
    }

警告: C プリプロセッサが C のことを知らないのと同様、Debug フィルタは Perl のことを知りません。 簡単にだませます:

    print <<EOM;
    ##DEBUG_BEGIN
    EOM

そのようなことを置いておいても、それほどでもない量のコードで多くのことが 達成できるのが分かります。

結び¶

これで、ソースフィルタとは何かについてよりよく理解できたと思います; さらにこれらの可能性のある使い方を持っているかもしれません。 もしソースフィルタで遊んでみたいと思っているけれどもちょっとした インスピレーションが必要なら、以下はデバッグフィルタに加えることが出来る 追加機能です。

まずは簡単なものです。 デバッグコードをオールオアナッシングにするのではなく、どのブロックを デバッグコードとして使うかを制御できるようにすればもっと便利です。 それぞれのデバッグブロックを識別できるように文法に文法を 拡張してみてください。 DEBUG 環境変数の内容はどのブロックを使うかを制御するのに使えます。

個々のブロックを識別できるようになったら、ネストできるように してみてください。 これも難しくはありません。

これはデバッグフィルタに関係ない面白いアイデアです。 今のところ Perl サブルーチンは公式な引数リストに限定的に対応しています。 パラメータの数とその型は指定できますが、自力で @_ 配列から取り出す 必要があります。 名前付き引数リストを使えるようなソースフィルタを書きましょう。 そのようなフィルタは以下のようなものを:

    sub MySub ($first, $second, @rest) { ... }

次のように変更します:

    sub MySub($$@) {
       my ($first) = shift;
       my ($second) = shift;
       my (@rest) = @_;
       ...
    }

最後に、本当の挑戦を好むなら、本格的な Perl マクロプリプロセッサを ソースフィルタとして書いてみてください。 C プリプロセッサやその他のマクロプロセッサから便利な機能を 借りてきてください。 トリッキーなところは、Perl の文法のどれくらいの知識をフィルタに持たせるかを 選ぶところです。

制限¶

ソースフィルタは文字列レベルでしか動作しないので、その場でソースコードを 変換する能力はとても制限されています。 コメント、クォートされた文字列、ヒヤドキュメントは検出できず、実際の パーサの代わりにはなりません。 ソースフィルタの唯一の安定した使用法は、暗号化、圧縮、バイトローダとして バイナリコードをソースコードに戻すことです。

例えば、Switch での制限を参照してください; これは、ソースフィルタを使っているために、文字列 eval の中や、 生の /.../ 区切り文字で指定されて //x 修飾子がなく、組み込みの改行を含む 正規表現の存在を、除算演算子 / で始まるコードの塊と区別できません。 回避策として、そのようなパターンでは m/.../ や m?...? を使う 必要があります。 また、生の ?...? 区切り文字で指定された正規表現が存在すると不思議なエラーが 起きることがあります。 回避策は代わりに m?...? を使うことです。 http://search.cpan.org/perldoc?Switch#LIMITATIONS を参照してください。

現在のところ __DATA__ ブロックの中の内容はフィルタリングされません。

現在のところ内部バッファの長さは 32 ビットのみに制限されています。

注意するべきこと¶

Some Filters Clobber the DATA Handle

(一部のフィルタは DATA ハンドルを上書きします)

Some source filters use the DATA handle to read the calling program. When using these source filters you cannot rely on this handle, nor expect any particular kind of behavior when operating on it. Filters based on Filter::Util::Call (and therefore Filter::Simple) do not alter the DATA filehandle, but on the other hand totally ignore the text after __DATA__.

一部のソースフィルタは、呼び出したプログラムを読み込むために DATA ハンドルを使います。 これらのソースフィルタを使うときには、このハンドルに依存したり、これを 操作したときに何らかの特定の振る舞いを想定できません。 Filter::Util::Call (従って Filter::Simple) を基礎としたフィルタは DATA ファイルハンドルを変更しませんが、一方、 __DATA__ の後のテキストは完全に無視されます。

必要なもの¶

ソースフィルタディストリビューションは CPAN の以下から利用可能です

    CPAN/modules/by-module/Filter

Perl 5.8 から、Filter::Util::Call (ソースフィルタ配布のコアの部分) は 標準 Perl 配布の一部です。 また、Damian Conway によるより親しみやすいインターフェースである Filter::Simple も含まれています。

作者¶

Paul Marquess <[email protected]>

Reini Urban <[email protected]>

Copyrights¶

The first version of this article originally appeared in The Perl Journal #11, and is copyright 1998 The Perl Journal. It appears courtesy of Jon Orwant and The Perl Journal. This document may be distributed under the same terms as Perl itself.