package with names like C (for lc() and lcfirst()), C (for the first character in ucfirst()), and C (for uc(), and the rest of the characters in ucfirst()). =end original 同様に、lc()、lcfirst()、uc()、ucfirst() (あるいはその文字列組み込み版)であなた自身の対応関係を定義することもできます。原則はユーザー定義文字特性の場合と似ています: C (lc() と lcfirst()用), C (ucfirst() の最初の文字用), C (uc() 用と ucfirst() の残りの文字用) のような名前のサブルーチンを C

パッケージで定義します。 =begin original The string returned by the subroutines needs now to be three hexadecimal numbers separated by tabulators: start of the source range, end of the source range, and start of the destination range. For example: =end original サブルーチンから返される文字列はタブで区切られた 3 つの 16 進数を必要とします: ソースの範囲の始まり、ソースの範囲の終わり、そしてデスティネーション範囲の始まりです。例を挙げましょう: sub ToUpper { return </F. The mapping data is returned as the here-document, and the C are special exception mappings derived from <$Config{privlib}>/F. The C and C mappings that one can see in the directory are not directly user-accessible, one can use either the C module, or just match case-insensitively (that's when the C mapping is used). =end original (真剣なハッカー専用) デフォルトのマッピングを内省したいのなら、 C<$Config{privlib}>/F というディレクトリにデータを見つけ出すことができます。マッピングデータはヒアドキュメントとして返され、C は C<$Config{privlib}>/F から派生した特殊な例外マッピングです。そのディレクトリで見つけることのできる C と C のマッピングはユーザーがダイレクトにアクセスできず、C モジュールを使うか大小文字を無視してマッピングします(C マッピングが使われているとき)。 =begin original A final note on the user-defined case mappings: they will be used only if the scalar has been marked as having Unicode characters. Old byte-style strings will not be affected. =end original ユーザー定義の大文字・小文字の対応関係に関する最後の注意: これらはスカラが Unicode 文字としてマークされているときにのみ使われます。古いバイト形式の文字列には影響を及ぼしません。 =head2 Character Encodings for Input and Output (入出力のための文字エンコーディング) =begin original See L. =end original L を参照してください。 =head2 Unicode Regular Expression Support Level (Unicode 正規表現対応レベル) =begin original The following list of Unicode support for regular expressions describes all the features currently supported. The references to "Level N" and the section numbers refer to the Unicode Technical Standard #18, "Unicode Regular Expressions", version 11, in May 2005. =end original 以下に挙げるリストは、現在対応している全ての機能を記述する、正規表現のための Unicode 対応のリストです。 "Level N" に対する参照とセクション番号は Unicode Technical Standard #18, "Unicode Regular Expressions", version 11, in May 2005 を参照しています。 =over 4 =item * Level 1 - Basic Unicode Support RL1.1 Hex Notation - done [1] RL1.2 Properties - done [2][3] RL1.2a Compatibility Properties - done [4] RL1.3 Subtraction and Intersection - MISSING [5] RL1.4 Simple Word Boundaries - done [6] RL1.5 Simple Loose Matches - done [7] RL1.6 Line Boundaries - MISSING [8] RL1.7 Supplementary Code Points - done [9] [1] \x{...} [2] \p{...} \P{...} [3] supports not only minimal list (general category, scripts, Alphabetic, Lowercase, Uppercase, WhiteSpace, NoncharacterCodePoint, DefaultIgnorableCodePoint, Any, ASCII, Assigned), but also bidirectional types, blocks, etc. (see L) [4] \d \D \s \S \w \W \X [:prop:] [:^prop:] [5] can use regular expression look-ahead [a] or user-defined character properties [b] to emulate set operations [6] \b \B [7] note that Perl does Full case-folding in matching, not Simple: for example U+1F88 is equivalent with U+1F00 U+03B9, not with 1F80. This difference matters for certain Greek capital letters with certain modifiers: the Full case-folding decomposes the letter, while the Simple case-folding would map it to a single character. [8] should do ^ and $ also on U+000B (\v in C), FF (\f), CR (\r), CRLF (\r\n), NEL (U+0085), LS (U+2028), and PS (U+2029); should also affect <>, $., and script line numbers; should not split lines within CRLF [c] (i.e. there is no empty line between \r and \n) [9] UTF-8/UTF-EBDDIC used in perl allows not only U+10000 to U+10FFFF but also beyond U+10FFFF [d] =begin original [a] You can mimic class subtraction using lookahead. For example, what UTS#18 might write as =end original [a] class subtraction を先読みを使って模倣することができます。たとえば、以下の UTR #18 は [{Greek}-[{UNASSIGNED}]] =begin original in Perl can be written as: =end original 以下のように Perl で記述できます: (?!\p{Unassigned})\p{InGreekAndCoptic} (?=\p{Assigned})\p{InGreekAndCoptic} =begin original But in this particular example, you probably really want =end original しかし、この特定の例では、あなたが実際に望んでいたのは次のものでしょう \p{GreekAndCoptic} =begin original which will match assigned characters known to be part of the Greek script. =end original これは Greek 用字の一部として知られている assigned character にマッチします。 =begin original Also see the Unicode::Regex::Set module, it does implement the full UTS#18 grouping, intersection, union, and removal (subtraction) syntax. =end original 同様に Unicode::Regex::Set モジュールを参照してください。これは UTR #18のグルーピング、intersection、union, removal(substraction)構文をフルに実装しています。 =begin original [b] '+' for union, '-' for removal (set-difference), '&' for intersection (see L) =end original [b] 結合のためには '+'、除去(差集合)のためには '-'、共通集合のためには '&' です (L を参照してください) =begin original [c] Try the C<:crlf> layer (see L). =end original [c] C<:crlf> 層を試してください (L を参照してください)。 =begin original [d] Avoid C (or say C) to allow U+FFFF (C<\x{FFFF}>). =end original [d] U+FFFF (C<\x{FFFF}>) を許可するために、C をしないでください (または C としてください)。 =item * Level 2 - Extended Unicode Support RL2.1 Canonical Equivalents - MISSING [10][11] RL2.2 Default Grapheme Clusters - MISSING [12][13] RL2.3 Default Word Boundaries - MISSING [14] RL2.4 Default Loose Matches - MISSING [15] RL2.5 Name Properties - MISSING [16] RL2.6 Wildcard Properties - MISSING [10] see UAX#15 "Unicode Normalization Forms" [11] have Unicode::Normalize but not integrated to regexes [12] have \X but at this level . should equal that [13] UAX#29 "Text Boundaries" considers CRLF and Hangul syllable clusters as a single grapheme cluster. [14] see UAX#29, Word Boundaries [15] see UAX#21 "Case Mappings" [16] have \N{...} but neither compute names of CJK Ideographs and Hangul Syllables nor use a loose match [e] =begin original [e] C<\N{...}> allows namespaces (see L). =end original [e] C<\N{...}> は名前空間を許可します (L を参照してください)。 =item * Level 3 - Tailored Support RL3.1 Tailored Punctuation - MISSING RL3.2 Tailored Grapheme Clusters - MISSING [17][18] RL3.3 Tailored Word Boundaries - MISSING RL3.4 Tailored Loose Matches - MISSING RL3.5 Tailored Ranges - MISSING RL3.6 Context Matching - MISSING [19] RL3.7 Incremental Matches - MISSING ( RL3.8 Unicode Set Sharing ) RL3.9 Possible Match Sets - MISSING RL3.10 Folded Matching - MISSING [20] RL3.11 Submatchers - MISSING [17] see UAX#10 "Unicode Collation Algorithms" [18] have Unicode::Collate but not integrated to regexes [19] have (?<=x) and (?=x), but look-aheads or look-behinds should see outside of the target substring [20] need insensitive matching for linguistic features other than case; for example, hiragana to katakana, wide and narrow, simplified Han to traditional Han (see UTR#30 "Character Foldings") =back =head2 Unicode Encodings (Unicode のエンコーディング) =begin original Unicode characters are assigned to I

, which are abstract
numbers.  To use these numbers, various encodings are needed.

=end original

Unicode 文字は抽象的な数値である I<符号位置> にアサインされています。
これらの数値を使うために、さまざまなエンコーディングが必要となります。

=over 4

=item *

UTF-8

=begin original

UTF-8 is a variable-length (1 to 6 bytes, current character allocations
require 4 bytes), byte-order independent encoding. For ASCII (and we
really do mean 7-bit ASCII, not another 8-bit encoding), UTF-8 is
transparent.

=end original

UTF-8 は可変長(1 から 6 バイト; 現在の文字配置では 4 バイトを要求します)で、
バイトの並び順に依存しないエンコーディングです。
ASCII(ここでは 7-bit ASCII のことで、他の 8-bit エンコーディングのことでは
ありません)と UTF-8 は透過です。

=begin original

The following table is from Unicode 3.2.

=end original

以下のテーブルは Unicode 3.2 のものです。

 Code Points            1st Byte  2nd Byte  3rd Byte  4th Byte

   U+0000..U+007F       00..7F
   U+0080..U+07FF       C2..DF    80..BF
   U+0800..U+0FFF       E0        A0..BF    80..BF
   U+1000..U+CFFF       E1..EC    80..BF    80..BF
   U+D000..U+D7FF       ED        80..9F    80..BF
   U+D800..U+DFFF       ******* ill-formed *******
   U+E000..U+FFFF       EE..EF    80..BF    80..BF
  U+10000..U+3FFFF      F0        90..BF    80..BF    80..BF
  U+40000..U+FFFFF      F1..F3    80..BF    80..BF    80..BF
 U+100000..U+10FFFF     F4        80..8F    80..BF    80..BF

=begin original

Note the C in C, the C<80..9F> in
C, the C<90..B>F in C, and the
C<80...8F> in C.  The "gaps" are caused by legal
UTF-8 avoiding non-shortest encodings: it is technically possible to
UTF-8-encode a single code point in different ways, but that is
explicitly forbidden, and the shortest possible encoding should always
be used.  So that's what Perl does.

=end original

C の中の C、C の中の C<80..9F>、
C の中の C<90..BF>、C の中の
C<80...8F> に注意してください。
この「隙間」は、正当な UTF-8 が最短でないエンコードを避けるために
あります: 技術的には UTF-8 エンコードは一つの符号位置を複数の方法で
表すことができますが、これは明示的に禁止されていて、可能な限り最短の
エンコードが常に使われます。
従って、Perl もそうします。

=begin original

Another way to look at it is via bits:

=end original

これを見るもう一つの方法はビット単位で見ることです:

 Code Points                    1st Byte   2nd Byte  3rd Byte  4th Byte

                    0aaaaaaa     0aaaaaaa
            00000bbbbbaaaaaa     110bbbbb  10aaaaaa
            ccccbbbbbbaaaaaa     1110cccc  10bbbbbb  10aaaaaa
  00000dddccccccbbbbbbaaaaaa     11110ddd  10cccccc  10bbbbbb  10aaaaaa

=begin original

As you can see, the continuation bytes all begin with C<10>, and the
leading bits of the start byte tell how many bytes the are in the
encoded character.

=end original

見ての通り、後続バイトはすべて C<10> から始まっていて、開始バイトの
先行ビットはエンコードされた文字がどのくらいの長さであるかを示しています。

=item *

UTF-EBCDIC

=begin original

Like UTF-8 but EBCDIC-safe, in the way that UTF-8 is ASCII-safe.

=end original

UTF-8 と似ていますが、UTF-8 が ASCII-safe であるように EBCDIC-safe です。

=item *

=begin original

UTF-16, UTF-16BE, UTF-16LE, Surrogates, and BOMs (Byte Order Marks)

=end original

UTF-16, UTF-16BE, UTF-16LE, サロゲート, BOM (Byte Order Marks)

=begin original

The followings items are mostly for reference and general Unicode
knowledge, Perl doesn't use these constructs internally.

=end original

以下の項目はほとんど参照および一般的な Unicode 知識のためのもので、
Perl はこれらの構造を内部で使っていません。

=begin original

UTF-16 is a 2 or 4 byte encoding.  The Unicode code points
C are stored in a single 16-bit unit, and the code
points C in two 16-bit units.  The latter case is
using I, the first 16-bit unit being the I, and the second being the I.

=end original

UTF-16 は 2 バイトもしくは 4 バイトのエンコーディングです。
C の範囲の Unicode の符号位置はひとつの 16 ビット
ユニットに収められ、C の範囲の符号位置は 2 つの
16 ビットユニットに収められます。
後者をサロゲート(surrogates) と呼びます。
最初の 16 ビットユニットは I で、二番目は
I となります。

=begin original

Surrogates are code points set aside to encode the C
range of Unicode code points in pairs of 16-bit units.  The I are the range C, and the I
are the range C.  The surrogate encoding is

=end original

サロゲートは Unicode の符号位置の C の範囲を
16 ビットユニットのペアで表現する集合です。
I は C の範囲で、I は
C の範囲です。
サロゲートのエンコーディングは

	$hi = ($uni - 0x10000) / 0x400 + 0xD800;
	$lo = ($uni - 0x10000) % 0x400 + 0xDC00;

=begin original

and the decoding is

=end original

であり、デコードは以下のようなものです

	$uni = 0x10000 + ($hi - 0xD800) * 0x400 + ($lo - 0xDC00);

=begin original

If you try to generate surrogates (for example by using chr()), you
will get a warning if warnings are turned on, because those code
points are not valid for a Unicode character.

=end original

(たとえば chr() を使って)サロゲートを生成しようとしたならば、
警告が有効であれば警告が発生するでしょう。
なぜなら、そういった符号位置は Unicode 文字としては正しいものではないからです。

=begin original

Because of the 16-bitness, UTF-16 is byte-order dependent.  UTF-16
itself can be used for in-memory computations, but if storage or
transfer is required either UTF-16BE (big-endian) or UTF-16LE
(little-endian) encodings must be chosen.

=end original

16-bitness のため、UTF-16 はバイトの並び順に依存します。
UTF-16 それ自身はメモリ内の計算に使うことができますが、格納や転送の際には
UTF-16BE (ビッグエンディアン)か UTF-16LE (リトルエンディアン)の
いずれかのエンコーディングを選択しなければなりません。

=begin original

This introduces another problem: what if you just know that your data
is UTF-16, but you don't know which endianness?  Byte Order Marks, or
BOMs, are a solution to this.  A special character has been reserved
in Unicode to function as a byte order marker: the character with the
code point C is the BOM.

=end original

このことは別の問題を引き起こします: あなたのデータが UTF-16 であることだけを
知っていて、そのバイト並び順を知らなかったとしたら?
バイト順マーク (Byte Order Marks)、略して BOM はこれを解決します。
バイト並びのマーカーとしての機能のために Unicode では特殊な文字が
予約されています: その文字は符号位置の C です。

=begin original

The trick is that if you read a BOM, you will know the byte order,
since if it was written on a big-endian platform, you will read the
bytes C<0xFE 0xFF>, but if it was written on a little-endian platform,
you will read the bytes C<0xFF 0xFE>.  (And if the originating platform
was writing in UTF-8, you will read the bytes C<0xEF 0xBB 0xBF>.)

=end original

このトリックは、BOM を読み込んだときにバイト順がわかるということです。
ビッグエンディアンのプラットフォームで書かれたものならなら
C<0xFE 0xFF> を読み出し、リトルエンディガンのプラットフォームで
書かれたものなら C<0xFF 0xFE> を読み出します。
(そしてもし元のプラットフォームで UTF-8 で書かれたものならば
C<0xEF 0xBB 0xBF> というバイト列を読むことになるでしょう。)

=begin original

The way this trick works is that the character with the code point
C is guaranteed not to be a valid Unicode character, so the
sequence of bytes C<0xFF 0xFE> is unambiguously "BOM, represented in
little-endian format" and cannot be C, represented in big-endian
format".

=end original

このトリックがうまくいくのは符号位置 C の文字は正当な
Unicode 文字でないということによって、C<0xFF 0xFE> という並びは紛れなく
"リトルエンディアンフォーマットの BOM" であって
"ビッグエンディアンの C" とはならないのです。

=item *

UTF-32, UTF-32BE, UTF-32LE

=begin original

The UTF-32 family is pretty much like the UTF-16 family, expect that
the units are 32-bit, and therefore the surrogate scheme is not
needed.  The BOM signatures will be C<0x00 0x00 0xFE 0xFF> for BE and
C<0xFF 0xFE 0x00 0x00> for LE.

=end original

UTF-32 ファミリーは UTF-16 ファミリーと良く似ていますが、ユニットが
32 ビットで、そのためサロゲート方式の必要がないという点が異なります。
BOM シグネチャは BE では C<0x00 0x00 0xFE 0xFF> に、
LE では C<0xFF 0xFE 0x00 0x00> になります。

=item *

UCS-2, UCS-4

=begin original

Encodings defined by the ISO 10646 standard.  UCS-2 is a 16-bit
encoding.  Unlike UTF-16, UCS-2 is not extensible beyond C,
because it does not use surrogates.  UCS-4 is a 32-bit encoding,
functionally identical to UTF-32.

=end original

ISO 10646 標準で定義されているエンコーディングです。
UCS-2 は 16 ビットエンコーディングです。
UTF-16 とは異なり、UCS-2 は C を超えた範囲に拡張できません。
これはサロゲートを使わないためです。
UCS-4 は 32 ビットエンコーディングで、機能的には UTF-32 と同じです。

=item *

UTF-7

=begin original

A seven-bit safe (non-eight-bit) encoding, which is useful if the
transport or storage is not eight-bit safe.  Defined by RFC 2152.

=end original

7 ビットセーフ(非 8 ビット)エンコーディングで、8 ビットセーフでない
転送や格納に便利です。
RFC 2152 によって定義されています。

=back

=head2 Security Implications of Unicode

(Unicode のセキュリティへの影響)

=over 4

=item *

=begin original

Malformed UTF-8

=end original

不正な UTF-8

=begin original

Unfortunately, the specification of UTF-8 leaves some room for
interpretation of how many bytes of encoded output one should generate
from one input Unicode character.  Strictly speaking, the shortest
possible sequence of UTF-8 bytes should be generated,
because otherwise there is potential for an input buffer overflow at
the receiving end of a UTF-8 connection.  Perl always generates the
shortest length UTF-8, and with warnings on Perl will warn about
non-shortest length UTF-8 along with other malformations, such as the
surrogates, which are not real Unicode code points.

=end original

残念ながら、UTF-8 の仕様ではひとつの Unicode 文字の入力から
何バイトのエンコードされた出力として解釈するのかについていくらかの
余地があります。
厳密にいえば、可能な限り最も短い UTF-8 バイト列が生成されるべきです。
なぜなら、そうしないと UTF-8 コネクションの終わりにおいて、入力バッファが
オーバーフローする可能性があるからです。
Perl は常に最も短い長さの UTF-8 を生成し、本当の Unicode の符号位置でない
サロゲートのような不正な形式の最短でない UTF-8 に関して警告を発します。

=item *

=begin original

Regular expressions behave slightly differently between byte data and
character (Unicode) data.  For example, the "word character" character
class C<\w> will work differently depending on if data is eight-bit bytes
or Unicode.

=end original

正規表現はバイトデータと文字(Unicode)データとでまったく異なる
振る舞いをします。
たとえば、単語文字("word character")クラス C<\w> はそのデータが
8 ビットバイトか Unicode かに依存して異なる働きをします。

=begin original

In the first case, the set of C<\w> characters is either small--the
default set of alphabetic characters, digits, and the "_"--or, if you
are using a locale (see L), the C<\w> might contain a few
more letters according to your language and country.

=end original

第一の場合、C<\w> 文字の集合は相対的に小さいものです -- アルファベット、
数字、そして "_" のデフォルト集合 -- もしくはロケール(L を参照)を
使っているのであれば、C<\w> はあなたの使っている言語や国に応じていくつかの
文字が増えているかもしれません。

=begin original

In the second case, the C<\w> set of characters is much, much larger.
Most importantly, even in the set of the first 256 characters, it will
probably match different characters: unlike most locales, which are
specific to a language and country pair, Unicode classifies all the
characters that are letters I as C<\w>.  For example, your
locale might not think that LATIN SMALL LETTER ETH is a letter (unless
you happen to speak Icelandic), but Unicode does.

=end original

第二の場合、C<\w> の文字集合は相対的に大きなものになります。
最も重要なことは、最初の 256 文字の集合にあってさえ異なる文字と
マッチする可能性があるということです: 言語と国のペアで指定される
大部分のロケールと異なり、Unicode のクラス分けは I<どこかにある>
すべての文字を C<\w> に属するものとします。
たとえば、あなたの使っているロケールは LATIN SMALL LETTER ETH が
(アイスランド語を使っていない限り)属していないとみなしているでしょうが、
Unicode は属するものとしてみなすのです。

=begin original

As discussed elsewhere, Perl has one foot (two hooves?) planted in
each of two worlds: the old world of bytes and the new world of
characters, upgrading from bytes to characters when necessary.
If your legacy code does not explicitly use Unicode, no automatic
switch-over to characters should happen.  Characters shouldn't get
downgraded to bytes, either.  It is possible to accidentally mix bytes
and characters, however (see L), in which case C<\w> in
regular expressions might start behaving differently.  Review your
code.  Use warnings and the C pragma.

=end original

すでに述べている通り、Perl は二つの世界のそれぞれに片方の足
(二つのひづめ?) を突っ込んでいます: 古いバイトの世界と新しい文字の世界で、
必要に応じてバイトから文字に昇格します。
もしあなたの古いコードが明示的に Unicode を使っていないのなら、文字への
切り替えが自動的になされることはありません。
文字はバイトにダウングレードされるべきではありません。
偶発的にバイトと文字が混じる可能性がありますが(L を参照)、
そのような場合正規表現中の C<\w> は異なるふるまいをするかもしれません。
あなたのコードをレビューしてください。
warnings と C プラグマを使ってください。

=back

=head2 Unicode in Perl on EBCDIC

(EBCDIC 上の Perl での Unicode)

=begin original

The way Unicode is handled on EBCDIC platforms is still
experimental.  On such platforms, references to UTF-8 encoding in this
document and elsewhere should be read as meaning the UTF-EBCDIC
specified in Unicode Technical Report 16, unless ASCII vs. EBCDIC issues
are specifically discussed. There is no C pragma or
":utfebcdic" layer; rather, "utf8" and ":utf8" are reused to mean
the platform's "natural" 8-bit encoding of Unicode. See L
for more discussion of the issues.

=end original

EBCDIC プラットフォームでの Unicode の扱い方は未だ実験的です。
このようなプラットフォームでは、この文書やその他での
UTF-8 エンコーディングへの言及は、特に ASCII 対 EBCDIC 問題について
議論されている場合でない限りは、Unicode Technical Report 16 で
定義されている UTF-EBCDIC を意味するものとして読むべきです。
C プラグマや ":utfebcdic" 層はありません;
代わりに、"utf8" と ":utf8" が、そのプラットフォームの「自然な」
Unicode の 8 ビットエンコーディングを意味するように再利用されています。
この問題に関する更なる議論については L を参照してください。

=head2 Locales

(ロケール)

=begin original

Usually locale settings and Unicode do not affect each other, but
there are a couple of exceptions:

=end original

通常ロケールの設定と Unicode は互いに影響を及ぼすことはありませんが、
いくつかの例外があります:

=over 4

=item *

=begin original

You can enable automatic UTF-8-ification of your standard file
handles, default C layer, and C<@ARGV> by using either
the C<-C> command line switch or the C environment
variable, see L for the documentation of the C<-C> switch.

=end original

デフォルトの C 層や C<@ARGV> の標準ファイルハンドルの
自動的な UTF-8 化を、C<-C> コマンドラインスイッチか
環境変数 C によって有効にできます。
C<-C> スイッチについての説明は L を参照してください。

=item *

=begin original

Perl tries really hard to work both with Unicode and the old
byte-oriented world. Most often this is nice, but sometimes Perl's
straddling of the proverbial fence causes problems.

=end original

Perl は Unicode と古いバイト指向の世界の両方で働くために苦労しています。
ほとんどの場合はうまくいきますが、ときには Perl が二股をかけていることが
問題を引き起こすこともあります。

=back

=head2 When Unicode Does Not Happen

(Unicode ではない場合)

=begin original

While Perl does have extensive ways to input and output in Unicode,
and few other 'entry points' like the @ARGV which can be interpreted
as Unicode (UTF-8), there still are many places where Unicode (in some
encoding or another) could be given as arguments or received as
results, or both, but it is not.

=end original

Perl には入出力を Unicode で行うための多数の方法があり、
@ARGV のように Unicode (UTF-8) として解釈できるようなその他の
「エントリポイント」はほとんどない一方、(何らかのエンコーディングで)
Unicode が引数として与えられたり結果として返されるべきにも関わらず、
そうなっていない場所も未だ多くあります。

=begin original

The following are such interfaces.  For all of these interfaces Perl
currently (as of 5.8.3) simply assumes byte strings both as arguments
and results, or UTF-8 strings if the C pragma has been used.

=end original

以下に挙げるのはそのようなインターフェースです。
これらすべてが現在の Perl(5.8.3) では単純に引数と戻り値の両方が
バイト文字列か、C プラグマが使われていれば UTF-8 文字列で
あると仮定しています。

=begin original

One reason why Perl does not attempt to resolve the role of Unicode in
this cases is that the answers are highly dependent on the operating
system and the file system(s).  For example, whether filenames can be
in Unicode, and in exactly what kind of encoding, is not exactly a
portable concept.  Similarly for the qx and system: how well will the
'command line interface' (and which of them?) handle Unicode?

=end original

このようなケースにおいて、Perl がなぜ Unicode による解決を
しないのかの理由の一つは、答えがオペレーティングシステムや
ファイルシステムに強く依存しているからです。
たとえば、ファイル名が Unicode で記述できてエンコーディングが
合っていたとしてもそれは移植性のあるコンセプトではないのです。
同様なことが qx や system にも言えます:
「コマンドラインインターフェース」は Unicode をどのように
扱うのでしょうか?

=over 4

=item *

chdir, chmod, chown, chroot, exec, link, lstat, mkdir, 
rename, rmdir, stat, symlink, truncate, unlink, utime, -X

=item *

%ENV

=item *

=begin original

glob (aka the <*>)

=end original

glob (または <*>)

=item *

open, opendir, sysopen

=item *

=begin original

qx (aka the backtick operator), system

=end original

qx (または逆クォート演算子), system

=item *

readdir, readlink

=back

=head2 Forcing Unicode in Perl (Or Unforcing Unicode in Perl)

(Unicode を Perl に強制する (あるいは Unicode でないことを Perl に強制する))

=begin original

Sometimes (see L) there are
situations where you simply need to force Perl to believe that a byte
string is UTF-8, or vice versa.  The low-level calls
utf8::upgrade($bytestring) and utf8::downgrade($utf8string) are
the answers.

=end original

ときとして(L を参照)、Perl にバイト列を
UTF-8 であるように強制したりその逆を行う場合があるかもしれません。
低レベルの呼び出し utf8::upgrade($bytestring) と
utf8::downgrade($utf8string) がその回答です。

=begin original

Do not use them without careful thought, though: Perl may easily get
very confused, angry, or even crash, if you suddenly change the 'nature'
of scalar like that.  Especially careful you have to be if you use the
utf8::upgrade(): any random byte string is not valid UTF-8.

=end original

しかし、これらを使うときには十分注意しなければなりません: あなたが突然
スカラのような'性質'(nature)を突然変えたりしたら、Perl は簡単に混乱し、
怒り、クラッシュしてしまいます。
utf8::upgrade() を使うときには特に注意が必要です: 任意のランダムな
バイト列は正当な UTF-8 ではありません。

=head2 Using Unicode in XS

(XS で Unicode を使う)

=begin original

If you want to handle Perl Unicode in XS extensions, you may find the
following C APIs useful.  See also L for an
explanation about Unicode at the XS level, and L for the API
details.

=end original

Perl の Unicode を XS 拡張で取り扱いたいと思うのなら、以下に挙げる
API 群が便利かも知れません。
XS レベルでの Unicode に関しての説明は L を、
API の詳細については L を参照してください。

=over 4

=item *

=begin original

C returns true if the C flag is on and the bytes
pragma is not in effect.  C returns true is the C
flag is on; the bytes pragma is ignored.  The C flag being on
does B mean that there are any characters of code points greater
than 255 (or 127) in the scalar or that there are even any characters
in the scalar.  What the C flag means is that the sequence of
octets in the representation of the scalar is the sequence of UTF-8
encoded code points of the characters of a string.  The C flag
being off means that each octet in this representation encodes a
single character with code point 0..255 within the string.  Perl's
Unicode model is not to use UTF-8 until it is absolutely necessary.

=end original

C は C フラグがオンでバイトプラグマが効果を
もっていないときに真を返します。
C は C がオンのとき、バイトプラグマの状態には
関係なく真を返します。
C フラグはスカラの中で 255(もしくは127)を超える符号位置の文字が
あるということを I<意味しません>。
C フラグの意味するところは、スカラ中のそのオクテットの並びが
文字列としてUTF-8でエンコードされた符号位置の並びだということです。
C フラグがオフであるということは文字列の中のエンコードされた
文字が 0..255 の範囲でエンコードされたオクテットであることを意味します。
Perl の Unicode モデルは本当に必要となるまで UTF-8 を使用しません。

=item *

=begin original

C writes a Unicode character code point into
a buffer encoding the code point as UTF-8, and returns a pointer
pointing after the UTF-8 bytes.

=end original

C は Unicode の文字符号位置を UTF-8 で
エンコードされたの符号位置としてバッファに書き込みます。
そして、その UTF-8 バイトの後を指し示すポインタを返します。

=item *

=begin original

C reads UTF-8 encoded bytes from a buffer and
returns the Unicode character code point and, optionally, the length of
the UTF-8 byte sequence.

=end original

C はバッファから UTF-8 エンコードされたバイトを
読み出し、Unicode の文字符号位置と、オプションでその
UTF-8 バイトシーケンスの長さを返します。

=item *

=begin original

C returns the length of the UTF-8 encoded buffer
in characters.  C returns the length of the UTF-8 encoded
scalar.

=end original

C は UTF-8 エンコードされたバッファの長さを
文字で返します。
C は UTF-8 エンコードされたスカラの長さを返します。

=item *

=begin original

C converts the string of the scalar to its UTF-8
encoded form.  C does the opposite, if
possible.  C is like sv_utf8_upgrade except that
it does not set the C flag.  C does the
opposite of C.  Note that none of these are to be
used as general-purpose encoding or decoding interfaces: C
for that.  C is affected by the encoding pragma
but C is not (since the encoding pragma is
designed to be a one-way street).

=end original

C はスカラの文字列をその UTF-8 エンコードされた
形式に変換します。
C は(可能であれば)その反対の動作をします。
C は C に似ていますが、
C フラグをセットしない点が異なります。
これらの欠如が一般的な目的のエンコーディングやデコーディングの
インターフェースとして使われていることに注意してください:
C がそのためにあります。
C はエンコーディングプラグマに影響を受けますが、
C はそうではありません(なぜならエンコーディング
プラグマは一方通行にデザインされているからです)。

=item *

=begin original

C returns true if the pointer points to a valid UTF-8
character.

=end original

C はポインタが正しい UTF-8 文字を指し示しているときに
真を返します。

=item *

=begin original

C returns true if C bytes of the buffer
are valid UTF-8.

=end original

C はバッファの C バイトが正しい
UTF-8 文字であるときに真を返します。

=item *

=begin original

C will return the number of bytes in the UTF-8 encoded
character in the buffer.  C will return the number of bytes
required to UTF-8-encode the Unicode character code point.  C
is useful for example for iterating over the characters of a UTF-8
encoded buffer; C is useful, for example, in computing
the size required for a UTF-8 encoded buffer.

=end original

C はバッファの中にある UTF-8 エンコードされた文字の
バイト数を返します。
C は UTF-8 エンコードする Unicode 文字の符号位置が要求する
バイト数を返します。
C は UTF-8 エンコードされたバッファの文字に対して繰り返しを
行うような例に便利です。
C はたとえば、UTF-8 エンコードされたバッファの要求する大きさを
計算するのに便利です。

=item *

=begin original

C will tell the distance in characters between the
two pointers pointing to the same UTF-8 encoded buffer.

=end original

C は同じ UTF-8 エンコードされたバッファをさす
二つのポインタの間の文字単位の距離を返します。

=item *

=begin original

C will return a pointer to an UTF-8 encoded buffer
that is C (positive or negative) Unicode characters displaced
from the UTF-8 buffer C.  Be careful not to overstep the buffer:
C will merrily run off the end or the beginning of the
buffer if told to do so.

=end original

C は、UTF-8 バッファ C から Unicode で C 文字分
(正数でも負数でも) 移動した UTF-8 エンコーディングバッファへの
ポインタを返します。
バッファを超えないように注意してください: C は、そう
指示されれば何も気にせずにバッファの先頭や末尾を踏み越えます。

=item *

=begin original

C and
C are useful for debugging the
output of Unicode strings and scalars.  By default they are useful
only for debugging--they display B characters as hexadecimal code
points--but with the flags C,
C, and C you can make the
output more readable.

=end original

C と
C は Unicode の文字列やスカラの
出力をデバッグするのに便利です。
デフォルトではデバッグのみに便利です -- B<すべての> 文字を
16 進の符号位置として表示します -- しかし C,
C, C というフラグを
与えることによって、出力を読みやすくできます。

=item *

=begin original

C can be used to
compare two strings case-insensitively in Unicode.  For case-sensitive
comparisons you can just use C and C as usual.

=end original

C は Unicode に
おいて大小文字を無視した文字列比較に使うことができます。
大小文字を意識した比較には通常どおり C や C を
使うことができます。

=back

=begin original

For more information, see L, and F and F
in the Perl source code distribution.

=end original

もっと詳しい情報は、L と、Perl のソースコード配布の
F と F を参照してください。

=head1 BUGS

=head2 Interaction with Locales

(ロケールとの相互作用)

=begin original

Use of locales with Unicode data may lead to odd results.  Currently,
Perl attempts to attach 8-bit locale info to characters in the range
0..255, but this technique is demonstrably incorrect for locales that
use characters above that range when mapped into Unicode.  Perl's
Unicode support will also tend to run slower.  Use of locales with
Unicode is discouraged.

=end original

Unicode データと共にロケールを使うことはおかしな結果を
もたらすことになりやすいです。
現在のところ、Perl は文字に 0..255 の範囲の 8 ビットロケールを
割り当てようとしていますが、このテクニックは Unicode に
マップしようとしたときに先の範囲の文字を使用するロケールに対して
明らかに正しくありません。
Perl の Unicode サポートはまた、遅くなりがちです。
Unicode といっしょにロケールを使うことはお勧めできません。

=head2 Interaction with Extensions

(エクステンションとの相互作用)

=begin original

When Perl exchanges data with an extension, the extension should be
able to understand the UTF8 flag and act accordingly. If the
extension doesn't know about the flag, it's likely that the extension
will return incorrectly-flagged data.

=end original

Perl がエクステンションとデータをやり取りするとき、そのエクステンションは
UTF8 フラグを理解し、また、それに従った振る舞いをすべきです。
エクステンションがこのフラグについて何も知らなければ、そのエクステンションは
正しくないフラグがついたデータを返す可能性があります。

=begin original

So if you're working with Unicode data, consult the documentation of
every module you're using if there are any issues with Unicode data
exchange. If the documentation does not talk about Unicode at all,
suspect the worst and probably look at the source to learn how the
module is implemented. Modules written completely in Perl shouldn't
cause problems. Modules that directly or indirectly access code written
in other programming languages are at risk.

=end original

そのため、もし Unicode データを扱おうというのであれば、 Unicode データの
交換に関して何らかの記述があるのなら使うモジュールすべてのドキュメントを
調べてください。
ドキュメントが Unicode に関して何の言及もしていないのなら、最悪のケースを
考慮し、そしてそのモジュールがどのように実装されているかを知るために
ソースを見ることになるかもしれません。
完全に Perl で書かれたモジュールは問題を引き起こしません。
他のプログラミング言語で書かれている直接または間接にアクセスするコードに
リスクがあるのです。

=begin original

For affected functions, the simple strategy to avoid data corruption is
to always make the encoding of the exchanged data explicit. Choose an
encoding that you know the extension can handle. Convert arguments passed
to the extensions to that encoding and convert results back from that
encoding. Write wrapper functions that do the conversions for you, so
you can later change the functions when the extension catches up.

=end original

影響を受けた関数のための、データの劣化(data corruption)を防ぐ単純な
戦略とは、交換するデータのエンコーディングを常に明確にするということです。
エクステンションが取り扱うことができると知っているエンコーディングを
選択してください。
エクステンションに渡す引数を選択したエンコーディングに変換し、
エクステンションから返ってきた結果をそのエンコーディングから
逆方向に変換します。
変換を行ってくれるラッパ関数を書いておいて、
エクステンションが追いついた時に関数を変更できるようにしておきます。

=begin original

To provide an example, let's say the popular Foo::Bar::escape_html
function doesn't deal with Unicode data yet. The wrapper function
would convert the argument to raw UTF-8 and convert the result back to
Perl's internal representation like so:

=end original

例として、まだ Unicode データを取り扱うようにはできていない、
有名な Foo::Bar::escape_html について述べましょう。
ラッパ関数は引数を生の UTF-8 に変換し、結果を Perl の内部表現に
逆変換します:

    sub my_escape_html ($) {
      my($what) = shift;
      return unless defined $what;
      Encode::decode_utf8(Foo::Bar::escape_html(Encode::encode_utf8($what)));
    }

=begin original

Sometimes, when the extension does not convert data but just stores
and retrieves them, you will be in a position to use the otherwise
dangerous Encode::_utf8_on() function. Let's say the popular
C extension, written in C, provides a C method that
lets you store and retrieve data according to these prototypes:

=end original

エクステンションがデータを変換しないけれども格納したり取り出したりするときに、
ときとして危険な Encode::_utf8_on() 関数以外のものを
使うことがあるかもしれません。
C で書かれていて、データを以下のプロトタイプに従って格納したり
取り出したりする C メソッドを持っている
有名な C エクステンションについて述べてみましょう:

    $self->param($name, $value);            # set a scalar
    $value = $self->param($name);           # retrieve a scalar

=begin original

If it does not yet provide support for any encoding, one could write a
derived class with such a C method:

=end original

どのエンコーディングもまだサポートしていないのなら、
以下のような C メソッドを持った派生クラスを
記述することができるでしょう:

    sub param {
      my($self,$name,$value) = @_;
      utf8::upgrade($name);     # make sure it is UTF-8 encoded
      if (defined $value) {
        utf8::upgrade($value);  # make sure it is UTF-8 encoded
        return $self->SUPER::param($name,$value);
      } else {
        my $ret = $self->SUPER::param($name);
        Encode::_utf8_on($ret); # we know, it is UTF-8 encoded
        return $ret;
      }
    }

=begin original

Some extensions provide filters on data entry/exit points, such as
DB_File::filter_store_key and family. Look out for such filters in
the documentation of your extensions, they can make the transition to
Unicode data much easier.

=end original

一部のエクステンションはデータのエントリ/脱出ポイントでフィルターを
提供しています。
たとえば DB_File::filter_store_keyとその仲間です。
あなた使うエクステンションのドキュメントにあるそのようなフィルターに
注意してください。
それらは Unicode データの変化をより容易にします。

=head2 Speed

(速度)

=begin original

Some functions are slower when working on UTF-8 encoded strings than
on byte encoded strings.  All functions that need to hop over
characters such as length(), substr() or index(), or matching regular
expressions can work B faster when the underlying data are
byte-encoded.

=end original

一部の関数は UTF-8 でエンコードされた文字列に対して適用したときにバイト
エンコードされた文字列に対するときよりも遅くなります。
文字に対して働く必要のある length()、substr()、index()のような関数のすべてと
正規表現マッチングは、データが
バイトエンコードされているときには B<かなり> 早く動作できます。

=begin original

In Perl 5.8.0 the slowness was often quite spectacular; in Perl 5.8.1
a caching scheme was introduced which will hopefully make the slowness
somewhat less spectacular, at least for some operations.  In general,
operations with UTF-8 encoded strings are still slower. As an example,
the Unicode properties (character classes) like C<\p{Nd}> are known to
be quite a bit slower (5-20 times) than their simpler counterparts
like C<\d> (then again, there 268 Unicode characters matching C
compared with the 10 ASCII characters matching C).

=end original

Perl 5.8.0 ではこの遅さはしばしば目立つものでした。
Perl 5.8.1 では少なくとも一部の操作については、遅さを改善することを
期待するキャッシングスキーム(caching scheme)が導入されました。
一般的には、UTF-8 エンコードされた文字列に対する操作はまだ遅いものです。
たとえば、C<\p{Nd}> のような Unicode の特性(文字クラス)は対応する
C<\d> のような単純なものよりも目立って遅い(5 倍から10 倍)ことが
知られています(繰り返しますが、C は 10 の ASCII 文字に対して
マッチするのに対して C は 268 の Unicode 文字にマッチします)。

=head2 Porting code from perl-5.6.X

(perl 5.6.X からコードを移植する)

=begin original

Perl 5.8 has a different Unicode model from 5.6. In 5.6 the programmer
was required to use the C pragma to declare that a given scope
expected to deal with Unicode data and had to make sure that only
Unicode data were reaching that scope. If you have code that is
working with 5.6, you will need some of the following adjustments to
your code. The examples are written such that the code will continue
to work under 5.6, so you should be safe to try them out.

=end original

Perl 5.8 は 5.6 とは異なる Unicode モデルを持っています。
5.6 ではプログラマは、ある与えられたスコープが Unicode データを
取り扱うのと Unicode データだけがそのスコープにあることを宣言するのに
C プラグマの使用を要求されていました。
5.6 で動いていたプログラムを持っているのなら、以下に挙げる微調整を施す
必要があるでしょう。
例は 5.6 でも動くように書かれているので、安心して試すことができます。

=over 4

=item *

=begin original

A filehandle that should read or write UTF-8

=end original

UTF-8 で読み書きすべきファイルハンドル

  if ($] > 5.007) {
    binmode $fh, ":encoding(utf8)";
  }

=item *

=begin original

A scalar that is going to be passed to some extension

=end original

何らかのエクステンションに渡そうとするスカラ

=begin original

Be it Compress::Zlib, Apache::Request or any extension that has no
mention of Unicode in the manpage, you need to make sure that the
UTF8 flag is stripped off. Note that at the time of this writing
(October 2002) the mentioned modules are not UTF-8-aware. Please
check the documentation to verify if this is still true.

=end original

Compress::Zlib、Apache::Request などの、マニュアルページに Unicode に
関する記載がない何らかのエクステンションで、確実に UTF8 フラグが
オフにする必要があります。
これを書いている時点(2002 年 10 月)では、上記のモジュールは
UTF-8 対応でないことに注意してください。
これがまだ真であるのなら、ドキュメントをチェックして確かめてください。

  if ($] > 5.007) {
    require Encode;
    $val = Encode::encode_utf8($val); # make octets
  }

=item *

=begin original

A scalar we got back from an extension

=end original

エクステンションから返ってきたスカラ

=begin original

If you believe the scalar comes back as UTF-8, you will most likely
want the UTF8 flag restored:

=end original

そのスカラが UTF-8 として返ってきたものだと信じているのなら、
UTF-8 フラグをリストアしたいと考えるでしょう:

  if ($] > 5.007) {
    require Encode;
    $val = Encode::decode_utf8($val);
  }

=item *

=begin original

Same thing, if you are really sure it is UTF-8

=end original

同様に、UTF-8 だと確信しているのなら

  if ($] > 5.007) {
    require Encode;
    Encode::_utf8_on($val);
  }

=item *

=begin original

A wrapper for fetchrow_array and fetchrow_hashref

=end original

fetchrow_array と fetchrow_hashref へのラッパ

=begin original

When the database contains only UTF-8, a wrapper function or method is
a convenient way to replace all your fetchrow_array and
fetchrow_hashref calls. A wrapper function will also make it easier to
adapt to future enhancements in your database driver. Note that at the
time of this writing (October 2002), the DBI has no standardized way
to deal with UTF-8 data. Please check the documentation to verify if
that is still true.

=end original

データベースが UTF-8 のみから構成されているとき、ラッパ関数や
ラッパメソッドはあなたの fetchrow_array や fetchrow_hashref の呼び出しを
置き換えるのに便利な方法でしょう。
ラッパ関数はまた、あなたの使っているデータベースドライバが
将来拡張されたときに適用しやすくするでしょう。
このドキュメントを書いている時点(2002 年 10 月)では、DBI は UTF-8 のデータを
扱う標準的な方法を持っていません。
これがまだ真ならドキュメントをチェックして確かめてください。

  sub fetchrow {
    my($self, $sth, $what) = @_; # $what is one of fetchrow_{array,hashref}
    if ($] < 5.007) {
      return $sth->$what;
    } else {
      require Encode;
      if (wantarray) {
        my @arr = $sth->$what;
        for (@arr) {
          defined && /[^\000-\177]/ && Encode::_utf8_on($_);
        }
        return @arr;
      } else {
        my $ret = $sth->$what;
        if (ref $ret) {
          for my $k (keys %$ret) {
            defined && /[^\000-\177]/ && Encode::_utf8_on($_) for $ret->{$k};
          }
          return $ret;
        } else {
          defined && /[^\000-\177]/ && Encode::_utf8_on($_) for $ret;
          return $ret;
        }
      }
    }
  }

=item *

=begin original

A large scalar that you know can only contain ASCII

=end original

ASCII だけが含まれていると分かっている大きなスカラ

=begin original

Scalars that contain only ASCII and are marked as UTF-8 are sometimes
a drag to your program. If you recognize such a situation, just remove
the UTF8 flag:

=end original

ASCII だけから構成されているのに UTF8 として印付けされているスカラが
あなたのプログラムへ引きずりこまれることがあります。
そのような場合を認識したならば、単に UTF-8 フラグを取り除いてください:

  utf8::downgrade($val) if $] > 5.007;

=back

=head1 SEE ALSO

L, L, L, L, L, L,
L, L

=begin meta

Translate: KIMURA Koichi (-5.8.5)
Update: Kentaro Shirakata  (5.10.0-)

=end meta

=cut