List of Unicode [text.Baldanders.info]

ダッシュとかチルダとか

2025-11-14T02:58:22+00:00

エンダッシュとエムダッシュを直接入力できる？

Bluesky の TL に面白い記事が流れてたので，今回はこれを起点にしてみる。

【朗報？】Windows、「—」と「–」が入力しやすくなる。英文を打つ人にとっては最高のアプデかも | ライフハッカー・ジャパン

エンダッシュ（–）を入力したい時：Windowsキーを押しながら、ハイフン（-）を押す

エムダッシュ（—）を入力したい時：Windowsキー＋ Shiftキーを押しながら、ハイフン（-）を押す

【朗報？】Windows、「—」と「–」が入力しやすくなる。英文を打つ人にとっては最高のアプデかもより

「いや，これ， US キーボードの話じゃろ？」と思って，試しに自宅の Windows 機で試したら

$ echo -–— | gnkf dump -u
0x002d, 0x2013, 0x2014, 0x000d, 0x000a

ホンマじゃ！ちゃんと日本語キーボードで – (EN DASH, U+2013) と — (EM DASH, U+2014) が出力された（US キーボードでどうなるかは知らない）。試しに Ubuntu 機で同じようにやってみたが駄目だった。

エンダッシュやエムダッシュを使うことってあんまりないんだよな。仕事で書く文書ではほぼ使わない。 TeX や Typst では -- や --- でエンダッシュやエムダッシュに変換されるので，困った覚えはない。ここのブログでは実体参照の – や — を使うので，これも困ることはないな。

というわけで「へぇ」とは思ったけど，私は使う機会もなく忘れてしまいそう（笑）

ちなみに，よく使う - (U+002D) は “HYPHEN-MINUS” でダッシュ記号ではない。さらに “HYPHEN” は ‐ (U+2010) と定義されているし “MINUS SIGN” は − (U+2212) と定義されている。さらにさらに言うと全角のハイフンマイナスである － (U+FF0D) もある。でも見た目で殆ど違いが分からんし，ハイフンマイナス以外はどうやって入力するのかも分からない。どうも生成 AI は使い分けてるみたいなんだが，見た目がみんな同じなので，これはこれで困るんだよなぁ。

全角ダッシュの Unicode マッピング

日本語の文字コード（JIS X 0208 および JIS X 0213）にはいわゆる「全角ダッシュ」があるのだが Unicode では上述の “EM DASH” (U+2014) にマッピングされているそうな。まぁ，これは真っ当だろう。

しかし一時期，この全角ダッシュを U+2015 (HORIZONTAL BAR) にマッピングしていた時期があったらしい。これは後に訂正されたようだが，古い処理系だとシフトJISの全角ダッシュ（8160H）を U+2015 に変換したりする場合もあるんだとか。

あと和文の倍角ダッシュに U+2015 を並べて使う場合もあるみたいで，簡単な話ではないっぽい。たとえば奥村晴彦さんが書かれた『LaTeX美文書作成入門』では，倍角ダッシュを U+2015 を使って

\def\――{―\kern-.5zw―\kern-.5zw―}

『［改訂第9版］LaTeX美文書作成入門』4.8節より

というコマンドを定義すれば文字と文字の間の隙間を潰せると紹介している。 U+2015 の文字を全角2文字分の幅で3つ重ねて繋がってるように見せるのね。なるほど。

波ダッシュと全角チルダ

似たような話に和文の「波ダッシュ」と「全角チルダ」がある。

字形	コードポイント	名前
〜	`U+301C`	WAVE DASH
～	`U+FF5E`	FULLWIDTH TILDE

このように見た目はそっくりなのだが Unicode 7.0 までは波ダッシュの字形が異なっていたらしい。この辺は以下が参考になるだろうか。

どうしてこうなった!? 波ダッシュをめぐる考察｜『人文×社会』の中の人

字形に関しては Unicode 8.0 で修正されているのだが， Windows の IME では今だに「から」を変換すると全角チルダのほうが候補に上がるため，波ダッシュであるべきところが全角チルダになってしまうことがあるようだ。見た目いっしょだし，分からんよね（笑）

文字コードはホンマ面倒くさい。

【2025-11-18 追記】エムダッシュとアポストロフィと AI

最近また面白い記事を見かけた¹。

ChatGPTにエムダッシュを使わないよう指示できるとアルトマンCEO【訂正あり】 - ITmedia AI＋

簡単に言うと ChatGPT にはエムダッシュ（U+2014）を頻繁に使う癖があるそうで ChatGPT-5.1 の有料プランでは（カスタム指示として）これを抑制するよう命令できるらしい。なんというか果てしなく間抜けな話だが，これを以って “Small-but-happy win” とか言ってるんだから，昨今の AI ブームが如何に狂ってるか分かる（笑）

これに絡むかどうか分からないが Mastodon の TL で

というポストがあって思わず脊髄反射してしまったのだが，（実際のところは分からないが）いかにもありそうな話ではある。

ちなみに Unicode では

字形	コードポイント	名前
`'`	`U+0027`	APOSTROPHE
’	`U+2019`	RIGHT SINGLE QUOTATION MARK

と定義されていて，この意味に従うならアポストロフィとして U+2019 を使うのは間違いなんじゃね？と思ったのだが，話はそう簡単ではないようだ。

U+0027 ' APOSTROPHE is the most commonly used character for apostrophe. For historical reasons, U+0027 is a particularly overloaded character. In ASCII, it is used to represent a punctuation mark (such as right single quotation mark, left single quotation mark, apostrophe punctuation, vertical line, or prime) or a modifier letter (such as apostrophe modifier or acute accent). Punctuation marks generally break words; modifier letters generally are considered part of a word.

When text is set, U+2019 ’ RIGHT SINGLE QUOTATION MARK is preferred as apostrophe, but only U+0027 is present on most keyboards. Software commonly offers a facility for automatically converting the U+0027 ' APOSTROPHE to a contextually selected curly quotation glyph. In these systems, a U+0027 in the data stream is always represented as a straight vertical line and can never represent a curly apostrophe or a right quotation mark.

via “Chapter 6 – Unicode 17.0.0” 6.2.7 Apostrophes

つまり U+0027 のほうは多様な意味に使われていてワケ分からんし字形としても適切ではないので U+2019 のほうをアポストロフィとして使うのが望ましいが，キーボード入力では U+0027 しか使えないので，ソフトウェアで適切に変換してね，ということらしい²。

いやいやいや…

さらに

An implementation cannot assume that users’ text always adheres to the distinction between these characters. The text may come from different sources, including mapping from other character sets that do not make this distinction between the letter apostrophe and the punctuation apostrophe/right single quotation mark. In that case, all of them will generally be represented by U+2019.

The semantics of U+2019 are therefore context dependent. For example, if surrounded by letters or digits on both sides, it behaves as an in-text punctuation character and does not separate words or lines.

via “Chapter 6 – Unicode 17.0.0” 6.2.7 Apostrophes

とか言ってくさる。つまり，私達ユーザが文字の意味をわかって使い分けてるとは限らないので，とりあえず U+2019 を使って，あとは文脈で解釈しろ，ということのようだ。

いやいやいや…

さらにさらに，文字装飾用アポストロフィとして U+02BC (MODIFIER LETTER APOSTROPHE) もあるそうで，これはヘブライ語などの翻字に使ったり国際音声記号として使ったりするらしい。他にも U+055A (ARMENIAN APOSTROPHE) とか U+07F4 (NKO HIGH TONE APOSTROPHE) とかいった文字もあるそうで，日本語だと全角文字 U+FF07 (FULLWIDTH APOSTROPHE) も別に定義されている。ホンマ，勘弁してください orz

それはともかく，生成 AI がアポストロフィやシングルクォーテーションに U+2019 を律儀に使ってる（可能性が高い）のに対し，人間様はキーボード入力の U+0027 をそのまま使ってる（可能性が高い）わけで，文字コード的に真っ当な文章のほうが AI 由来だとして迫害される（かもしれない）のは，なかなかに狂っている。

【2025-11-18 追記】ハイフンと AI

これ，ハイフン記号もなんだよなぁ。

PA-API に関する記事を書いたときに GitHub Copilot のチャットでタイトルを添削してもらったのだが，そのときに提示された “PA‑API” のハイフンは U+2011 (NON-BREAKING HYPHEN) だったのよ。

いや，要らんけぇ，そんなの。文字コード的には真っ当かもしれんけど，あとで grep で検索するときに U+002D じゃなかったら検索条件が面倒くさくなるので困るじゃろうが。

正しいけど人間に優しくないってのは，いかにも機械っぽいけどさ。

ブックマーク

Unicodeのアポストロフィとシングル引用符 - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
アポストロフィの悩み | Okumura’s Blog
アポストロフィって何だっけ？文字コードをめぐる謎｜『人文×社会』の中の人
Quotation mark - Wikipedia : 国ごとの引用符の違いが載っていて面白い

参考

［改訂第9版］LaTeX美文書作成入門: 奥村晴彦 (著), 黒木裕介 (著); 技術評論社 2023-12-09 (Release 2023-12-09); 単行本（ソフトカバー）; 4297138891 (ASIN), 9784297138899 (EAN), 4297138891 (ISBN); 評価

[Comment] 2023年末に出てるのに気が付かなかった orz 今回は版元で PDF 版を買った。

reviewed by Spiegel on 2024-04-07 (powered by PA-APIv5)

この記事は最初エムダッシュを「日本語では**で表示している」とか意味不明なことを書いていて混乱したが，後に訂正されて意味が通った。 ITmedia はたまにこういうのがあるよな（笑） ↩︎
このブログのジェネレータである Hugo は，たとえば 'Hoge' と入力すれば ‘Hoge’ のように U+2018 および U+2019 の左右シングルクォーテーションに変換してくれるし， can't みたいなのも can’t と変換してくれる。ありがたや。 ↩︎

仮名文字を整理してみる

2025-10-04T06:51:27+00:00

前回の記事でせっかく使える仮名文字が増えたので，この記事ではちょっと真面目に整理してみることにする。なお Unicode で表される仮名文字については「Unicode のカタカナを調べる」を参照のこと。

五十音

まずは基本の五十音から。ひらがなとカタカナを併記している。ちなみに「ん」は撥音 (はつおん) で，それ以外を直音 (ちょくおん) と呼ぶ。


あア	いイ	うウ	えエ	おオ
かカ	きキ	くク	けケ	こコ
さサ	しシ	すス	せセ	そソ
たタ	ちチ	つツ	てテ	とト
なナ	にニ	ぬヌ	ねネ	のノ
はハ	ひヒ	ふフ	へヘ	ほホ
まマ	みミ	むム	めメ	もモ
やヤ	(　 𛄠)	ゆユ	(𛀁 𛄡)	よヨ
らラ	りリ	るル	れレ	ろロ
わワ	(ゐヰ)	(𛄟 𛄢)	(ゑヱ)	をヲ
んン

括弧でくくっている文字は現代仮名遣いで定義されていない文字である
や行い段のひらがなを変体仮名の「𛀆 (U+1B006)」で表すこともあるらしい（ホンマ？）
「𛀁」は変体仮名の「え（江）」としても定義されている
わ行う段のひらがなは Unicode のコードポイント U+1B11F で定義されているが表示できない環境が多いかもしれない（私の環境でも見れない）

半角カナ文字

以下は半角カナ文字で表した五十音である。


ｱ	ｲ	ｳ	ｴ	ｵ
ｶ	ｷ	ｸ	ｹ	ｺ
ｻ	ｼ	ｽ	ｾ	ｿ
ﾀ	ﾁ	ﾂ	ﾃ	ﾄ
ﾅ	ﾆ	ﾇ	ﾈ	ﾉ
ﾊ	ﾋ	ﾌ	ﾍ	ﾎ
ﾏ	ﾐ	ﾑ	ﾒ	ﾓ
ﾔ		ﾕ		ﾖ
ﾗ	ﾘ	ﾙ	ﾚ	ﾛ
ﾜ				ｦ
ﾝ

半角カナはだいぶ廃れてきた気がするが，たまにあるんだよなぁ…

丸囲み文字

Unicode ではカタカナの丸囲み文字が定義されている。以下に示す。


㋐	㋑	㋒	㋓	㋔
㋕	㋖	㋗	㋘	㋙
㋚	㋛	㋜	㋝	㋞
㋟	㋠	㋡	㋢	㋣
㋤	㋥	㋦	㋧	㋨
㋩	㋪	㋫	㋬	㋭
㋮	㋯	㋰	㋱	㋲
㋳		㋴		㋵
㋶	㋷	㋸	㋹	㋺
㋻	㋼		㋽	㋾

濁音・半濁音

Unicode には濁 (だく) 点および半濁点のコードが定義されているため任意の基底文字と組み合わせることが可能だが（見た目として無理ぽいものも多いが），ここでは事前合成形として定義されているもののみ示す。


		(ゔヴ)
がガ	ぎギ	ぐグ	げゲ	ごゴ
ざザ	じジ	ずズ	ぜゼ	ぞゾ
だダ	ぢヂ	づズ	でデ	どド
ばバ	びビ	ぶブ	べベ	ぼボ
(　ヷ)	(　ヸ)		(　ヹ)	(　ヺ)

ぱパ	ぴピ	ぷプ	ぺペ	ぽポ

括弧でくくっている文字は現代仮名遣いで定義されていない文字である。ワ行の濁音って何に使うんだ？

なお Unicode の濁点・半濁点は結合文字を含めいくつかのコードがある。

コード	文字	名称
`U+3099`	゙	濁点（結合文字）
`U+309B`	゛	濁点（全角）
`U+FF9E`	ﾞ	濁点（半角）

`U+309A`	゚	半濁点（結合文字）
`U+309C`	゜	半濁点（全角）
`U+FF9F`	ﾟ	半濁点（半角）

小書き文字

拗 (よう) 音（きゃきゅきょなど）や促 (そく) 音（っ）などを表す際に使う小書き文字であるが Unicode では他にもやたらと定義されている印象。


ぁァ	ぃィ	ぅゥ	ぇェ	ぉォ
ゕヵ		ㇰ	ゖヶ	𛄲 𛅕
	ㇱ	ㇲ
		っッ		ㇳ
		ㇴ
ㇵ	ㇶ	ㇷ	ㇸ	ㇹ
		ㇺ
ゃャ		ゅュ		ょョ
ㇻ	ㇼ	ㇽ	ㇾ	ㇿ
ゎヮ	𛅐 𛅤		𛅑 𛅥	𛅒 𛅦
𛅧

以下の文字は表示できない環境が多いかもしれない（私の環境でも見れない）。

U+1B132 は小書きの「こ」で U+1B155 は小書きの「コ」
U+1B150, U+1B151, U+1B152 はそれぞれ小書きの「ゐ」「ゑ」「を」
U+1B164, U+1B165, U+1B166 はそれぞれ小書きの「ヰ」「ヱ」「ヲ」
U+1B167 は小書きの「ン」。ちなみに小書きの「ん」はプロポーザルが通らなかったらしい

小書きの「ぁぃぅぇぉ」は長音として使う感じかな？わ行の小書き文字って何に使うんだ？カタカナの小書き文字しか定義されてないのはアイヌ語の仮名表現らしい。ここまで定義されてるのなら全部の仮名文字に小書きを用意しろよって感じではある。

なお現代仮名遣いで拗音は以下が定義されてる。


きゃキャ	きゅキュ	きょキョ
しゃシャ	しゅシュ	しょショ
ちゃチャ	ちゅチュ	ちょチョ
にゃニャ	にゅニュ	にょニョ
ひゃヒャ	ひゅヒュ	ひょヒョ
みゃミャ	みゅミュ	みょミョ
りゃリャ	りゅリュ	りょリョ

ぎゃギャ	ぎゅギュ	ぎょギョ
じゃジャ	じゅジュ	じょジョ
ぢゃヂャ	ぢゅヂュ	ぢょヂョ
びゃビャ	びゅビュ	びょビョ

ぴゃピャ	ぴゅピュ	ぴょピョ

記号類

長音記号

コード	文字	名称
`U+30FC`	ー	長音記号
`U+FF70`	ｰ	長音記号（半角）

現代仮名遣いでは，長 (ちょう) 音の表現は「おかあさん」「ちょうちょう（蝶々）」のようにあいうえおの母音を重ねるとあるが，カタカナでは長音記号（ー）を使うことが多い（「コンピューター」など）。まぁ，ここのブログみたいに形式張った文章でなければ，ひらがなでも長音記号を使うけど。

余談だが，仮名からローマ字に変換するパッケージをつくっていたときに，ヘボン式では長音を無視するのだが，仮名文字の綴りから長音かどうかを機械的に判断するのが難しく諦めた覚えがある。

繰り返し記号

コード	文字	名称
U+309D	ゝ	ひらがな繰り返し記号
U+309E	ゞ	ひらがな繰り返し記号（濁点）

U+30FD	ヽ	カタカナ繰り返し記号
U+30FE	ヾ	カタカナ繰り返し記号（濁点）

繰り返し記号は他にも色々あるが Unicode で仮名文字として分類されているものを挙げた。最近ではあまり見ない気がするが固有名詞では使われていることがある。

合略仮名

合略仮名 (ごうりゃくがな) は仮名文字の合字を略した文字らしい。仮名文字として登録されているのは以下の通り。

コード	文字	読み
`U+309F`	ゟ	より

`U+30FF`	ヿ	コト

以下は何故か CJK 統合漢字の拡張として登録されているらしいが，表示できない環境が多いかもしれない（私の環境でも見れない）。

コード	文字	読み
`U+2CF02`	𬼂	なり

`U+2A708`	𪜈	トモ
`U+2CF00`	𬼀	シテ
`U+2CEFF`	𬻿	ナリ

その他の合字

Unicode では「㌀」「㌖」のように単語や単位を表す合字の仮名文字が定義されている。おそらく汎用機時代の名残だと思うが，今でもときどき見かける。以下に示すが，多いよ！

コード	文字	読み
`U+1F200`	🈀	ほか

`U+3300`	㌀	アパート
`U+3301`	㌁	アルファ
`U+3302`	㌂	アンペア
`U+3303`	㌃	アール
`U+3304`	㌄	イニング
`U+3305`	㌅	インチ
`U+3306`	㌆	ウォン
`U+3307`	㌇	エスクード
`U+3308`	㌈	エーカー
`U+3309`	㌉	オンス
`U+330A`	㌊	オーム
`U+330B`	㌋	カイリ
`U+330C`	㌌	カラット
`U+330D`	㌍	カロリー
`U+330E`	㌎	ガロン
`U+330F`	㌏	ガンマ
`U+3310`	㌐	ギガ
`U+3311`	㌑	ギニー
`U+3312`	㌒	キュリー
`U+3313`	㌓	ギルダー
`U+3314`	㌔	キロ
`U+3315`	㌕	キログラム
`U+3316`	㌖	キロメートル
`U+3317`	㌗	キロワット
`U+3318`	㌘	グラム
`U+3319`	㌙	グラムトン
`U+331A`	㌚	クルゼイロ
`U+331B`	㌛	クローネ
`U+331C`	㌜	ケース
`U+331D`	㌝	コルナ
`U+331E`	㌞	コーポ
`U+331F`	㌟	サイクル
`U+3320`	㌠	サンチーム
`U+3321`	㌡	シリング
`U+3322`	㌢	センチ
`U+3323`	㌣	セント
`U+3324`	㌤	ダース
`U+3325`	㌥	デシ
`U+3326`	㌦	ドル
`U+3327`	㌧	トン
`U+3328`	㌨	ナノ
`U+3329`	㌩	ノット
`U+332A`	㌪	ハイツ
`U+332B`	㌫	パーセント
`U+332C`	㌬	パーツ
`U+332D`	㌭	バーレル
`U+332E`	㌮	ピアストル
`U+332F`	㌯	ピクル
`U+3330`	㌰	ピコ
`U+3331`	㌱	ビル
`U+3332`	㌲	ファラッド
`U+3333`	㌳	フィート
`U+3334`	㌴	ブッシェル
`U+3335`	㌵	フラン
`U+3336`	㌶	ヘクタール
`U+3337`	㌷	ペソ
`U+3338`	㌸	ペニヒ
`U+3339`	㌹	ヘルツ
`U+333A`	㌺	ペンス
`U+333B`	㌻	ページ
`U+333C`	㌼	ベータ
`U+333D`	㌽	ポイント
`U+333E`	㌾	ボルト
`U+333F`	㌿	ホン
`U+3340`	㍀	ポンド
`U+3341`	㍁	ホール
`U+3342`	㍂	ホーン
`U+3343`	㍃	マイクロ
`U+3344`	㍄	マイル
`U+3345`	㍅	マッハ
`U+3346`	㍆	マルク
`U+3347`	㍇	マンション
`U+3348`	㍈	ミクロン
`U+3349`	㍉	ミリ
`U+334A`	㍊	ミリバール
`U+334B`	㍋	メガ
`U+334C`	㍌	メガトン
`U+334D`	㍍	メートル
`U+334E`	㍎	ヤード
`U+334F`	㍏	ヤール
`U+3350`	㍐	ユアン
`U+3351`	㍑	リットル
`U+3352`	㍒	リラ
`U+3353`	㍓	ルピー
`U+3354`	㍔	ルーブル
`U+3355`	㍕	レム
`U+3356`	㍖	レントゲン
`U+3357`	㍗	ワット

仮名文字ではないが近年だと元号の令和の合字「㋿」が追加されたことが話題になった。

CA1965 – 新元号と文字コードの国際標準を巡って / 小林龍生 | カレントアウェアネス・ポータル

個人的にはちょっと勘弁してほしいところであるが，しょうがないのかねぇ。

その他

U+1AFF0 から U+1AFFE までは声調記号として定義されているが，これは日本統治時代の台湾における台湾語仮名で使われたものらしい

仮名は意外と面倒くさかった

変体仮名一覧を作って，今回仮名文字を整理してみて思ったが，仮名文字って突き詰めて見ると意外と面倒くさいよな。変体仮名が廃止になったのは1900年（明治33年）だそうだが，それまでアホのように異体字や合字（のようなもの）があったんだろう？さらに「現代仮名遣い」として仮名による表現が整理されたのが敗戦直後の1946年（昭和21年）だ。今 Unicode に登録されている（変体文字を含む）仮名文字に限っても，私は使いこなせる自信がない。大昔の人のように未整理で混沌とした文字と文章を手書きして（他人が書いた文章を）読むとか無理無理。

私が戦前に生まれてたら一生水呑み百姓だわ。つくづく今の時代は文字が整理され符号化されデジタル化されててよかったと思うよ。スマホで日本語のニュースが読めて Web 連載小説や漫画が読めるって実は凄いことなんだな。

変体仮名をサポートした

2025-10-03T04:08:59+00:00

昨年の古い話題になるのだが Google NOTO フォントが変体仮名¹ をリリースした。

というわけで変体仮名を Web フォントとして組み込むことができる。このサイトでの設定はこんな感じ。

<link rel="preconnect" href="https://fonts.googleapis.com">
<link rel="preconnect" href="https://fonts.gstatic.com" crossorigin>
<link href="https://fonts.googleapis.com/css2?family=BIZ+UDGothic:wght@400;700&family=BIZ+UDMincho:wght@400;700&family=Intel+One+Mono:wght@400;700&family=Noto+Color+Emoji&family=Noto+Sans:wght@400;700&family=Noto+Serif+Hentaigana:wght@400;700&family=Noto+Serif:wght@400;700&display=swap" rel="stylesheet">

これで CSS の font-family に 'Noto Serif Hentaigana' を追加すればよい。

body {
  font-family: 'Noto Serif', 'BIZ UDMincho', 'Noto Serif Hentaigana', serif;
}

ちょっと表示させてみよう。以前「Unicode のカタカナを調べる」で書いたコードを流用して Unicode で変体仮名を含む仮名補助（Kana Supplement; U+1B000 - U+1B0FF）および仮名拡張A（Kana Extended-A; U+1B100 – U+1B12F）を列挙してみる。こんな感じ。

package main

import (
    "fmt"
    "unicode"
)

func main() {
    i := 0
    for c := rune(0x1b000); c <= rune(0x1b12f); c++ {
        if unicode.In(c, unicode.Hiragana) || unicode.In(c, unicode.Katakana) {
            fmt.Printf("%#U ", c)
            i++
            i &= 0x0f
            if i == 0 {
                fmt.Println()
            }
        }
    }
    fmt.Println()
}

実行結果は以下の通り。

$ go run main.go
U+1B000 '𛀀' U+1B001 '𛀁' U+1B002 '𛀂' U+1B003 '𛀃' U+1B004 '𛀄' U+1B005 '𛀅' U+1B006 '𛀆' U+1B007 '𛀇' U+1B008 '𛀈' U+1B009 '𛀉' U+1B00A '𛀊' U+1B00B '𛀋' U+1B00C '𛀌' U+1B00D '𛀍' U+1B00E '𛀎' U+1B00F '𛀏' 
U+1B010 '𛀐' U+1B011 '𛀑' U+1B012 '𛀒' U+1B013 '𛀓' U+1B014 '𛀔' U+1B015 '𛀕' U+1B016 '𛀖' U+1B017 '𛀗' U+1B018 '𛀘' U+1B019 '𛀙' U+1B01A '𛀚' U+1B01B '𛀛' U+1B01C '𛀜' U+1B01D '𛀝' U+1B01E '𛀞' U+1B01F '𛀟' 
U+1B020 '𛀠' U+1B021 '𛀡' U+1B022 '𛀢' U+1B023 '𛀣' U+1B024 '𛀤' U+1B025 '𛀥' U+1B026 '𛀦' U+1B027 '𛀧' U+1B028 '𛀨' U+1B029 '𛀩' U+1B02A '𛀪' U+1B02B '𛀫' U+1B02C '𛀬' U+1B02D '𛀭' U+1B02E '𛀮' U+1B02F '𛀯' 
U+1B030 '𛀰' U+1B031 '𛀱' U+1B032 '𛀲' U+1B033 '𛀳' U+1B034 '𛀴' U+1B035 '𛀵' U+1B036 '𛀶' U+1B037 '𛀷' U+1B038 '𛀸' U+1B039 '𛀹' U+1B03A '𛀺' U+1B03B '𛀻' U+1B03C '𛀼' U+1B03D '𛀽' U+1B03E '𛀾' U+1B03F '𛀿' 
U+1B040 '𛁀' U+1B041 '𛁁' U+1B042 '𛁂' U+1B043 '𛁃' U+1B044 '𛁄' U+1B045 '𛁅' U+1B046 '𛁆' U+1B047 '𛁇' U+1B048 '𛁈' U+1B049 '𛁉' U+1B04A '𛁊' U+1B04B '𛁋' U+1B04C '𛁌' U+1B04D '𛁍' U+1B04E '𛁎' U+1B04F '𛁏' 
U+1B050 '𛁐' U+1B051 '𛁑' U+1B052 '𛁒' U+1B053 '𛁓' U+1B054 '𛁔' U+1B055 '𛁕' U+1B056 '𛁖' U+1B057 '𛁗' U+1B058 '𛁘' U+1B059 '𛁙' U+1B05A '𛁚' U+1B05B '𛁛' U+1B05C '𛁜' U+1B05D '𛁝' U+1B05E '𛁞' U+1B05F '𛁟' 
U+1B060 '𛁠' U+1B061 '𛁡' U+1B062 '𛁢' U+1B063 '𛁣' U+1B064 '𛁤' U+1B065 '𛁥' U+1B066 '𛁦' U+1B067 '𛁧' U+1B068 '𛁨' U+1B069 '𛁩' U+1B06A '𛁪' U+1B06B '𛁫' U+1B06C '𛁬' U+1B06D '𛁭' U+1B06E '𛁮' U+1B06F '𛁯' 
U+1B070 '𛁰' U+1B071 '𛁱' U+1B072 '𛁲' U+1B073 '𛁳' U+1B074 '𛁴' U+1B075 '𛁵' U+1B076 '𛁶' U+1B077 '𛁷' U+1B078 '𛁸' U+1B079 '𛁹' U+1B07A '𛁺' U+1B07B '𛁻' U+1B07C '𛁼' U+1B07D '𛁽' U+1B07E '𛁾' U+1B07F '𛁿' 
U+1B080 '𛂀' U+1B081 '𛂁' U+1B082 '𛂂' U+1B083 '𛂃' U+1B084 '𛂄' U+1B085 '𛂅' U+1B086 '𛂆' U+1B087 '𛂇' U+1B088 '𛂈' U+1B089 '𛂉' U+1B08A '𛂊' U+1B08B '𛂋' U+1B08C '𛂌' U+1B08D '𛂍' U+1B08E '𛂎' U+1B08F '𛂏' 
U+1B090 '𛂐' U+1B091 '𛂑' U+1B092 '𛂒' U+1B093 '𛂓' U+1B094 '𛂔' U+1B095 '𛂕' U+1B096 '𛂖' U+1B097 '𛂗' U+1B098 '𛂘' U+1B099 '𛂙' U+1B09A '𛂚' U+1B09B '𛂛' U+1B09C '𛂜' U+1B09D '𛂝' U+1B09E '𛂞' U+1B09F '𛂟' 
U+1B0A0 '𛂠' U+1B0A1 '𛂡' U+1B0A2 '𛂢' U+1B0A3 '𛂣' U+1B0A4 '𛂤' U+1B0A5 '𛂥' U+1B0A6 '𛂦' U+1B0A7 '𛂧' U+1B0A8 '𛂨' U+1B0A9 '𛂩' U+1B0AA '𛂪' U+1B0AB '𛂫' U+1B0AC '𛂬' U+1B0AD '𛂭' U+1B0AE '𛂮' U+1B0AF '𛂯' 
U+1B0B0 '𛂰' U+1B0B1 '𛂱' U+1B0B2 '𛂲' U+1B0B3 '𛂳' U+1B0B4 '𛂴' U+1B0B5 '𛂵' U+1B0B6 '𛂶' U+1B0B7 '𛂷' U+1B0B8 '𛂸' U+1B0B9 '𛂹' U+1B0BA '𛂺' U+1B0BB '𛂻' U+1B0BC '𛂼' U+1B0BD '𛂽' U+1B0BE '𛂾' U+1B0BF '𛂿' 
U+1B0C0 '𛃀' U+1B0C1 '𛃁' U+1B0C2 '𛃂' U+1B0C3 '𛃃' U+1B0C4 '𛃄' U+1B0C5 '𛃅' U+1B0C6 '𛃆' U+1B0C7 '𛃇' U+1B0C8 '𛃈' U+1B0C9 '𛃉' U+1B0CA '𛃊' U+1B0CB '𛃋' U+1B0CC '𛃌' U+1B0CD '𛃍' U+1B0CE '𛃎' U+1B0CF '𛃏' 
U+1B0D0 '𛃐' U+1B0D1 '𛃑' U+1B0D2 '𛃒' U+1B0D3 '𛃓' U+1B0D4 '𛃔' U+1B0D5 '𛃕' U+1B0D6 '𛃖' U+1B0D7 '𛃗' U+1B0D8 '𛃘' U+1B0D9 '𛃙' U+1B0DA '𛃚' U+1B0DB '𛃛' U+1B0DC '𛃜' U+1B0DD '𛃝' U+1B0DE '𛃞' U+1B0DF '𛃟' 
U+1B0E0 '𛃠' U+1B0E1 '𛃡' U+1B0E2 '𛃢' U+1B0E3 '𛃣' U+1B0E4 '𛃤' U+1B0E5 '𛃥' U+1B0E6 '𛃦' U+1B0E7 '𛃧' U+1B0E8 '𛃨' U+1B0E9 '𛃩' U+1B0EA '𛃪' U+1B0EB '𛃫' U+1B0EC '𛃬' U+1B0ED '𛃭' U+1B0EE '𛃮' U+1B0EF '𛃯' 
U+1B0F0 '𛃰' U+1B0F1 '𛃱' U+1B0F2 '𛃲' U+1B0F3 '𛃳' U+1B0F4 '𛃴' U+1B0F5 '𛃵' U+1B0F6 '𛃶' U+1B0F7 '𛃷' U+1B0F8 '𛃸' U+1B0F9 '𛃹' U+1B0FA '𛃺' U+1B0FB '𛃻' U+1B0FC '𛃼' U+1B0FD '𛃽' U+1B0FE '𛃾' U+1B0FF '𛃿' 
U+1B100 '𛄀' U+1B101 '𛄁' U+1B102 '𛄂' U+1B103 '𛄃' U+1B104 '𛄄' U+1B105 '𛄅' U+1B106 '𛄆' U+1B107 '𛄇' U+1B108 '𛄈' U+1B109 '𛄉' U+1B10A '𛄊' U+1B10B '𛄋' U+1B10C '𛄌' U+1B10D '𛄍' U+1B10E '𛄎' U+1B10F '𛄏' 
U+1B110 '𛄐' U+1B111 '𛄑' U+1B112 '𛄒' U+1B113 '𛄓' U+1B114 '𛄔' U+1B115 '𛄕' U+1B116 '𛄖' U+1B117 '𛄗' U+1B118 '𛄘' U+1B119 '𛄙' U+1B11A '𛄚' U+1B11B '𛄛' U+1B11C '𛄜' U+1B11D '𛄝' U+1B11E '𛄞' U+1B11F '𛄟' 
U+1B120 '𛄠' U+1B121 '𛄡' U+1B122 '𛄢'

皆さんの環境では見えるだろうか。

ちなみに U+1B000 (𛀀) および U+1B001 (𛀁) は Unicode 6 で “Historic Katakana” および “Historic Hiragana” として収録されたそうで，これまでの NOTO 日本語フォント等で表示できる。また U+1B120 (𛄠), U+1B121 (𛄡), U+1B122 (𛄢) は “Historic Katakana” として Unicode 14 で追加されたそうだ。

同じく Unicode 14 で追加された U+1B11F は表示されないのか？いや U+1B11F は “Historic Hiragana” に分類されているから “Hentaigana” ではないという判定なのかな？でもでも，上述の “Historic Katakana” は U+1B122 まで表示できるんだよな。うーむ，よく分からん。

まっ，細かいことは置いておいて，例として蕎麦屋の看板や暖簾に書かれている変体仮名「𛁛𛂦゙」を挙げてみる。あれって元は「楚（そ）」「者（は）」なんだそうで

楚 → 𛁛 (U+1B05B)
者 → 𛂦゙ (U+1B0A6 + U+3099; 濁点が付いてる)

ってな感じらしい。勉強になりました。

「変体仮名一覧」に変体仮名の各文字に対応する読みと元になる漢字を表にまとめてみた。参考にどうぞ。 𛂙（乃）や 𛃀（本）といった文字は今でもたまに見かける。そういえば，花札の赤短に書かれている「あかよろし²」の「か」は変体仮名で「𛀙（可）」と表記されているため，つい「あのよろし」とか読んでしまう（笑）こんな感じで変体仮名がしれっと紛れていることがあるので油断できない。

ブックマーク

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

[Comment] 著者のひとりは（あの「バイブル」とも呼ばれる）通称 “K&R” の K のほうである。この本は Go 言語の教科書と言ってもいいだろう。と思ったら絶版状態らしい（2025-01 現在）。復刊を望む！

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

変体仮名とは，簡単に言うと仮名の異体字のこと。変体仮名は明治時代に廃止されたが，店の看板などで依然使われている。コンピュータ・システムでは，地名や古い戸籍の人名などで使われていることがあるそうで「住民基本台帳収録変体仮名」として一部の変体仮名が運用されていたらしい。その後 Unicode 10 から本格的に変体仮名がサポートされるようになった。フォントとしては「IPAmj明朝フォント」が変体仮名を含む異体字を幅広くカバーしている。 ↩︎
「あかよろし」は「めっちゃいい！」くらいの意味（笑） ↩︎

変体仮名一覧

2025-10-03T04:08:42+00:00

変体仮名（仮名の異体字）を含む Unicode 仮名補助（Kana Supplement; U+1B000 - U+1B0FF）および仮名拡張A（Kana Extended-A; U+1B100 – U+1B12F）の各文字についてコードポイント・文字・読み・元になる漢字を一覧にした。コードポイント順であるが，概ね五十音順になっている。

コード	文字	読み	漢字	文字種
`U+1B000`	𛀀	`/e/`		Historic Katakana¹
`U+1B001`	𛀁	`/ye/` `/e/`	江	Historic Hiragana Hentaigana

`U+1B002`	𛀂	`/a/`	安	Hentaigana
`U+1B003`	𛀃	`/a/`	愛	Hentaigana
`U+1B004`	𛀄	`/a/`	阿	Hentaigana
`U+1B005`	𛀅	`/a/` or `/wo/`	惡	Hentaigana
`U+1B006`	𛀆	`/i/`	以	Hentaigana²
`U+1B007`	𛀇	`/i/`	伊	Hentaigana
`U+1B008`	𛀈	`/i/`	意	Hentaigana
`U+1B009`	𛀉	`/i/`	移	Hentaigana
`U+1B00A`	𛀊	`/i/`	宇	Hentaigana
`U+1B00B`	𛀋	`/u/`	宇	Hentaigana
`U+1B00C`	𛀌	`/u/`	憂	Hentaigana
`U+1B00D`	𛀍	`/u/`	有	Hentaigana
`U+1B00E`	𛀎	`/u/`	雲	Hentaigana
`U+1B00F`	𛀏	`/e/`	盈	Hentaigana
`U+1B010`	𛀐	`/e/`	縁	Hentaigana
`U+1B011`	𛀑	`/e/`	衣	Hentaigana
`U+1B012`	𛀒	`/e/`	衣	Hentaigana
`U+1B013`	𛀓	`/e/`	要	Hentaigana
`U+1B014`	𛀔	`/o/`	於	Hentaigana
`U+1B015`	𛀕	`/o/`	於	Hentaigana
`U+1B016`	𛀖	`/o/`	隱	Hentaigana

`U+1B017`	𛀗	`/ka/`	佳	Hentaigana
`U+1B018`	𛀘	`/ka/`	加	Hentaigana
`U+1B019`	𛀙	`/ka/`	可	Hentaigana
`U+1B01A`	𛀚	`/ka/`	可	Hentaigana
`U+1B01B`	𛀛	`/ka/`	嘉	Hentaigana
`U+1B01C`	𛀜	`/ka/`	我	Hentaigana
`U+1B01D`	𛀝	`/ka/`	歟	Hentaigana
`U+1B01E`	𛀞	`/ka/`	賀	Hentaigana
`U+1B01F`	𛀟	`/ka/`	閑	Hentaigana
`U+1B020`	𛀠	`/ka/`	香	Hentaigana
`U+1B021`	𛀡	`/ka/`	駕	Hentaigana
`U+1B022`	𛀢	`/ka/` or `/ke/`	家	Hentaigana
`U+1B023`	𛀣	`/ki/`	喜	Hentaigana
`U+1B024`	𛀤	`/ki/`	幾	Hentaigana
`U+1B025`	𛀥	`/ki/`	幾	Hentaigana
`U+1B026`	𛀦	`/ki/`	支	Hentaigana
`U+1B027`	𛀧	`/ki/`	木	Hentaigana
`U+1B028`	𛀨	`/ki/`	祈	Hentaigana
`U+1B029`	𛀩	`/ki/`	貴	Hentaigana
`U+1B02A`	𛀪	`/ki/`	起	Hentaigana
`U+1B02B`	𛀫	`/ku/`	久	Hentaigana
`U+1B02C`	𛀬	`/ku/`	久	Hentaigana
`U+1B02D`	𛀭	`/ku/`	九	Hentaigana
`U+1B02E`	𛀮	`/ku/`	供	Hentaigana
`U+1B02F`	𛀯	`/ku/`	倶	Hentaigana
`U+1B030`	𛀰	`/ku/`	具	Hentaigana
`U+1B031`	𛀱	`/ku/`	求	Hentaigana
`U+1B032`	𛀲	`/ke/`	介	Hentaigana
`U+1B033`	𛀳	`/ke/`	介	Hentaigana
`U+1B034`	𛀴	`/ke/`	希	Hentaigana
`U+1B035`	𛀵	`/ke/`	氣	Hentaigana
`U+1B036`	𛀶	`/ke/`	計	Hentaigana
`U+1B037`	𛀷	`/ke/`	遣	Hentaigana
`U+1B038`	𛀸	`/ko/`	古	Hentaigana
`U+1B039`	𛀹	`/ko/`	故	Hentaigana
`U+1B03A`	𛀺	`/ko/`	許	Hentaigana
`U+1B03B`	𛀻	`/ko/` or `/ki/`	期	Hentaigana

`U+1B03C`	𛀼	`/sa/`	乍	Hentaigana
`U+1B03D`	𛀽	`/sa/`	佐	Hentaigana
`U+1B03E`	𛀾	`/sa/`	佐	Hentaigana
`U+1B03F`	𛀿	`/sa/`	左	Hentaigana
`U+1B040`	𛁀	`/sa/`	差	Hentaigana
`U+1B041`	𛁁	`/sa/`	散	Hentaigana
`U+1B042`	𛁂	`/sa/`	斜	Hentaigana
`U+1B043`	𛁃	`/sa/`	沙	Hentaigana
`U+1B044`	𛁄	`/si/`	之	Hentaigana
`U+1B045`	𛁅	`/si/`	之	Hentaigana
`U+1B046`	𛁆	`/si/`	事	Hentaigana
`U+1B047`	𛁇	`/si/`	四	Hentaigana
`U+1B048`	𛁈	`/si/`	志	Hentaigana
`U+1B049`	𛁉	`/si/`	新	Hentaigana
`U+1B04A`	𛁊	`/su/`	受	Hentaigana
`U+1B04B`	𛁋	`/su/`	壽	Hentaigana
`U+1B04C`	𛁌	`/su/`	數	Hentaigana
`U+1B04D`	𛁍	`/su/`	數	Hentaigana
`U+1B04E`	𛁎	`/su/`	春	Hentaigana
`U+1B04F`	𛁏	`/su/`	春	Hentaigana
`U+1B050`	𛁐	`/su/`	須	Hentaigana
`U+1B051`	𛁑	`/su/`	須	Hentaigana
`U+1B052`	𛁒	`/se/`	世	Hentaigana
`U+1B053`	𛁓	`/se/`	世	Hentaigana
`U+1B054`	𛁔	`/se/`	世	Hentaigana
`U+1B055`	𛁕	`/se/`	勢	Hentaigana
`U+1B056`	𛁖	`/se/`	聲	Hentaigana
`U+1B057`	𛁗	`/so/`	所	Hentaigana
`U+1B058`	𛁘	`/so/`	所	Hentaigana
`U+1B059`	𛁙	`/so/`	曾	Hentaigana
`U+1B05A`	𛁚	`/so/`	曾	Hentaigana
`U+1B05B`	𛁛	`/so/`	楚	Hentaigana
`U+1B05C`	𛁜	`/so/`	蘇	Hentaigana
`U+1B05D`	𛁝	`/so/`	處	Hentaigana

`U+1B05E`	𛁞	`/ta/`	堂	Hentaigana
`U+1B05F`	𛁟	`/ta/`	多	Hentaigana
`U+1B060`	𛁠	`/ta/`	多	Hentaigana
`U+1B061`	𛁡	`/ta/`	當	Hentaigana
`U+1B062`	𛁢	`/ti/`	千	Hentaigana
`U+1B063`	𛁣	`/ti/`	地	Hentaigana
`U+1B064`	𛁤	`/ti/`	智	Hentaigana
`U+1B065`	𛁥	`/ti/`	知	Hentaigana
`U+1B066`	𛁦	`/ti/`	知	Hentaigana
`U+1B067`	𛁧	`/ti/`	致	Hentaigana
`U+1B068`	𛁨	`/ti/`	遲	Hentaigana
`U+1B069`	𛁩	`/tu/`	川	Hentaigana
`U+1B06A`	𛁪	`/tu/`	川	Hentaigana
`U+1B06B`	𛁫	`/tu/`	津	Hentaigana
`U+1B06C`	𛁬	`/tu/`	都	Hentaigana
`U+1B06D`	𛁭	`/tu/` or `/to/`	徒	Hentaigana
`U+1B06E`	𛁮	`/te/`	亭	Hentaigana
`U+1B06F`	𛁯	`/te/`	低	Hentaigana
`U+1B070`	𛁰	`/te/`	傳	Hentaigana
`U+1B071`	𛁱	`/te/`	天	Hentaigana
`U+1B072`	𛁲	`/te/`	天	Hentaigana
`U+1B073`	𛁳	`/te/`	天	Hentaigana
`U+1B074`	𛁴	`/te/`	帝	Hentaigana
`U+1B075`	𛁵	`/te/`	弖	Hentaigana
`U+1B076`	𛁶	`/te/`	轉	Hentaigana
`U+1B077`	𛁷	`/to/`	土	Hentaigana
`U+1B078`	𛁸	`/to/`	度	Hentaigana
`U+1B079`	𛁹	`/to/`	東	Hentaigana
`U+1B07A`	𛁺	`/to/`	登	Hentaigana
`U+1B07B`	𛁻	`/to/`	登	Hentaigana
`U+1B07C`	𛁼	`/to/`	砥	Hentaigana
`U+1B07D`	𛁽	`/to/` or `/ra/`	等	Hentaigana

`U+1B07E`	𛁾	`/na/`	南	Hentaigana
`U+1B07F`	𛁿	`/na/`	名	Hentaigana
`U+1B080`	𛂀	`/na/`	奈	Hentaigana
`U+1B081`	𛂁	`/na/`	奈	Hentaigana
`U+1B082`	𛂂	`/na/`	奈	Hentaigana
`U+1B083`	𛂃	`/na/`	菜	Hentaigana
`U+1B084`	𛂄	`/na/`	那	Hentaigana
`U+1B085`	𛂅	`/na/`	那	Hentaigana
`U+1B086`	𛂆	`/na/`	難	Hentaigana
`U+1B087`	𛂇	`/ni/`	丹	Hentaigana
`U+1B088`	𛂈	`/ni/`	二	Hentaigana
`U+1B089`	𛂉	`/ni/`	仁	Hentaigana
`U+1B08A`	𛂊	`/ni/`	兒	Hentaigana
`U+1B08B`	𛂋	`/ni/`	爾	Hentaigana
`U+1B08C`	𛂌	`/ni/`	爾	Hentaigana
`U+1B08D`	𛂍	`/ni/`	耳	Hentaigana
`U+1B08E`	𛂎	`/ni/` or `/te/`	而	Hentaigana
`U+1B08F`	𛂏	`/nu/`	努	Hentaigana
`U+1B090`	𛂐	`/nu/`	奴	Hentaigana
`U+1B091`	𛂑	`/nu/`	怒	Hentaigana
`U+1B092`	𛂒	`/ne/`	年	Hentaigana
`U+1B093`	𛂓	`/ne/`	年	Hentaigana
`U+1B094`	𛂔	`/ne/`	年	Hentaigana
`U+1B095`	𛂕	`/ne/`	根	Hentaigana
`U+1B096`	𛂖	`/ne/`	熱	Hentaigana
`U+1B097`	𛂗	`/ne/`	禰	Hentaigana
`U+1B098`	𛂘	`/ne/` or `/ko/`	子	Hentaigana
`U+1B099`	𛂙	`/no/`	乃	Hentaigana
`U+1B09A`	𛂚	`/no/`	濃	Hentaigana
`U+1B09B`	𛂛	`/no/`	能	Hentaigana
`U+1B09C`	𛂜	`/no/`	能	Hentaigana
`U+1B09D`	𛂝	`/no/`	農	Hentaigana

`U+1B09E`	𛂞	`/ha/`	八	Hentaigana
`U+1B09F`	𛂟	`/ha/`	半	Hentaigana
`U+1B0A0`	𛂠	`/ha/`	婆	Hentaigana
`U+1B0A1`	𛂡	`/ha/`	波	Hentaigana
`U+1B0A2`	𛂢	`/ha/`	盤	Hentaigana
`U+1B0A3`	𛂣	`/ha/`	盤	Hentaigana
`U+1B0A4`	𛂤	`/ha/`	破	Hentaigana
`U+1B0A5`	𛂥	`/ha/`	者	Hentaigana
`U+1B0A6`	𛂦	`/ha/`	者	Hentaigana
`U+1B0A7`	𛂧	`/ha/`	葉	Hentaigana
`U+1B0A8`	𛂨	`/ha/`	頗	Hentaigana
`U+1B0A9`	𛂩	`/hi/`	悲	Hentaigana
`U+1B0AA`	𛂪	`/hi/`	日	Hentaigana
`U+1B0AB`	𛂫	`/hi/`	比	Hentaigana
`U+1B0AC`	𛂬	`/hi/`	避	Hentaigana
`U+1B0AD`	𛂭	`/hi/`	非	Hentaigana
`U+1B0AE`	𛂮	`/hi/`	飛	Hentaigana
`U+1B0AF`	𛂯	`/hi/`	飛	Hentaigana
`U+1B0B0`	𛂰	`/hu/`	不	Hentaigana
`U+1B0B1`	𛂱	`/hu/`	婦	Hentaigana
`U+1B0B2`	𛂲	`/hu/`	布	Hentaigana
`U+1B0B3`	𛂳	`/he/`	倍	Hentaigana
`U+1B0B4`	𛂴	`/he/`	弊	Hentaigana
`U+1B0B5`	𛂵	`/he/`	弊	Hentaigana
`U+1B0B6`	𛂶	`/he/`	遍	Hentaigana
`U+1B0B7`	𛂷	`/he/`	邊	Hentaigana
`U+1B0B8`	𛂸	`/he/`	邊	Hentaigana
`U+1B0B9`	𛂹	`/he/`	部	Hentaigana
`U+1B0BA`	𛂺	`/ho/`	保	Hentaigana
`U+1B0BB`	𛂻	`/ho/`	保	Hentaigana
`U+1B0BC`	𛂼	`/ho/`	報	Hentaigana
`U+1B0BD`	𛂽	`/ho/`	奉	Hentaigana
`U+1B0BE`	𛂾	`/ho/`	寶	Hentaigana
`U+1B0BF`	𛂿	`/ho/`	本	Hentaigana
`U+1B0C0`	𛃀	`/ho/`	本	Hentaigana
`U+1B0C1`	𛃁	`/ho/`	豐	Hentaigana

`U+1B0C2`	𛃂	`/ma/`	万	Hentaigana
`U+1B0C3`	𛃃	`/ma/`	末	Hentaigana
`U+1B0C4`	𛃄	`/ma/`	末	Hentaigana
`U+1B0C5`	𛃅	`/ma/`	滿	Hentaigana
`U+1B0C6`	𛃆	`/ma/`	滿	Hentaigana
`U+1B0C7`	𛃇	`/ma/`	萬	Hentaigana
`U+1B0C8`	𛃈	`/ma/`	麻	Hentaigana
`U+1B0C9`	𛃉	`/mi/`	三	Hentaigana
`U+1B0CA`	𛃊	`/mi/`	微	Hentaigana
`U+1B0CB`	𛃋	`/mi/`	美	Hentaigana
`U+1B0CC`	𛃌	`/mi/`	美	Hentaigana
`U+1B0CD`	𛃍	`/mi/`	美	Hentaigana
`U+1B0CE`	𛃎	`/mi/`	見	Hentaigana
`U+1B0CF`	𛃏	`/mi/`	身	Hentaigana
`U+1B0D0`	𛃐	`/mu/`	武	Hentaigana
`U+1B0D1`	𛃑	`/mu/`	無	Hentaigana
`U+1B0D2`	𛃒	`/mu/`	牟	Hentaigana
`U+1B0D3`	𛃓	`/mu/`	舞	Hentaigana
`U+1B0D4`	𛃔	`/me/`	免	Hentaigana
`U+1B0D5`	𛃕	`/me/`	面	Hentaigana
`U+1B0D6`	𛃖	`/me/` or `/ma/`	馬	Hentaigana
`U+1B0D7`	𛃗	`/mo/`	母	Hentaigana
`U+1B0D8`	𛃘	`/mo/`	毛	Hentaigana
`U+1B0D9`	𛃙	`/mo/`	毛	Hentaigana
`U+1B0DA`	𛃚	`/mo/`	毛	Hentaigana
`U+1B0DB`	𛃛	`/mo/`	茂	Hentaigana
`U+1B0DC`	𛃜	`/mo/`	裳	Hentaigana

`U+1B0DD`	𛃝	`/ya/`	也	Hentaigana
`U+1B0DE`	𛃞	`/ya/`	也	Hentaigana
`U+1B0DF`	𛃟	`/ya/`	屋	Hentaigana
`U+1B0E0`	𛃠	`/ya/`	耶	Hentaigana
`U+1B0E1`	𛃡	`/ya/`	耶	Hentaigana
`U+1B0E2`	𛃢	`/ya/`	夜	Hentaigana
`U+1B0E3`	𛃣	`/yu/`	游	Hentaigana
`U+1B0E4`	𛃤	`/yu/`	由	Hentaigana
`U+1B0E5`	𛃥	`/yu/`	由	Hentaigana
`U+1B0E6`	𛃦	`/yu/`	遊	Hentaigana
`U+1B0E7`	𛃧	`/yo/`	代	Hentaigana
`U+1B0E8`	𛃨	`/yo/`	余	Hentaigana
`U+1B0E9`	𛃩	`/yo/`	與	Hentaigana
`U+1B0EA`	𛃪	`/yo/`	與	Hentaigana
`U+1B0EB`	𛃫	`/yo/`	與	Hentaigana
`U+1B0EC`	𛃬	`/yo/`	餘	Hentaigana

`U+1B0ED`	𛃭	`/ra/`	羅	Hentaigana
`U+1B0EE`	𛃮	`/ra/`	良	Hentaigana
`U+1B0EF`	𛃯	`/ra/`	良	Hentaigana
`U+1B0F0`	𛃰	`/ra/`	良	Hentaigana
`U+1B0F1`	𛃱	`/ri/`	利	Hentaigana
`U+1B0F2`	𛃲	`/ri/`	利	Hentaigana
`U+1B0F3`	𛃳	`/ri/`	李	Hentaigana
`U+1B0F4`	𛃴	`/ri/`	梨	Hentaigana
`U+1B0F5`	𛃵	`/ri/`	理	Hentaigana
`U+1B0F6`	𛃶	`/ri/`	里	Hentaigana
`U+1B0F7`	𛃷	`/ri/`	離	Hentaigana
`U+1B0F8`	𛃸	`/ru/`	流	Hentaigana
`U+1B0F9`	𛃹	`/ru/`	留	Hentaigana
`U+1B0FA`	𛃺	`/ru/`	留	Hentaigana
`U+1B0FB`	𛃻	`/ru/`	留	Hentaigana
`U+1B0FC`	𛃼	`/ru/`	累	Hentaigana
`U+1B0FD`	𛃽	`/ru/`	類	Hentaigana
`U+1B0FE`	𛃾	`/re/`	禮	Hentaigana
`U+1B0FF`	𛃿	`/re/`	禮	Hentaigana
`U+1B100`	𛄀	`/re/`	連	Hentaigana
`U+1B101`	𛄁	`/re/`	麗	Hentaigana
`U+1B102`	𛄂	`/ro/`	呂	Hentaigana
`U+1B103`	𛄃	`/ro/`	呂	Hentaigana
`U+1B104`	𛄄	`/ro/`	婁	Hentaigana
`U+1B105`	𛄅	`/ro/`	樓	Hentaigana
`U+1B106`	𛄆	`/ro/`	路	Hentaigana
`U+1B107`	𛄇	`/ro/`	露	Hentaigana

`U+1B108`	𛄈	`/wa/`	倭	Hentaigana
`U+1B109`	𛄉	`/wa/`	和	Hentaigana
`U+1B10A`	𛄊	`/wa/`	和	Hentaigana
`U+1B10B`	𛄋	`/wa/`	王	Hentaigana
`U+1B10C`	𛄌	`/wa/`	王	Hentaigana
`U+1B10D`	𛄍	`/wi/`	井	Hentaigana
`U+1B10E`	𛄎	`/wi/`	井	Hentaigana
`U+1B10F`	𛄏	`/wi/`	居	Hentaigana
`U+1B110`	𛄐	`/wi/`	爲	Hentaigana
`U+1B111`	𛄑	`/wi/`	遺	Hentaigana
`U+1B112`	𛄒	`/we/`	惠	Hentaigana
`U+1B113`	𛄓	`/we/`	衞	Hentaigana
`U+1B114`	𛄔	`/we/`	衞	Hentaigana
`U+1B115`	𛄕	`/we/`	衞	Hentaigana
`U+1B116`	𛄖	`/wo/`	乎	Hentaigana
`U+1B117`	𛄗	`/wo/`	乎	Hentaigana
`U+1B118`	𛄘	`/wo/`	尾	Hentaigana
`U+1B119`	𛄙	`/wo/`	緒	Hentaigana
`U+1B11A`	𛄚	`/wo/`	越	Hentaigana
`U+1B11B`	𛄛	`/wo/`	遠	Hentaigana
`U+1B11C`	𛄜	`/wo/`	遠	Hentaigana

`U+1B11D`	𛄝	`/n/` or `/mu/` or `/mo/`	无	Hentaigana
`U+1B11E`	𛄞	`/n/` or `/mu/` or `/mo/`	无	Hentaigana

`U+1B11F`	𛄟	`/wu/`	汙	Historic Hiragana
`U+1B120`	𛄠	`/yi/`		Historic Katakana
`U+1B121`	𛄡	`/ye/`		Historic Katakana
`U+1B122`	𛄢	`/wu/`		Historic Katakana

ブックマーク

「𛀀」はヤ行エ段の文字（𛄡）を「エ」と表記していた時代の表記。 ↩︎
「𛀆」をや行い段の文字とする場合もある？ ↩︎

“Text to Math Converter” に Unicode の業の深さを見る

2023-01-01T02:52:00+00:00

『数学ガール』シリーズでおなじみ結城浩さんが面白いツール（サービス）を公開されている。

Text to Math Converter - textmath.hyuki.net

早速試してみる。

Text to Math Converterより

変換結果の “𝐸 = 𝑚𝑐²” は Twitter や Mastodon の tweet や toot としてそのままコピペできる。

ホンマに「どうなってるんだ？」と20秒くらい考えてしまったが，そうか Unicode 文字で表現してるのか，と気がついた（気づくのが遅い）。試しに拙作の gnkf でダンプしてみる。

$ echo 𝐸 = 𝑚𝑐² | gnkf dump -u
0x0001d438, 0x0020, 0x003d, 0x0020, 0x0001d45a, 0x0001d450, 0x00b2, 0x000a

おー，なるほど。

イタリックの英字は「数学用英数字記号（Mathematical Alphanumeric Symbols: U+1D400 〜 U+1D7FF）」として定義されているらしい¹。あくまで数学記号なので，通常の文章で装飾文字として使うなってあるね。たしかにホモグラフ攻撃とかに使えそうだもんな（笑）

上付き文字の U+00B2 は ISO/IEC 8859-1 (通称 Latin-1) で定義されているものと同じである²。

ISO/IEC 8859-1 - Wikipediaより

この表を見ると上付き文字の数字は 1〜3 しかないな。 0 や 4 以降はどうなってるかというと “Superscripts and Subscripts ” (U+2070 〜 U+209F) で定義されているらしい。

つまり x^4 → 𝑥⁴ は

$ echo 𝑥⁴ | gnkf dump -u
0x0001d465, 0x2074, 0x000a

と展開されているわけだ。

これらを踏まえて “Text to Math Converter” では利用可能な文字³ を

Text to Math Converterより

としているようだ（~~a e o x の下付き文字 U+2090 〜 U+2093 がない理由は不明~~ ← 単純に抜けてたそうです。現在は入力可）。これ以外の文字は変換されずにそのまま出力されるみたい。たとえば |a_m - a_n| < d → |𝑎ₘ - 𝑎ₙ| < 𝑑 とかいった感じ。

しかし，まぁ，元日早々から Unicode の業の深さを垣間見てしまった感じである。でも “Text to Math Converter” 自体は面白いので，これからお世話になるかもしれない。もちろん，このブログでは今までどおり MathJax で $E = mc^2$ → $E = mc^2$ と表記するので，本年もよろしくおねがいします。

ブックマーク

ちょこっと MathJax

参考図書

[改訂第8版]LaTeX2ε美文書作成入門: 奥村晴彦 (著), 黒木裕介 (著); 技術評論社 2020-11-14; 大型本; 4297117126 (ASIN), 9784297117122 (EAN), 4297117126 (ISBN); 評価

[Comment] 2020年末に第8版が出てたのに気付かなかったよ。可能なら紙の本も買って常に側に置いておくのが吉。版元には PDF 版もある。

reviewed by Spiegel on 2021-09-05 (powered by PA-APIv5)

数学用英数字記号の詳細については公式の “Mathematical Alphanumeric Symbols ” を参照のこと。 ↩︎
というか Unicode の U+00FF までは ISO/IEC 8859-1 と同じである。 ↩︎
利用可能な文字や記号は随時追加されている。 ↩︎

GNKF: NKF ぽいなにかの v0.6.3 をリリースした

2021-09-18T09:40:49+00:00

Go における文字列処理の習作 gnkf の v0.6.3 をリリースした。

Release v0.6.3 · spiegel-im-spiegel/gnkf · GitHub

さっき上げたブログ記事

Unicode のカタカナを調べる

から，全角・半角変換とかなカナ変換に対応できてない仮名文字があることに気づいたので修正した。

なお gnkf では変体仮名は無視することにした。アレは（歴史的経緯はともかく文字処理としては）異体字というより「そういう文字」と考えたほうがよさそう。 Unicode 正規化でも通常の仮名文字への変換はしないみたいだし。

まぁ，個人的に需要が発生すれば対応するということで。

ブックマーク

GNKF: Network Kanji Filter by Golang

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

Unicode のカタカナを調べる

2021-09-18T04:15:18+00:00

Qiita で

Goでカタカナバリデーションを実装しようとしたが、unicodeパッケージのKatakanaテーブルには記号なども含まれていた。 - Qiita

という記事を見かけたので，自分でも調べてみる。

上の記事にもある通り unicode.Katakana は以下の範囲で定義されている。

var _Katakana = &RangeTable{
    R16: []Range16{
        {0x30a1, 0x30fa, 1},
        {0x30fd, 0x30ff, 1},
        {0x31f0, 0x31ff, 1},
        {0x32d0, 0x32fe, 1},
        {0x3300, 0x3357, 1},
        {0xff66, 0xff6f, 1},
        {0xff71, 0xff9d, 1},
    },
    R32: []Range32{
        {0x1aff0, 0x1aff3, 1},
        {0x1aff5, 0x1affb, 1},
        {0x1affd, 0x1affe, 1},
        {0x1b000, 0x1b120, 288},
        {0x1b121, 0x1b122, 1},
        {0x1b155, 0x1b164, 15},
        {0x1b165, 0x1b167, 1},
    },
}

面倒なので 0x30a1 から 0x1b167 まで片っ端からスキャンしてしまおう（笑）

package main

import (
    "fmt"
    "unicode"
)

func main() {
    i := 0
    for c := rune(0x30a1); c <= rune(0x1b167); c++ {
        if unicode.In(c, unicode.Katakana) {
            fmt.Printf("%#U ", c)
            i++
            i &= 0x0f
            if i == 0 {
                fmt.Println()
            }
        }
    }
    fmt.Println()
}

これを実行すると以下の通り。

$ go run sample1.go
U+30A1 'ァ' U+30A2 'ア' U+30A3 'ィ' U+30A4 'イ' U+30A5 'ゥ' U+30A6 'ウ' U+30A7 'ェ' U+30A8 'エ' U+30A9 'ォ' U+30AA 'オ' U+30AB 'カ' U+30AC 'ガ' U+30AD 'キ' U+30AE 'ギ' U+30AF 'ク' U+30B0 'グ' 
U+30B1 'ケ' U+30B2 'ゲ' U+30B3 'コ' U+30B4 'ゴ' U+30B5 'サ' U+30B6 'ザ' U+30B7 'シ' U+30B8 'ジ' U+30B9 'ス' U+30BA 'ズ' U+30BB 'セ' U+30BC 'ゼ' U+30BD 'ソ' U+30BE 'ゾ' U+30BF 'タ' U+30C0 'ダ' 
U+30C1 'チ' U+30C2 'ヂ' U+30C3 'ッ' U+30C4 'ツ' U+30C5 'ヅ' U+30C6 'テ' U+30C7 'デ' U+30C8 'ト' U+30C9 'ド' U+30CA 'ナ' U+30CB 'ニ' U+30CC 'ヌ' U+30CD 'ネ' U+30CE 'ノ' U+30CF 'ハ' U+30D0 'バ' 
U+30D1 'パ' U+30D2 'ヒ' U+30D3 'ビ' U+30D4 'ピ' U+30D5 'フ' U+30D6 'ブ' U+30D7 'プ' U+30D8 'ヘ' U+30D9 'ベ' U+30DA 'ペ' U+30DB 'ホ' U+30DC 'ボ' U+30DD 'ポ' U+30DE 'マ' U+30DF 'ミ' U+30E0 'ム' 
U+30E1 'メ' U+30E2 'モ' U+30E3 'ャ' U+30E4 'ヤ' U+30E5 'ュ' U+30E6 'ユ' U+30E7 'ョ' U+30E8 'ヨ' U+30E9 'ラ' U+30EA 'リ' U+30EB 'ル' U+30EC 'レ' U+30ED 'ロ' U+30EE 'ヮ' U+30EF 'ワ' U+30F0 'ヰ' 
U+30F1 'ヱ' U+30F2 'ヲ' U+30F3 'ン' U+30F4 'ヴ' U+30F5 'ヵ' U+30F6 'ヶ' U+30F7 'ヷ' U+30F8 'ヸ' U+30F9 'ヹ' U+30FA 'ヺ' U+30FD 'ヽ' U+30FE 'ヾ' U+30FF 'ヿ' U+31F0 'ㇰ' U+31F1 'ㇱ' U+31F2 'ㇲ' 
U+31F3 'ㇳ' U+31F4 'ㇴ' U+31F5 'ㇵ' U+31F6 'ㇶ' U+31F7 'ㇷ' U+31F8 'ㇸ' U+31F9 'ㇹ' U+31FA 'ㇺ' U+31FB 'ㇻ' U+31FC 'ㇼ' U+31FD 'ㇽ' U+31FE 'ㇾ' U+31FF 'ㇿ' U+32D0 '㋐' U+32D1 '㋑' U+32D2 '㋒' 
U+32D3 '㋓' U+32D4 '㋔' U+32D5 '㋕' U+32D6 '㋖' U+32D7 '㋗' U+32D8 '㋘' U+32D9 '㋙' U+32DA '㋚' U+32DB '㋛' U+32DC '㋜' U+32DD '㋝' U+32DE '㋞' U+32DF '㋟' U+32E0 '㋠' U+32E1 '㋡' U+32E2 '㋢' 
U+32E3 '㋣' U+32E4 '㋤' U+32E5 '㋥' U+32E6 '㋦' U+32E7 '㋧' U+32E8 '㋨' U+32E9 '㋩' U+32EA '㋪' U+32EB '㋫' U+32EC '㋬' U+32ED '㋭' U+32EE '㋮' U+32EF '㋯' U+32F0 '㋰' U+32F1 '㋱' U+32F2 '㋲' 
U+32F3 '㋳' U+32F4 '㋴' U+32F5 '㋵' U+32F6 '㋶' U+32F7 '㋷' U+32F8 '㋸' U+32F9 '㋹' U+32FA '㋺' U+32FB '㋻' U+32FC '㋼' U+32FD '㋽' U+32FE '㋾' U+3300 '㌀' U+3301 '㌁' U+3302 '㌂' U+3303 '㌃' 
U+3304 '㌄' U+3305 '㌅' U+3306 '㌆' U+3307 '㌇' U+3308 '㌈' U+3309 '㌉' U+330A '㌊' U+330B '㌋' U+330C '㌌' U+330D '㌍' U+330E '㌎' U+330F '㌏' U+3310 '㌐' U+3311 '㌑' U+3312 '㌒' U+3313 '㌓' 
U+3314 '㌔' U+3315 '㌕' U+3316 '㌖' U+3317 '㌗' U+3318 '㌘' U+3319 '㌙' U+331A '㌚' U+331B '㌛' U+331C '㌜' U+331D '㌝' U+331E '㌞' U+331F '㌟' U+3320 '㌠' U+3321 '㌡' U+3322 '㌢' U+3323 '㌣' 
U+3324 '㌤' U+3325 '㌥' U+3326 '㌦' U+3327 '㌧' U+3328 '㌨' U+3329 '㌩' U+332A '㌪' U+332B '㌫' U+332C '㌬' U+332D '㌭' U+332E '㌮' U+332F '㌯' U+3330 '㌰' U+3331 '㌱' U+3332 '㌲' U+3333 '㌳' 
U+3334 '㌴' U+3335 '㌵' U+3336 '㌶' U+3337 '㌷' U+3338 '㌸' U+3339 '㌹' U+333A '㌺' U+333B '㌻' U+333C '㌼' U+333D '㌽' U+333E '㌾' U+333F '㌿' U+3340 '㍀' U+3341 '㍁' U+3342 '㍂' U+3343 '㍃' 
U+3344 '㍄' U+3345 '㍅' U+3346 '㍆' U+3347 '㍇' U+3348 '㍈' U+3349 '㍉' U+334A '㍊' U+334B '㍋' U+334C '㍌' U+334D '㍍' U+334E '㍎' U+334F '㍏' U+3350 '㍐' U+3351 '㍑' U+3352 '㍒' U+3353 '㍓' 
U+3354 '㍔' U+3355 '㍕' U+3356 '㍖' U+3357 '㍗' U+FF66 'ｦ' U+FF67 'ｧ' U+FF68 'ｨ' U+FF69 'ｩ' U+FF6A 'ｪ' U+FF6B 'ｫ' U+FF6C 'ｬ' U+FF6D 'ｭ' U+FF6E 'ｮ' U+FF6F 'ｯ' U+FF71 'ｱ' U+FF72 'ｲ' 
U+FF73 'ｳ' U+FF74 'ｴ' U+FF75 'ｵ' U+FF76 'ｶ' U+FF77 'ｷ' U+FF78 'ｸ' U+FF79 'ｹ' U+FF7A 'ｺ' U+FF7B 'ｻ' U+FF7C 'ｼ' U+FF7D 'ｽ' U+FF7E 'ｾ' U+FF7F 'ｿ' U+FF80 'ﾀ' U+FF81 'ﾁ' U+FF82 'ﾂ' 
U+FF83 'ﾃ' U+FF84 'ﾄ' U+FF85 'ﾅ' U+FF86 'ﾆ' U+FF87 'ﾇ' U+FF88 'ﾈ' U+FF89 'ﾉ' U+FF8A 'ﾊ' U+FF8B 'ﾋ' U+FF8C 'ﾌ' U+FF8D 'ﾍ' U+FF8E 'ﾎ' U+FF8F 'ﾏ' U+FF90 'ﾐ' U+FF91 'ﾑ' U+FF92 'ﾒ' 
U+FF93 'ﾓ' U+FF94 'ﾔ' U+FF95 'ﾕ' U+FF96 'ﾖ' U+FF97 'ﾗ' U+FF98 'ﾘ' U+FF99 'ﾙ' U+FF9A 'ﾚ' U+FF9B 'ﾛ' U+FF9C 'ﾜ' U+FF9D 'ﾝ' U+1AFF0 '𚿰' U+1AFF1 '𚿱' U+1AFF2 '𚿲' U+1AFF3 '𚿳' U+1AFF5 '𚿵' 
U+1AFF6 '𚿶' U+1AFF7 '𚿷' U+1AFF8 '𚿸' U+1AFF9 '𚿹' U+1AFFA '𚿺' U+1AFFB '𚿻' U+1AFFD '𚿽' U+1AFFE '𚿾' U+1B000 '𛀀' U+1B120 '𛄠' U+1B121 '𛄡' U+1B122 '𛄢' U+1B155 '𛅕' U+1B164 '𛅤' U+1B165 '𛅥' U+1B166 '𛅦' 
U+1B167 '𛅧'

まぢか。これは困るわ。

U+1AFF0 から U+1AFFE は声調記号と言うそうな¹。 U+1B000 および U+1B120 から U+1B122 は Unicode では “Historic Katakana” と分類されている²。また U+1B155 は小書きの「コ」で U+1B164 以降の4文字は小書きの「ヰ」「ヱ」「ヲ」「ン」だそうな。

じゃあ，次。上のカタカナを unicode.Letter 種別で絞り込んだらどうなるか。

package main

import (
    "fmt"
    "unicode"
)

func main() {
    i := 0
    for c := rune(0x30a1); c <= rune(0x1b167); c++ {
        if unicode.In(c, unicode.Katakana) && unicode.IsLetter(c) {
            fmt.Printf("%#U ", c)
            i++
            i &= 0x0f
            if i == 0 {
                fmt.Println()
            }
        }
    }
    fmt.Println()
}

これを実行すると以下の通り。

$ go run sample2.go
U+30A1 'ァ' U+30A2 'ア' U+30A3 'ィ' U+30A4 'イ' U+30A5 'ゥ' U+30A6 'ウ' U+30A7 'ェ' U+30A8 'エ' U+30A9 'ォ' U+30AA 'オ' U+30AB 'カ' U+30AC 'ガ' U+30AD 'キ' U+30AE 'ギ' U+30AF 'ク' U+30B0 'グ' 
U+30B1 'ケ' U+30B2 'ゲ' U+30B3 'コ' U+30B4 'ゴ' U+30B5 'サ' U+30B6 'ザ' U+30B7 'シ' U+30B8 'ジ' U+30B9 'ス' U+30BA 'ズ' U+30BB 'セ' U+30BC 'ゼ' U+30BD 'ソ' U+30BE 'ゾ' U+30BF 'タ' U+30C0 'ダ' 
U+30C1 'チ' U+30C2 'ヂ' U+30C3 'ッ' U+30C4 'ツ' U+30C5 'ヅ' U+30C6 'テ' U+30C7 'デ' U+30C8 'ト' U+30C9 'ド' U+30CA 'ナ' U+30CB 'ニ' U+30CC 'ヌ' U+30CD 'ネ' U+30CE 'ノ' U+30CF 'ハ' U+30D0 'バ' 
U+30D1 'パ' U+30D2 'ヒ' U+30D3 'ビ' U+30D4 'ピ' U+30D5 'フ' U+30D6 'ブ' U+30D7 'プ' U+30D8 'ヘ' U+30D9 'ベ' U+30DA 'ペ' U+30DB 'ホ' U+30DC 'ボ' U+30DD 'ポ' U+30DE 'マ' U+30DF 'ミ' U+30E0 'ム' 
U+30E1 'メ' U+30E2 'モ' U+30E3 'ャ' U+30E4 'ヤ' U+30E5 'ュ' U+30E6 'ユ' U+30E7 'ョ' U+30E8 'ヨ' U+30E9 'ラ' U+30EA 'リ' U+30EB 'ル' U+30EC 'レ' U+30ED 'ロ' U+30EE 'ヮ' U+30EF 'ワ' U+30F0 'ヰ' 
U+30F1 'ヱ' U+30F2 'ヲ' U+30F3 'ン' U+30F4 'ヴ' U+30F5 'ヵ' U+30F6 'ヶ' U+30F7 'ヷ' U+30F8 'ヸ' U+30F9 'ヹ' U+30FA 'ヺ' U+30FD 'ヽ' U+30FE 'ヾ' U+30FF 'ヿ' U+31F0 'ㇰ' U+31F1 'ㇱ' U+31F2 'ㇲ' 
U+31F3 'ㇳ' U+31F4 'ㇴ' U+31F5 'ㇵ' U+31F6 'ㇶ' U+31F7 'ㇷ' U+31F8 'ㇸ' U+31F9 'ㇹ' U+31FA 'ㇺ' U+31FB 'ㇻ' U+31FC 'ㇼ' U+31FD 'ㇽ' U+31FE 'ㇾ' U+31FF 'ㇿ' U+FF66 'ｦ' U+FF67 'ｧ' U+FF68 'ｨ' 
U+FF69 'ｩ' U+FF6A 'ｪ' U+FF6B 'ｫ' U+FF6C 'ｬ' U+FF6D 'ｭ' U+FF6E 'ｮ' U+FF6F 'ｯ' U+FF71 'ｱ' U+FF72 'ｲ' U+FF73 'ｳ' U+FF74 'ｴ' U+FF75 'ｵ' U+FF76 'ｶ' U+FF77 'ｷ' U+FF78 'ｸ' U+FF79 'ｹ' 
U+FF7A 'ｺ' U+FF7B 'ｻ' U+FF7C 'ｼ' U+FF7D 'ｽ' U+FF7E 'ｾ' U+FF7F 'ｿ' U+FF80 'ﾀ' U+FF81 'ﾁ' U+FF82 'ﾂ' U+FF83 'ﾃ' U+FF84 'ﾄ' U+FF85 'ﾅ' U+FF86 'ﾆ' U+FF87 'ﾇ' U+FF88 'ﾈ' U+FF89 'ﾉ' 
U+FF8A 'ﾊ' U+FF8B 'ﾋ' U+FF8C 'ﾌ' U+FF8D 'ﾍ' U+FF8E 'ﾎ' U+FF8F 'ﾏ' U+FF90 'ﾐ' U+FF91 'ﾑ' U+FF92 'ﾒ' U+FF93 'ﾓ' U+FF94 'ﾔ' U+FF95 'ﾕ' U+FF96 'ﾖ' U+FF97 'ﾗ' U+FF98 'ﾘ' U+FF99 'ﾙ' 
U+FF9A 'ﾚ' U+FF9B 'ﾛ' U+FF9C 'ﾜ' U+FF9D 'ﾝ' U+1AFF0 '𚿰' U+1AFF1 '𚿱' U+1AFF2 '𚿲' U+1AFF3 '𚿳' U+1AFF5 '𚿵' U+1AFF6 '𚿶' U+1AFF7 '𚿷' U+1AFF8 '𚿸' U+1AFF9 '𚿹' U+1AFFA '𚿺' U+1AFFB '𚿻' U+1AFFD '𚿽' 
U+1AFFE '𚿾' U+1B000 '𛀀' U+1B120 '𛄠' U+1B121 '𛄡' U+1B122 '𛄢' U+1B155 '𛅕' U+1B164 '𛅤' U+1B165 '𛅥' U+1B166 '𛅦' U+1B167 '𛅧'

声調記号が含まれるけど，いいのか？他の記号はちゃんと排除できてるな。

注意点としては unicode.Katakana では濁点・半濁点の結合文字が除外されるということだろうか。あと半角カナを識別する unicode.RangeTable テーブルはなさそうだ。まぁ，単純だから自前で作ればいいんだけど。こんな感じかな。

package main

import (
    "fmt"
    "unicode"
)

var halfWidthKatakana = &unicode.RangeTable{
    R16: []unicode.Range16{
        {0xff61, 0xff9f, 1},
    },
    R32: []unicode.Range32{},
}

func main() {
    i := 0
    for c := rune(0x30a1); c <= rune(0x1b167); c++ {
        if unicode.In(c, unicode.Katakana) && unicode.In(c, halfWidthKatakana) {
            fmt.Printf("%#U ", c)
            i++
            i &= 0x0f
            if i == 0 {
                fmt.Println()
            }
        }
    }
    fmt.Println()
}

halfWidthKatakana は JIS X 0201 の JIS カナ領域を（記号を含めて）全てカバーしている点に注意。上のコードのように，これと unicode.Katakana を組み合わせれば

$ go run sample3.go
U+FF66 'ｦ' U+FF67 'ｧ' U+FF68 'ｨ' U+FF69 'ｩ' U+FF6A 'ｪ' U+FF6B 'ｫ' U+FF6C 'ｬ' U+FF6D 'ｭ' U+FF6E 'ｮ' U+FF6F 'ｯ' U+FF71 'ｱ' U+FF72 'ｲ' U+FF73 'ｳ' U+FF74 'ｴ' U+FF75 'ｵ' U+FF76 'ｶ' 
U+FF77 'ｷ' U+FF78 'ｸ' U+FF79 'ｹ' U+FF7A 'ｺ' U+FF7B 'ｻ' U+FF7C 'ｼ' U+FF7D 'ｽ' U+FF7E 'ｾ' U+FF7F 'ｿ' U+FF80 'ﾀ' U+FF81 'ﾁ' U+FF82 'ﾂ' U+FF83 'ﾃ' U+FF84 'ﾄ' U+FF85 'ﾅ' U+FF86 'ﾆ' 
U+FF87 'ﾇ' U+FF88 'ﾈ' U+FF89 'ﾉ' U+FF8A 'ﾊ' U+FF8B 'ﾋ' U+FF8C 'ﾌ' U+FF8D 'ﾍ' U+FF8E 'ﾎ' U+FF8F 'ﾏ' U+FF90 'ﾐ' U+FF91 'ﾑ' U+FF92 'ﾒ' U+FF93 'ﾓ' U+FF94 'ﾔ' U+FF95 'ﾕ' U+FF96 'ﾖ' 
U+FF97 'ﾗ' U+FF98 'ﾘ' U+FF99 'ﾙ' U+FF9A 'ﾚ' U+FF9B 'ﾛ' U+FF9C 'ﾜ' U+FF9D 'ﾝ'

といい感じに半角カナ文字だけ取り出せる。

ついでに NFKC (Normalization Form Compatibility Composition) 正規化で記号がどのように変換されるか見てみよう。以下は変換されるコードのみを列挙したもの。

package main

import (
    "fmt"
    "unicode"

    "golang.org/x/text/unicode/norm"
)

func main() {
    for c := rune(0x30a1); c <= rune(0x1b167); c++ {
        if unicode.In(c, unicode.Katakana) {
            n := norm.NFKC.String(string(c))
            if n != string(c) {
                fmt.Printf("%#U -> %s\n", c, n)
            }
        }
    }
}

これを実行する。ちょっと多いよ。

$ go run sample4.go
U+30FF 'ヿ' -> コト
U+32D0 '㋐' -> ア
U+32D1 '㋑' -> イ
U+32D2 '㋒' -> ウ
U+32D3 '㋓' -> エ
U+32D4 '㋔' -> オ
U+32D5 '㋕' -> カ
U+32D6 '㋖' -> キ
U+32D7 '㋗' -> ク
U+32D8 '㋘' -> ケ
U+32D9 '㋙' -> コ
U+32DA '㋚' -> サ
U+32DB '㋛' -> シ
U+32DC '㋜' -> ス
U+32DD '㋝' -> セ
U+32DE '㋞' -> ソ
U+32DF '㋟' -> タ
U+32E0 '㋠' -> チ
U+32E1 '㋡' -> ツ
U+32E2 '㋢' -> テ
U+32E3 '㋣' -> ト
U+32E4 '㋤' -> ナ
U+32E5 '㋥' -> ニ
U+32E6 '㋦' -> ヌ
U+32E7 '㋧' -> ネ
U+32E8 '㋨' -> ノ
U+32E9 '㋩' -> ハ
U+32EA '㋪' -> ヒ
U+32EB '㋫' -> フ
U+32EC '㋬' -> ヘ
U+32ED '㋭' -> ホ
U+32EE '㋮' -> マ
U+32EF '㋯' -> ミ
U+32F0 '㋰' -> ム
U+32F1 '㋱' -> メ
U+32F2 '㋲' -> モ
U+32F3 '㋳' -> ヤ
U+32F4 '㋴' -> ユ
U+32F5 '㋵' -> ヨ
U+32F6 '㋶' -> ラ
U+32F7 '㋷' -> リ
U+32F8 '㋸' -> ル
U+32F9 '㋹' -> レ
U+32FA '㋺' -> ロ
U+32FB '㋻' -> ワ
U+32FC '㋼' -> ヰ
U+32FD '㋽' -> ヱ
U+32FE '㋾' -> ヲ
U+3300 '㌀' -> アパート
U+3301 '㌁' -> アルファ
U+3302 '㌂' -> アンペア
U+3303 '㌃' -> アール
U+3304 '㌄' -> イニング
U+3305 '㌅' -> インチ
U+3306 '㌆' -> ウォン
U+3307 '㌇' -> エスクード
U+3308 '㌈' -> エーカー
U+3309 '㌉' -> オンス
U+330A '㌊' -> オーム
U+330B '㌋' -> カイリ
U+330C '㌌' -> カラット
U+330D '㌍' -> カロリー
U+330E '㌎' -> ガロン
U+330F '㌏' -> ガンマ
U+3310 '㌐' -> ギガ
U+3311 '㌑' -> ギニー
U+3312 '㌒' -> キュリー
U+3313 '㌓' -> ギルダー
U+3314 '㌔' -> キロ
U+3315 '㌕' -> キログラム
U+3316 '㌖' -> キロメートル
U+3317 '㌗' -> キロワット
U+3318 '㌘' -> グラム
U+3319 '㌙' -> グラムトン
U+331A '㌚' -> クルゼイロ
U+331B '㌛' -> クローネ
U+331C '㌜' -> ケース
U+331D '㌝' -> コルナ
U+331E '㌞' -> コーポ
U+331F '㌟' -> サイクル
U+3320 '㌠' -> サンチーム
U+3321 '㌡' -> シリング
U+3322 '㌢' -> センチ
U+3323 '㌣' -> セント
U+3324 '㌤' -> ダース
U+3325 '㌥' -> デシ
U+3326 '㌦' -> ドル
U+3327 '㌧' -> トン
U+3328 '㌨' -> ナノ
U+3329 '㌩' -> ノット
U+332A '㌪' -> ハイツ
U+332B '㌫' -> パーセント
U+332C '㌬' -> パーツ
U+332D '㌭' -> バーレル
U+332E '㌮' -> ピアストル
U+332F '㌯' -> ピクル
U+3330 '㌰' -> ピコ
U+3331 '㌱' -> ビル
U+3332 '㌲' -> ファラッド
U+3333 '㌳' -> フィート
U+3334 '㌴' -> ブッシェル
U+3335 '㌵' -> フラン
U+3336 '㌶' -> ヘクタール
U+3337 '㌷' -> ペソ
U+3338 '㌸' -> ペニヒ
U+3339 '㌹' -> ヘルツ
U+333A '㌺' -> ペンス
U+333B '㌻' -> ページ
U+333C '㌼' -> ベータ
U+333D '㌽' -> ポイント
U+333E '㌾' -> ボルト
U+333F '㌿' -> ホン
U+3340 '㍀' -> ポンド
U+3341 '㍁' -> ホール
U+3342 '㍂' -> ホーン
U+3343 '㍃' -> マイクロ
U+3344 '㍄' -> マイル
U+3345 '㍅' -> マッハ
U+3346 '㍆' -> マルク
U+3347 '㍇' -> マンション
U+3348 '㍈' -> ミクロン
U+3349 '㍉' -> ミリ
U+334A '㍊' -> ミリバール
U+334B '㍋' -> メガ
U+334C '㍌' -> メガトン
U+334D '㍍' -> メートル
U+334E '㍎' -> ヤード
U+334F '㍏' -> ヤール
U+3350 '㍐' -> ユアン
U+3351 '㍑' -> リットル
U+3352 '㍒' -> リラ
U+3353 '㍓' -> ルピー
U+3354 '㍔' -> ルーブル
U+3355 '㍕' -> レム
U+3356 '㍖' -> レントゲン
U+3357 '㍗' -> ワット
U+FF66 'ｦ' -> ヲ
U+FF67 'ｧ' -> ァ
U+FF68 'ｨ' -> ィ
U+FF69 'ｩ' -> ゥ
U+FF6A 'ｪ' -> ェ
U+FF6B 'ｫ' -> ォ
U+FF6C 'ｬ' -> ャ
U+FF6D 'ｭ' -> ュ
U+FF6E 'ｮ' -> ョ
U+FF6F 'ｯ' -> ッ
U+FF71 'ｱ' -> ア
U+FF72 'ｲ' -> イ
U+FF73 'ｳ' -> ウ
U+FF74 'ｴ' -> エ
U+FF75 'ｵ' -> オ
U+FF76 'ｶ' -> カ
U+FF77 'ｷ' -> キ
U+FF78 'ｸ' -> ク
U+FF79 'ｹ' -> ケ
U+FF7A 'ｺ' -> コ
U+FF7B 'ｻ' -> サ
U+FF7C 'ｼ' -> シ
U+FF7D 'ｽ' -> ス
U+FF7E 'ｾ' -> セ
U+FF7F 'ｿ' -> ソ
U+FF80 'ﾀ' -> タ
U+FF81 'ﾁ' -> チ
U+FF82 'ﾂ' -> ツ
U+FF83 'ﾃ' -> テ
U+FF84 'ﾄ' -> ト
U+FF85 'ﾅ' -> ナ
U+FF86 'ﾆ' -> ニ
U+FF87 'ﾇ' -> ヌ
U+FF88 'ﾈ' -> ネ
U+FF89 'ﾉ' -> ノ
U+FF8A 'ﾊ' -> ハ
U+FF8B 'ﾋ' -> ヒ
U+FF8C 'ﾌ' -> フ
U+FF8D 'ﾍ' -> ヘ
U+FF8E 'ﾎ' -> ホ
U+FF8F 'ﾏ' -> マ
U+FF90 'ﾐ' -> ミ
U+FF91 'ﾑ' -> ム
U+FF92 'ﾒ' -> メ
U+FF93 'ﾓ' -> モ
U+FF94 'ﾔ' -> ヤ
U+FF95 'ﾕ' -> ユ
U+FF96 'ﾖ' -> ヨ
U+FF97 'ﾗ' -> ラ
U+FF98 'ﾘ' -> リ
U+FF99 'ﾙ' -> ル
U+FF9A 'ﾚ' -> レ
U+FF9B 'ﾛ' -> ロ
U+FF9C 'ﾜ' -> ワ
U+FF9D 'ﾝ' -> ン

ふむむ。変体仮名は NFKC 正規化の対象にならないんだな。

更についでに，平仮名もやってしまおう。平仮名は

var _Hiragana = &RangeTable{
    R16: []Range16{
        {0x3041, 0x3096, 1},
        {0x309d, 0x309f, 1},
    },
    R32: []Range32{
        {0x1b001, 0x1b11f, 1},
        {0x1b132, 0x1b150, 30},
        {0x1b151, 0x1b152, 1},
        {0x1f200, 0x1f200, 1},
    },
}

と定義されている。なので 0x3041 から 0x1f200 の範囲でスキャンすればいいかな。とりあえず

package main

import (
    "fmt"
    "unicode"
)

func main() {
    i := 0
    for c := rune(0x3041); c <= rune(0x1f200); c++ {
        if unicode.In(c, unicode.Hiragana) {
            fmt.Printf("%#U ", c)
            i++
            i &= 0x0f
            if i == 0 {
                fmt.Println()
            }
        }
    }
    fmt.Println()
}

でいってみよう。

$ go run sample5.go
U+3041 'ぁ' U+3042 'あ' U+3043 'ぃ' U+3044 'い' U+3045 'ぅ' U+3046 'う' U+3047 'ぇ' U+3048 'え' U+3049 'ぉ' U+304A 'お' U+304B 'か' U+304C 'が' U+304D 'き' U+304E 'ぎ' U+304F 'く' U+3050 'ぐ' 
U+3051 'け' U+3052 'げ' U+3053 'こ' U+3054 'ご' U+3055 'さ' U+3056 'ざ' U+3057 'し' U+3058 'じ' U+3059 'す' U+305A 'ず' U+305B 'せ' U+305C 'ぜ' U+305D 'そ' U+305E 'ぞ' U+305F 'た' U+3060 'だ' 
U+3061 'ち' U+3062 'ぢ' U+3063 'っ' U+3064 'つ' U+3065 'づ' U+3066 'て' U+3067 'で' U+3068 'と' U+3069 'ど' U+306A 'な' U+306B 'に' U+306C 'ぬ' U+306D 'ね' U+306E 'の' U+306F 'は' U+3070 'ば' 
U+3071 'ぱ' U+3072 'ひ' U+3073 'び' U+3074 'ぴ' U+3075 'ふ' U+3076 'ぶ' U+3077 'ぷ' U+3078 'へ' U+3079 'べ' U+307A 'ぺ' U+307B 'ほ' U+307C 'ぼ' U+307D 'ぽ' U+307E 'ま' U+307F 'み' U+3080 'む' 
U+3081 'め' U+3082 'も' U+3083 'ゃ' U+3084 'や' U+3085 'ゅ' U+3086 'ゆ' U+3087 'ょ' U+3088 'よ' U+3089 'ら' U+308A 'り' U+308B 'る' U+308C 'れ' U+308D 'ろ' U+308E 'ゎ' U+308F 'わ' U+3090 'ゐ' 
U+3091 'ゑ' U+3092 'を' U+3093 'ん' U+3094 'ゔ' U+3095 'ゕ' U+3096 'ゖ' U+309D 'ゝ' U+309E 'ゞ' U+309F 'ゟ' U+1B001 '𛀁' U+1B002 '𛀂' U+1B003 '𛀃' U+1B004 '𛀄' U+1B005 '𛀅' U+1B006 '𛀆' U+1B007 '𛀇' 
U+1B008 '𛀈' U+1B009 '𛀉' U+1B00A '𛀊' U+1B00B '𛀋' U+1B00C '𛀌' U+1B00D '𛀍' U+1B00E '𛀎' U+1B00F '𛀏' U+1B010 '𛀐' U+1B011 '𛀑' U+1B012 '𛀒' U+1B013 '𛀓' U+1B014 '𛀔' U+1B015 '𛀕' U+1B016 '𛀖' U+1B017 '𛀗' 
U+1B018 '𛀘' U+1B019 '𛀙' U+1B01A '𛀚' U+1B01B '𛀛' U+1B01C '𛀜' U+1B01D '𛀝' U+1B01E '𛀞' U+1B01F '𛀟' U+1B020 '𛀠' U+1B021 '𛀡' U+1B022 '𛀢' U+1B023 '𛀣' U+1B024 '𛀤' U+1B025 '𛀥' U+1B026 '𛀦' U+1B027 '𛀧' 
U+1B028 '𛀨' U+1B029 '𛀩' U+1B02A '𛀪' U+1B02B '𛀫' U+1B02C '𛀬' U+1B02D '𛀭' U+1B02E '𛀮' U+1B02F '𛀯' U+1B030 '𛀰' U+1B031 '𛀱' U+1B032 '𛀲' U+1B033 '𛀳' U+1B034 '𛀴' U+1B035 '𛀵' U+1B036 '𛀶' U+1B037 '𛀷' 
U+1B038 '𛀸' U+1B039 '𛀹' U+1B03A '𛀺' U+1B03B '𛀻' U+1B03C '𛀼' U+1B03D '𛀽' U+1B03E '𛀾' U+1B03F '𛀿' U+1B040 '𛁀' U+1B041 '𛁁' U+1B042 '𛁂' U+1B043 '𛁃' U+1B044 '𛁄' U+1B045 '𛁅' U+1B046 '𛁆' U+1B047 '𛁇' 
U+1B048 '𛁈' U+1B049 '𛁉' U+1B04A '𛁊' U+1B04B '𛁋' U+1B04C '𛁌' U+1B04D '𛁍' U+1B04E '𛁎' U+1B04F '𛁏' U+1B050 '𛁐' U+1B051 '𛁑' U+1B052 '𛁒' U+1B053 '𛁓' U+1B054 '𛁔' U+1B055 '𛁕' U+1B056 '𛁖' U+1B057 '𛁗' 
U+1B058 '𛁘' U+1B059 '𛁙' U+1B05A '𛁚' U+1B05B '𛁛' U+1B05C '𛁜' U+1B05D '𛁝' U+1B05E '𛁞' U+1B05F '𛁟' U+1B060 '𛁠' U+1B061 '𛁡' U+1B062 '𛁢' U+1B063 '𛁣' U+1B064 '𛁤' U+1B065 '𛁥' U+1B066 '𛁦' U+1B067 '𛁧' 
U+1B068 '𛁨' U+1B069 '𛁩' U+1B06A '𛁪' U+1B06B '𛁫' U+1B06C '𛁬' U+1B06D '𛁭' U+1B06E '𛁮' U+1B06F '𛁯' U+1B070 '𛁰' U+1B071 '𛁱' U+1B072 '𛁲' U+1B073 '𛁳' U+1B074 '𛁴' U+1B075 '𛁵' U+1B076 '𛁶' U+1B077 '𛁷' 
U+1B078 '𛁸' U+1B079 '𛁹' U+1B07A '𛁺' U+1B07B '𛁻' U+1B07C '𛁼' U+1B07D '𛁽' U+1B07E '𛁾' U+1B07F '𛁿' U+1B080 '𛂀' U+1B081 '𛂁' U+1B082 '𛂂' U+1B083 '𛂃' U+1B084 '𛂄' U+1B085 '𛂅' U+1B086 '𛂆' U+1B087 '𛂇' 
U+1B088 '𛂈' U+1B089 '𛂉' U+1B08A '𛂊' U+1B08B '𛂋' U+1B08C '𛂌' U+1B08D '𛂍' U+1B08E '𛂎' U+1B08F '𛂏' U+1B090 '𛂐' U+1B091 '𛂑' U+1B092 '𛂒' U+1B093 '𛂓' U+1B094 '𛂔' U+1B095 '𛂕' U+1B096 '𛂖' U+1B097 '𛂗' 
U+1B098 '𛂘' U+1B099 '𛂙' U+1B09A '𛂚' U+1B09B '𛂛' U+1B09C '𛂜' U+1B09D '𛂝' U+1B09E '𛂞' U+1B09F '𛂟' U+1B0A0 '𛂠' U+1B0A1 '𛂡' U+1B0A2 '𛂢' U+1B0A3 '𛂣' U+1B0A4 '𛂤' U+1B0A5 '𛂥' U+1B0A6 '𛂦' U+1B0A7 '𛂧' 
U+1B0A8 '𛂨' U+1B0A9 '𛂩' U+1B0AA '𛂪' U+1B0AB '𛂫' U+1B0AC '𛂬' U+1B0AD '𛂭' U+1B0AE '𛂮' U+1B0AF '𛂯' U+1B0B0 '𛂰' U+1B0B1 '𛂱' U+1B0B2 '𛂲' U+1B0B3 '𛂳' U+1B0B4 '𛂴' U+1B0B5 '𛂵' U+1B0B6 '𛂶' U+1B0B7 '𛂷' 
U+1B0B8 '𛂸' U+1B0B9 '𛂹' U+1B0BA '𛂺' U+1B0BB '𛂻' U+1B0BC '𛂼' U+1B0BD '𛂽' U+1B0BE '𛂾' U+1B0BF '𛂿' U+1B0C0 '𛃀' U+1B0C1 '𛃁' U+1B0C2 '𛃂' U+1B0C3 '𛃃' U+1B0C4 '𛃄' U+1B0C5 '𛃅' U+1B0C6 '𛃆' U+1B0C7 '𛃇' 
U+1B0C8 '𛃈' U+1B0C9 '𛃉' U+1B0CA '𛃊' U+1B0CB '𛃋' U+1B0CC '𛃌' U+1B0CD '𛃍' U+1B0CE '𛃎' U+1B0CF '𛃏' U+1B0D0 '𛃐' U+1B0D1 '𛃑' U+1B0D2 '𛃒' U+1B0D3 '𛃓' U+1B0D4 '𛃔' U+1B0D5 '𛃕' U+1B0D6 '𛃖' U+1B0D7 '𛃗' 
U+1B0D8 '𛃘' U+1B0D9 '𛃙' U+1B0DA '𛃚' U+1B0DB '𛃛' U+1B0DC '𛃜' U+1B0DD '𛃝' U+1B0DE '𛃞' U+1B0DF '𛃟' U+1B0E0 '𛃠' U+1B0E1 '𛃡' U+1B0E2 '𛃢' U+1B0E3 '𛃣' U+1B0E4 '𛃤' U+1B0E5 '𛃥' U+1B0E6 '𛃦' U+1B0E7 '𛃧' 
U+1B0E8 '𛃨' U+1B0E9 '𛃩' U+1B0EA '𛃪' U+1B0EB '𛃫' U+1B0EC '𛃬' U+1B0ED '𛃭' U+1B0EE '𛃮' U+1B0EF '𛃯' U+1B0F0 '𛃰' U+1B0F1 '𛃱' U+1B0F2 '𛃲' U+1B0F3 '𛃳' U+1B0F4 '𛃴' U+1B0F5 '𛃵' U+1B0F6 '𛃶' U+1B0F7 '𛃷' 
U+1B0F8 '𛃸' U+1B0F9 '𛃹' U+1B0FA '𛃺' U+1B0FB '𛃻' U+1B0FC '𛃼' U+1B0FD '𛃽' U+1B0FE '𛃾' U+1B0FF '𛃿' U+1B100 '𛄀' U+1B101 '𛄁' U+1B102 '𛄂' U+1B103 '𛄃' U+1B104 '𛄄' U+1B105 '𛄅' U+1B106 '𛄆' U+1B107 '𛄇' 
U+1B108 '𛄈' U+1B109 '𛄉' U+1B10A '𛄊' U+1B10B '𛄋' U+1B10C '𛄌' U+1B10D '𛄍' U+1B10E '𛄎' U+1B10F '𛄏' U+1B110 '𛄐' U+1B111 '𛄑' U+1B112 '𛄒' U+1B113 '𛄓' U+1B114 '𛄔' U+1B115 '𛄕' U+1B116 '𛄖' U+1B117 '𛄗' 
U+1B118 '𛄘' U+1B119 '𛄙' U+1B11A '𛄚' U+1B11B '𛄛' U+1B11C '𛄜' U+1B11D '𛄝' U+1B11E '𛄞' U+1B11F '𛄟' U+1B132 '𛄲' U+1B150 '𛅐' U+1B151 '𛅑' U+1B152 '𛅒' U+1F200 '🈀'

U+1B001 から U+1B11E は変体仮名。 U+1B11F は Unicode では “Historic Hiragana” と分類されている³。 U+1B132 は小書きの「こ」で U+1B150 から U+1B152 までは小書きの「ゐ」「ゑ」「を」とのこと。ちなみに小書きの「ん」はプロポーザルが通らなかったらしい。よーわからん（笑）

これも NFKC 正規化をかけてみよっか。

package main

import (
    "fmt"
    "unicode"

    "golang.org/x/text/unicode/norm"
)

func main() {
    for c := rune(0x3041); c <= rune(0x1f200); c++ {
        if unicode.In(c, unicode.Hiragana) {
            n := norm.NFKC.String(string(c))
            if n != string(c) {
                fmt.Printf("%#U -> %s\n", c, n)
            }
        }
    }
}

今度は少ないはず（笑）

$ go run sample6.go
U+309F 'ゟ' -> より
U+1F200 '🈀' -> ほか

うんうん。こんな感じだよね。

はぅぅ。拙作の gnkf も直さなきゃ…

ブックマーク

Go 言語と Unicode 正規化

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

U+1AFF0 から U+1AFFE までの声調記号は日本統治時代の台湾における台湾語仮名で使われたものらしい。 ↩︎
“Historic Katakana” については「変体仮名一覧」を参照のこと。 ↩︎
“Historic Hiragana” については「変体仮名一覧」を参照のこと。 ↩︎

仮名・ローマ字変換する Go パッケージを作ってみた

2021-09-11T03:31:49+00:00

@mattn_jp さんの tweet で偽名や偽住所を生成できる mattn/go-gimei という Go パッケージを知る。なにそれ便利。さっそく使わせてもらおう。

ところでこれローマ字があるといいよね。

というわけで，仮名からローマ字に変換するパッケージを作ってしまった（笑）

spiegel-im-spiegel/krconv: Convert kana-character to roman-alphabet

こんな感じで使うことができる。

package krconv_test

import (
	"fmt"

	"github.com/spiegel-im-spiegel/krconv"
)

func ExampleConvert() {
	s := "マツエ テッペイ　めっちゃほりでぃ ﾅﾝﾊﾞかげつで まんざい みるんだょっ"
	fmt.Println(krconv.Convert(s))
	//Output:
	//matsue teppei metchahoridei nambakagetsude manzai mirundayotsu
}

ちなみに UTF-8 文字列が前提ね。

これと先程の mattn/go-gimei を組み合わせてみよう。

//go:build run
// +build run

package main

import (
	"fmt"
	"strings"

	"github.com/mattn/go-gimei"
	"github.com/spiegel-im-spiegel/krconv"
)

func main() {
	p := gimei.NewName()
	fmt.Println("氏名：", p.Kanji())
	fmt.Println("カナ：", p.Katakana())
	fmt.Println("ローマ字：", strings.ToTitle(krconv.Convert(p.Last.Hiragana())), strings.Title(krconv.Convert(p.First.Hiragana())))
	fmt.Println("Email：", string([]rune(krconv.Convert(p.First.Hiragana()))[0:1])+"."+krconv.Convert(p.Last.Hiragana())+"@example.com")
}

出力結果はこんな感じ。

$ go run sample.go 
氏名： 上原 弥璃
カナ： ウエハラ イヨリ
ローマ字： UEHARA Iyori
Email： i.uehara@example.com

どやさ！

変換については，以下のページを参考に，ヘボン式にしている。

ヘボン式ローマ字｜神奈川県パスポートセンター公式サイト
ヘボン式ローマ字綴方表（外務省のページ？）

ただし，長音の扱い（大野（おおの）→ [☓] oono , [○] ono）については判定が難しそうなので無視している¹。そうそう，これに関連して長音の記号（ー）は変換後の文字列から削除することにした。

全体の処理手順としては

半角全角変換（全角英数・記号は半角に，半角カナは全角に，カナの濁点・半濁点の合成列は事前合成形に）
カタカナ→平仮名変換
文字単位（rune 単位ではない）に分割
文字単位でローマ字への置き換え
拗音の変換
撥音・促音の変換

という感じ。仮名文字以外の英数字や漢字や記号（「々」等）は素通しなのであしからず。ヷ，ヸ，ヹ，ヺはどう変換していいか分からなかったので，これも素通ししている。「あ゙」のような対応するローマ字のない合成列も同様。

あとヒープを潤沢に使ってループもぐるぐる回してかなり富豪的なコードになっているので，大規模文字列やクリティカルな処理には向いてない。

というわけで，こんなんでよろしければどうぞ。

【2021-09-12 追記】

変換ロジックを見直した v0.1.2 をリリースした。

Release v0.1.2 · spiegel-im-spiegel/krconv · GitHub

krconv パッケージの変換ロジックは，同じく拙作の gnkf からのコピペなのだが，仮名文字を平仮名に寄せると「ば（U+306F U+3099）」「ぱ（U+306F U+309A）」のような濁点・半濁点の結合文字を付加した合成列に対応できてないことに気が付いた。

そこで変換手順の前半を

平仮名→カタカナ変換
半角全角変換（全角英数・記号は半角に，半角カナは全角に，濁点・半濁点の合成列は事前合成形に）

と入れ替えることで対応した。仮名文字を全角カタカナに寄せた上で変換するわけですな。

ブックマーク

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

ヘボン式では基本的に長音は表記しないらしい。例示では「佐藤（さとう）」の「う」は長音で「SATO」と表記するけど「松浦（まつうら）」の「う」は長音ではないので「MATSUURA」と書けとある。分かるか！こんなもん。要するに仮名文字からそれが長音かどうか判定するのは不可能なんだよ。せいぜい「ー」のような明確な長音記号を省くくらいしかできないわけ。機械的な処理はこれが限界と諦めた。 ↩︎

Go と日本語

2021-06-19T05:51:29+00:00

Twitter でちょろんと書いたが，なんか勝手に NFC 正規化されてしまうみたいだし，このブログではもう少し掘り下げて書いてみる。

Go では型名や関数名や変数名といった識別名（identifiers name）として Unicode 文字が使える。ということは名前を日本語にすることも可能である。まぁ，どんな文字でも使えるわけではないが。

たとえば以下のようなコードを考える。

// +build run

package main

type ペンギン struct{}

func (p *ペンギン) 鳴く() string {
    return "ふるるー！"
}

func main() {
    println((&ペンギン{}).鳴く())
}

型名や関数名に Unicode 文字が使えるなら上のコードはうまく動きそうだが，実際にはコンパイルエラーになる。

$ go run sample1.go
# command-line-arguments
./sample.go:12:15: undefined: ペンギン
./sample.go:12:18: invalid character U+309A '゚' in identifier
./sample.go:12:27: invalid character U+3099 '゙' in identifier

コンパイルエラーになる理由は2つ。

type で宣言した型名と main() 関数内で使われている型名が異なる「文字列」である
半濁点および濁点を表す結合文字 U+309A および U+3099 は識別名として使えない

なんだか面倒くさそうである。

識別名として使える文字

Go の仕様書を読むと識別名として使える文字が示されている。

identifier = letter { letter | unicode_digit } .

via The Go Programming Language Specification

このうち letter は

letter = unicode_letter | "_" .

via The Go Programming Language Specification

と定義され Unicode 文字が使えることを示している。

unicode_digit や unicode_letter を含む文字の定義は以下の通り。

newline        = /* the Unicode code point U+000A */ .
unicode_char   = /* an arbitrary Unicode code point except newline */ .
unicode_letter = /* a Unicode code point classified as "Letter" */ .
unicode_digit  = /* a Unicode code point classified as "Number, decimal digit" */ .

via The Go Programming Language Specification

unicode_digit は全角数字も含んでいる点に注意。改行コードも LF なんだねぇ（Windows の CRLF は早く捨てたい）。

では Letter や Number の文字種が具体的にどの文字を指しているのか。幸い unicode 標準パッケージを使って文字種をチェックできるので，簡単なチェッカーを書いてみよう。

// +build run

package main

import (
    "flag"
    "fmt"
    "unicode"
)

var mapRangeTable = map[*unicode.RangeTable]string{
    unicode.Variation_Selector: "Variation Selector",
    unicode.Sc:                 "Symbol/currency",
    unicode.Sk:                 "Symbol/modifier",
    unicode.Sm:                 "Symbol/math",
    unicode.Radical:            "Radical",
    unicode.So:                 "Symbol/other",
    unicode.Lm:                 "Letter/modifier",
    unicode.Ideographic:        "Ideographic",
    unicode.Lo:                 "Letter/other",
    unicode.Nl:                 "Number/letter",
    unicode.No:                 "Number/other",
    unicode.Mc:                 "Mark/spacing combining",
    unicode.Me:                 "Mark/enclosing",
    unicode.Mn:                 "Mark/nonspacing",
    unicode.Pc:                 "Punctuation/connector",
    unicode.Pd:                 "Punctuation/dash",
    unicode.Pe:                 "Punctuation/close",
    unicode.Pf:                 "Punctuation/final quote",
    unicode.Pi:                 "Punctuation/initial quote",
    unicode.Ps:                 "Punctuation/open",
    unicode.Po:                 "Punctuation/other",
    unicode.Zl:                 "Separator/line",
    unicode.Zp:                 "Separator/paragraph",
    unicode.Zs:                 "Separator/space",
    unicode.Join_Control:       "Join Control",
    unicode.Cc:                 "Control/control",
    unicode.Cf:                 "Control/format",
    unicode.Cs:                 "Control/surrogate",
    unicode.Co:                 "Control/private use",
}

var arryRangeTable = []*unicode.RangeTable{
    unicode.Variation_Selector,
    unicode.Sc,
    unicode.Sk,
    unicode.Sm,
    unicode.Radical,
    unicode.So,
    unicode.Lm,
    unicode.Ideographic,
    unicode.Lo,
    unicode.Nl,
    unicode.No,
    unicode.Mc,
    unicode.Me,
    unicode.Mn,
    unicode.Pc,
    unicode.Pd,
    unicode.Pe,
    unicode.Pf,
    unicode.Pi,
    unicode.Ps,
    unicode.Po,
    unicode.Zl,
    unicode.Zp,
    unicode.Zs,
    unicode.Join_Control,
    unicode.Cc,
    unicode.Cf,
    unicode.Cs,
    unicode.Co,
}

type unicodeChecker struct {
    mapRangeTable  map[*unicode.RangeTable]string
    arryRangeTable []*unicode.RangeTable
}

func newChecker() *unicodeChecker {
    return &unicodeChecker{mapRangeTable: mapRangeTable, arryRangeTable: arryRangeTable}
}

func (c *unicodeChecker) string(rt *unicode.RangeTable) string {
    if c == nil || rt == nil {
        return "Unknown"
    }
    if s, ok := c.mapRangeTable[rt]; ok {
        return s
    }
    return "Unknown"
}

func (c *unicodeChecker) check(r rune) string {
    if c == nil {
        return c.string(nil)
    }
    for _, rt := range c.arryRangeTable {
        if unicode.Is(rt, r) {
            return c.string(rt)
        }
    }
    return c.string(nil)
}

func main() {
    flag.Parse()
    args := flag.Args()
    checker := newChecker()
    for _, arg := range args {
        fmt.Println(arg)
        for i, r := range arg {
            switch {
            case unicode.IsLetter(r), r == '_':
                fmt.Printf("\t%#U : OK : letter\n", r)
            case unicode.IsNumber(r):
                okng := "OK"
                if i == 0 {
                    okng = "NG"
                }
                fmt.Printf("\t%#U : %v : unicode_digit\n", r, okng)
            default:
                fmt.Printf("\t%#U : NG : %v\n", r, checker.check(r))
            }
        }
    }
}

ここで unicodeChecker.check() メソッドは「Unicode 文字種の判別」で書いた check() 関数の改良版で，かなり細かくチェックできるようにしている。実際に動かしてみよう。

$ go run sample2.go ペンギン ペンギン
ペンギン
	U+30DA 'ペ' : OK : letter
	U+30F3 'ン' : OK : letter
	U+30AE 'ギ' : OK : letter
	U+30F3 'ン' : OK : letter
ペンギン
	U+30D8 'ヘ' : OK : letter
	U+309A '゚' : NG : Mark/nonspacing
	U+30F3 'ン' : OK : letter
	U+30AD 'キ' : OK : letter
	U+3099 '゙' : NG : Mark/nonspacing
	U+30F3 'ン' : OK : letter

うんうん。ちなみに絵文字は，複数のコードポイントで構成されている場合は当然として，単一のコードポイントでも letter とは見なされないらしい。

$ go run sample2.go ⌛
⌛
	U+231B '⌛' : NG : Symbol/other

あと康熙部首とかもアカン感じ？

$ go run sample2.go 埼⽟ 埼玉
埼⽟
	U+57FC '埼' : OK : letter
	U+2F5F '⽟' : NG : Radical
埼玉
	U+57FC '埼' : OK : letter
	U+7389 '玉' : OK : letter

やっぱ英語にしとこうや

どこで見たのか失念してしまったが，メジャーなプログラミング言語，特に手続き型の言語は英語の文法や語感が前提になっていて，日本人はそこから既にハンデがあると読んだことがある。

そういう言語体系の中に日本語を混ぜ込むと，日本語が刷り込まれている人ほど奇妙に見えてしまうんじゃないだろうか。だから私のように英語不得手でも，プログラム・コードは「英語」で書くのが一番自然だろう。

「悲しいけどこれ現実なのよね」

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

with #前置詞といっしょ！: 電子書籍版: 三戸　雅彦 (著), 木村　ヨーシロー (写真); 2017-05-07 (Release 2017-05-07); Kindle版; B07143DX2F (ASIN); 評価

[Comment] 対象年齢は小学3年生から。“with” をはじめとしたよく使われる10個の前置詞についてふんわりとしたイメージを掴むことができる。中学生の時に読みたかった orz

reviewed by Spiegel on 2021-04-24 (powered by PA-APIv5)

coffee ＃名詞のヒミツ！～英語を楽しく学ぼう～: 三戸雅彦 (著); しおまち書房 2018-01-01; 単行本（ソフトカバー）; 4906985165 (ASIN), 9784906985166 (EAN), 4906985165 (ISBN); 評価

[Comment] 同じ著者による『with #前置詞といっしょ！』の続編と言えるもの。可算名詞や不可算名詞，単数形と複数形で意味が変わるもの，冠詞の使い方，といったことを言葉のイメージを中心に解説している。中学生の時に読みたかった orz

reviewed by Spiegel on 2021-04-24 (powered by PA-APIv5)

中学→高校の英文法が図解でわかるノート　基礎編　#動詞と踏み出そう！: 三戸雅彦 (著); しおまち書房 2020-01-01; 単行本（ソフトカバー）; 4906985262 (ASIN), 9784906985265 (EAN), 4906985262 (ISBN); 評価

[Comment] 同じ著者による『with #前置詞といっしょ！』『coffee ＃名詞のヒミツ！』の続編と言えるが対象年齢はもう少し「お兄さん・お姉さん」向けの内容。動詞を中心に授業のノートのような紙面構成で書かれていて分かりやすい。勉強中。

reviewed by Spiegel on 2021-04-24 (powered by PA-APIv5)

「情報交換用に推奨される絵文字のリスト」を作ってみた

2021-04-02T13:26:53+00:00

前回，絵文字についてちょろんと調べた余波で絵文字の一覧を作ってみた。

本当はひとつの表にしたかったのだが，ページのレイアウトが崩れまくるので2つに分けた。まぁ，それでも携帯端末で見たら崩れてると思うけど。

今回の一覧を作るにあたって Unicode の公式ページから以下の情報を拾って使っている。

なお markdown shortcodes の情報の取得には以下のパッケージを使った。ありがたや。

kyokomi/emoji: emoji terminal output for golang

このパッケージは Hugo でも使われているので「絵文字と Markdown Shortcodes」にある markdown shortcodes は全て Hugo で使える。

なにせ量が量なので手作業でやるわけにもいかず，データ取得用のパッケージを作った。

spiegel-im-spiegel/emojis: List of Emoji-Sequences

中身は JSON データ作成用のモジュールと作成した JSON ファイルを読み込むモジュールに別れている。 JSON データ作成用のモジュールで作成した JASON ファイルは，パッケージの json/ ディレクトリに置いている。 JSON データを読むための構造体定義も同じところに置いているので，ご利用はご自由にどうぞ。

絵文字の構造

今回利用したデータの中身については以下のページに公式の解説がある。

UTS #51: Unicode Emoji

以降で簡単に紹介してみる。

Emoji Characters

まず Unicode 符号点単位の「絵文字文字（emoji characters）」には文字種ごとに以下のプロパティが付与されている。

プロパティ	種別
`Emoji`	emoji character
`Extended_Pictographic`	extended pictographic character
`Emoji_Presentation`	default emoji presentation character
`Emoji_Component`	emoji component
`Emoji_Modifier`	emoji modifier
`Emoji_Modifier_Base`	emoji modifier base

これらのプロパティは独立に付与されていて，複数のプロパティが付与されている符号点コードもある。

spiegel-im-spiegel/emojis パッケージでは符号点コードごとにプロパティをチェックできるようにした。

type EmojiData struct {
    Code                 rune
    Name                 string
    Emoji                bool   `json:",omitempty"`
    EmojiPresentation    bool   `json:"Emoji_Presentation,omitempty"`
    EmojiModifier        bool   `json:"Emoji_Modifier,omitempty"`
    EmojiModifierBase    bool   `json:"Emoji_Modifier_Base,omitempty"`
    EmojiComponent       bool   `json:"Emoji_Component,omitempty"`
    ExtendedPictographic bool   `json:"Extended_Pictographic,omitempty"`
    RegionalIndicator    bool   `json:"Regional_Indicator,omitempty"`
    VariationTextStyle   string `json:",omitempty"`
    VariationEmojiStyle  string `json:",omitempty"`
}

Emoji Presentation Sequences

Emoji プロパティが付与されている符号点コードの直後に絵文字表示セレクタ U+FE0F VARIATION SELECTOR-16 を付けることで絵文字であることを明示できる。といっても何でも組み合わせればいいというわけではないようで，先ほどの emoji-variation-sequences.txt で定義されているシーケンスのみ有効らしい。

U+FE0F VARIATION SELECTOR-16 には Emoji_Component プロパティが付与されている。

Emoji Modifiers

Emoji_Modifier_Base プロパティが付与されている符号点コードに Emoji_Modifier プロパティが付与されている符号点コードを付けることでEmoji_Modifier_Base プロパティが付与されている符号点コードの絵文字を装飾できる。

といって現在は肌色のトーンを変更する符号点コードしかないのだが。肌色の異体字については前回の記事を参照のこと。

Emoji Flag Sequence

Emoji_Component プロパティを持つ符号点コードの中に Regional Indicator に分類されるコードがあるのだが，このコードのうち2文字を組み合わせて国別コードを構成すると国旗の絵文字になるというトンデモ仕様がある。これについても前回の記事を参照のこと。

Emoji Tag Sequence (ETS)

まず，文字種を以下のように定義する

tag_base := emoji_character | emoji_modifier_sequence | emoji_presentation_sequence
tag_spec := [\x{E0020}-\x{E007E}]+
tag_end  := \x{E007F}

これを使って

emoji_tag_sequence := tag_base tag_spec tag_end

と定義されるのが emoji tag sequence の構成である。 tag_spec および tag_end に含まれる符号点コードには Emoji_Component プロパティが付与されている。

Unicode v13 現在は subdivision-flag のみ実装されているようだ。これについても前回の記事を参照のこと。

Emoji Keycap Sequence

emoji_keycap_sequence := [0-9#*] \x{FE0F 20E3}

たったこれだけのためのシーケンス。なんだかなぁ。

ちなみに [0-9#*] はただの半角文字だが Emoji_Component プロパティが付与されている。また U+20E3 にも Emoji_Component プロパティが付与されている。

Emoji ZWJ Sequence

emoji_zwj_element := emoji_character | emoji_presentation_sequence | emoji_modifier_sequence

としたときに

emoji_zwj_sequence := emoji_zwj_element ( ZWJ emoji_zwj_element )+

で構成される絵文字。ちなみに U+200D ZWJ は Emoji_Component プロパティが付与された結合子で，これを使っていくらでも文字を繋げられるのが恐ろしい点である。といっても情報交換用として推奨される組み合わせが emoji-zwj-sequences.txt で定義されているので，この中から選択することになるだろう。

絵文字の分類

結局，絵文字の分類は以下のようになるらしい。

emoji sequence
- emoji core sequence
  - emoji character
  - emoji presentation sequence
  - emoji keycap sequence
  - emoji modifier sequence
  - emoji flag sequence
- emoji zwj sequence
- emoji tag sequence

emoji character が emoji core sequence に含まれている点に注目。

で， “UTS #51: Unicode Emoji” に絵文字を判別するための正規表現ってのが載っていたのだが

\p{Regional_Indicator} \p{Regional_Indicator} 
| \p{Emoji} 
  ( \p{Emoji_Modifier} 
  | \x{FE0F} \x{20E3}? 
  | [\x{E0020}-\x{E007E}]+ \x{E007F} )?
  (\x{200D} \p{Emoji}
    ( \p{Emoji_Modifier} 
    | \x{FE0F} \x{20E3}? 
    | [\x{E0020}-\x{E007E}]+ \x{E007F} )?
  )*

via UTS #51: Unicode Emoji

いやいやいや。符号点コードごとに絵文字プロパティをチェックせんとアカンのかい！これは面倒くさい。

emoji-sequences.txt および emoji-zwj-sequences.txt ファイルでは収録している絵文字を以下のように分類している。

分類名	内容
`Basic_Emoji`	`Emoji_Presentation` プロパティを含む emoji character または `Emoji_Presentation` プロパティを含まない emoji character の emoji presentation sequence で構成された絵文字
`Emoji_Keycap_Sequence`	emoji keycap sequence で構成された絵文字
`RGI_Emoji_Flag_Sequence`	emoji flag sequence で構成される推奨絵文字
`RGI_Emoji_Tag_Sequence`	emoji tag sequence で構成される推奨絵文字
`RGI_Emoji_Modifier_Sequence`	emoji modifier sequence で構成される推奨絵文字
`RGI_Emoji_ZWJ_Sequence`	emoji zwj sequence で構成される推奨絵文字

ちなみに RGI は “Recommended for General Interchange” の略だそうだ。超意訳するなら「情報交換用の推奨絵文字」ってところかねぇ。なお「情報交換用に推奨される絵文字のリスト」ではこの分類を表示している。また spiegel-im-spiegel/emojis パッケージでは絵文字シーケンスごとにこの分類をセットしている。

type SequencesType int

const (
    TypeUnknown SequencesType = iota
    TypeBasicEmoji
    TypeEmojiKeycapSequence
    TypeRGIEmojiFlagSequence
    TypeRGIEmojiTagSequence
    TypeRGIEmojiModifierSequence
    TypeRGIEmojiZWJSequence
)

type EmojiSequence struct {
    Sequence     string
    Name         string
    SequenceType types.SequencesType
    Shortcodes   []string `json:",omitempty"`
}

これで絵文字の調査は一段落かな。とりあえずチョー面倒くさいのは分かった。


ｱ	ｲ	ｳ	ｴ	ｵ
ｶ	ｷ	ｸ	ｹ	ｺ
ｻ	ｼ	ｽ	ｾ	ｿ
ﾀ	ﾁ	ﾂ	ﾃ	ﾄ
ﾅ	ﾆ	ﾇ	ﾈ	ﾉ
ﾊ	ﾋ	ﾌ	ﾍ	ﾎ
ﾏ	ﾐ	ﾑ	ﾒ	ﾓ
ﾔ		ﾕ		ﾖ
ﾗ	ﾘ	ﾙ	ﾚ	ﾛ
ﾜ				ｦ
ﾝ


㋐	㋑	㋒	㋓	㋔
㋕	㋖	㋗	㋘	㋙
㋚	㋛	㋜	㋝	㋞
㋟	㋠	㋡	㋢	㋣
㋤	㋥	㋦	㋧	㋨
㋩	㋪	㋫	㋬	㋭
㋮	㋯	㋰	㋱	㋲
㋳		㋴		㋵
㋶	㋷	㋸	㋹	㋺
㋻	㋼		㋽	㋾


ｱ	ｲ	ｳ	ｴ	ｵ
ｶ	ｷ	ｸ	ｹ	ｺ
ｻ	ｼ	ｽ	ｾ	ｿ
ﾀ	ﾁ	ﾂ	ﾃ	ﾄ
ﾅ	ﾆ	ﾇ	ﾈ	ﾉ
ﾊ	ﾋ	ﾌ	ﾍ	ﾎ
ﾏ	ﾐ	ﾑ	ﾒ	ﾓ
ﾔ		ﾕ		ﾖ
ﾗ	ﾘ	ﾙ	ﾚ	ﾛ
ﾜ				ｦ
ﾝ


㋐	㋑	㋒	㋓	㋔
㋕	㋖	㋗	㋘	㋙
㋚	㋛	㋜	㋝	㋞
㋟	㋠	㋡	㋢	㋣
㋤	㋥	㋦	㋧	㋨
㋩	㋪	㋫	㋬	㋭
㋮	㋯	㋰	㋱	㋲
㋳		㋴		㋵
㋶	㋷	㋸	㋹	㋺
㋻	㋼		㋽	㋾

List of Unicode [text.Baldanders.info]

ダッシュとかチルダとか

エンダッシュとエムダッシュを直接入力できる？

全角ダッシュの Unicode マッピング

波ダッシュと全角チルダ

【2025-11-18 追記】 エムダッシュとアポストロフィと AI

【2025-11-18 追記】 ハイフンと AI

ブックマーク

参考

仮名文字を整理してみる

五十音

半角カナ文字

丸囲み文字

濁音・半濁音

小書き文字

記号類

長音記号

繰り返し記号

合略仮名

その他の合字

その他

仮名は意外と面倒くさかった

変体仮名をサポートした

ブックマーク

参考図書

変体仮名一覧

ブックマーク

“Text to Math Converter” に Unicode の業の深さを見る

ブックマーク

参考図書

GNKF: NKF ぽいなにか の v0.6.3 をリリースした

ブックマーク

参考図書

Unicode のカタカナを調べる

ブックマーク

参考図書

仮名・ローマ字変換する Go パッケージを作ってみた

【2021-09-12 追記】

ブックマーク

参考図書

Go と日本語

識別名として使える文字

やっぱ英語にしとこうや

参考図書

「情報交換用に推奨される絵文字のリスト」を作ってみた

絵文字の構造

Emoji Characters

Emoji Presentation Sequences

Emoji Modifiers

Emoji Flag Sequence

Emoji Tag Sequence (ETS)

Emoji Keycap Sequence

Emoji ZWJ Sequence

絵文字の分類

【2025-11-18 追記】エムダッシュとアポストロフィと AI

【2025-11-18 追記】ハイフンと AI

GNKF: NKF ぽいなにかの v0.6.3 をリリースした


ｱ	ｲ	ｳ	ｴ	ｵ
ｶ	ｷ	ｸ	ｹ	ｺ
ｻ	ｼ	ｽ	ｾ	ｿ
ﾀ	ﾁ	ﾂ	ﾃ	ﾄ
ﾅ	ﾆ	ﾇ	ﾈ	ﾉ
ﾊ	ﾋ	ﾌ	ﾍ	ﾎ
ﾏ	ﾐ	ﾑ	ﾒ	ﾓ
ﾔ		ﾕ		ﾖ
ﾗ	ﾘ	ﾙ	ﾚ	ﾛ
ﾜ				ｦ
ﾝ


㋐	㋑	㋒	㋓	㋔
㋕	㋖	㋗	㋘	㋙
㋚	㋛	㋜	㋝	㋞
㋟	㋠	㋡	㋢	㋣
㋤	㋥	㋦	㋧	㋨
㋩	㋪	㋫	㋬	㋭
㋮	㋯	㋰	㋱	㋲
㋳		㋴		㋵
㋶	㋷	㋸	㋹	㋺
㋻	㋼		㋽	㋾