List of Json [text.Baldanders.info]

JSON の操作

2020-01-22T08:51:01+00:00

某所であった JSON データの操作に関するやり取りが面白かったのでネタにしてみる。

まず，サンプルの JSON データとして以下のデータを使う。

var sampleJSON = `{
  "books": [
    {
      "Type": "aozora",
      "ID": "56839",
      "Title": "ニャルラトホテプ",
      "OriginalTitle": "NYARLATHOTEP",
      "URL": "https://www.aozora.gr.jp/cards/001699/card56839.html",
      "ProductType": "青空文庫",
      "Creators": [
        {
          "Name": "ラヴクラフト ハワード・フィリップス"
        },
        {
          "Name": "大久保 ゆう",
          "Role": "翻訳"
        }
      ],
      "PublicationDate": "2014-04-04",
      "LastRelease": "2015-08-19"
    },
    {
      "Type": "aozora",
      "ID": "4307",
      "Title": "グリゴリの捕縛",
      "URL": "https://www.aozora.gr.jp/cards/000021/card4307.html",
      "ProductType": "青空文庫",
      "Creators": [
        {
          "Name": "白田 秀彰"
        }
      ],
      "PublicationDate": "2001-11-26",
      "LastRelease": "2014-09-17"
    }
  ]
}`

このデータを簡単に扱う方法を考える。

とりあえず map にデコードする

お手軽なのは JSON オブジェクトを map[string]interface に，配列を []interface にデコードすることである。たとえばこんな感じ。

func main() {
    var decodeData map[string]interface{}
    if err := json.Unmarshal([]byte(sampleJSON), &decodeData); err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }

    book0 := decodeData["books"].([]interface{})[0]
    creators := book0.(map[string]interface{})["Creators"].([]interface{})
    fmt.Println(creators)
    // Output:
    // [map[Name:ラヴクラフト ハワード・フィリップス] map[Name:大久保 ゆう Role:翻訳]]
}

ただ，このやり方では map や interface にデコードしたデータを取り出す際にキャストの嵐になるので，どうしても記述が煩雑になる。

koron/go-dproxy パッケージを使う

上述のデコードしたデータをもう少し簡単に扱うために koron/go-dproxy パッケージを利用する。こんな感じ。

func main() {
    var decodeData map[string]interface{}
    if err := json.Unmarshal([]byte(sampleJSON), &decodeData); err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }

    a, err := dproxy.New(decodeData).M("books").A(0).M("Creators").Array()
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    fmt.Println(a)
    // Output:
    // [map[Name:ラヴクラフト ハワード・フィリップス] map[Name:大久保 ゆう Role:翻訳]]
}

エラーハンドリングも含めてかなりスッキリ書ける。更に koron/go-dproxy パッケージは JSON Pointer (RFC 6901) にも対応しているそうで

func main() {
    var decodeData map[string]interface{}
    if err := json.Unmarshal([]byte(sampleJSON), &decodeData); err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }

    a, err := dproxy.New(decodeData).P("/books/0/Creators").Array()
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    fmt.Println(a)
    // Output:
    // [map[Name:ラヴクラフト ハワード・フィリップス] map[Name:大久保 ゆう Role:翻訳]]
}

といった書き方もできる。便利！

JSON デコード用構造体を生成するツールを利用する

利用する JSON データの構成があらかじめ分かっているのなら yudppp/json2struct を使って JSON データから構造体を生成することができる。

yudppp/json2struct はコマンドラインツールとして利用する。こんな感じ。

$ cat sample.json | json2struct -name=Booksdata
type Booksdata struct {
    Books []BooksdataBook `json:"books"`
}

type BooksdataBook struct {
    Creators        []BooksdataBookCreator `json:"Creators"`
    ID              string                 `json:"ID"`
    LastRelease     string                 `json:"LastRelease"`
    OriginalTitle   string                 `json:"OriginalTitle"`
    ProductType     string                 `json:"ProductType"`
    PublicationDate string                 `json:"PublicationDate"`
    Title           string                 `json:"Title"`
    Type            string                 `json:"Type"`
    URL             string                 `json:"URL"`
}

type BooksdataBookCreator struct {
    Name string `json:"Name"`
    Role string `json:"Role"`
}

このコードを組み込んで使えばよい。こんな感じ。

func main() {
	var decodeData Booksdata
	if err := json.Unmarshal([]byte(sampleJSON), &decodeData); err != nil {
		fmt.Fprintln(os.Stderr, err)
		return
	}

	fmt.Println(decodeData.Books[0].Creators)
	// Output:
	// [{ラヴクラフト ハワード・フィリップス } {大久保 ゆう 翻訳}]
}

jq ぽい操作が欲しい

もっとラフに jq ぽく JSON データを扱えないか。たとえば savaki/jq を使えばできる。

func main() {
	op, _ := jq.Parse(".books.[0].Creators")
	v, _ := op.Apply([]byte(sampleJSON))

	fmt.Println(string(v))
	// Output:
    // [{"Name":"ラヴクラフト ハワード・フィリップス"},{"Name":"大久保 ゆう","Role":"翻訳"}]
}

savaki/jq は JSON データのフィルタとして機能する。操作としては savaki/jq で必要な部分を抽出した後，これまで述べた方法で操作する，といった感じに組み合わせて使うといいかもしれない。

ブックマーク

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

[Comment] 著者のひとりは（あの「バイブル」とも呼ばれる）通称 “K&R” の K のほうである。この本は Go 言語の教科書と言ってもいいだろう。と思ったら絶版状態らしい（2025-01 現在）。復刊を望む！

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

GitHub に登録されている OpenPGP 公開鍵の情報を取得する

2019-10-21T08:29:15+00:00

【2020-10-14】 同じ話を Zenn で書いてしまった。併せてどうぞ orz

GitHub に登録した OpenPGP 公開鍵を取り出す

ネットで見かけた小ネタで（笑）

GitHub の git リポジトリにアクセスする際に使う SSH 公開鍵を取得する方法は割と知られているようだが

$ curl -s https://github.com/spiegel-im-spiegel.keys

似た感じで登録している OpenPGP 公開鍵も取得できる。ただし出力は JSON 形式で，こんな感じ。

$ curl -s https://api.github.com/users/spiegel-im-spiegel/gpg_keys
[
  {
    "id": 305745,
    "primary_key_id": null,
    "key_id": "2287557885231C76",
    "raw_key": "-----BEGIN PGP PUBLIC KEY BLOCK-----\r\n\r\n ... \r\n-----END PGP PUBLIC KEY BLOCK-----",
    "public_key": "...",
    "emails": [
      {
        "email": "...",
        "verified": true
      }
    ],
    "subkeys": [
      {
        "id": 305746,
        "primary_key_id": 305745,
        "key_id": "5B07C6DBBBDAB020",
        "raw_key": null,
        "public_key": "...",
        "emails": [
        ],
        "subkeys": [
        ],
        "can_sign": false,
        "can_encrypt_comms": true,
        "can_encrypt_storage": true,
        "can_certify": false,
        "created_at": "2018-02-15T11:34:33.000Z",
        "expires_at": null
      }
    ],
    "can_sign": true,
    "can_encrypt_comms": false,
    "can_encrypt_storage": false,
    "can_certify": true,
    "created_at": "2018-02-15T11:34:33.000Z",
    "expires_at": "2020-02-15T00:22:09.000Z"
  },
  {
    ...
  },
  ...
]

いろいろ端折ってるが，あしからず。

この中で raw_key 項目に GitHub へ登録した ASCII armor 形式の公開鍵がそのまま入っている。取り出しは jq コマンドを使って以下のようにできる。

$ curl -s https://api.github.com/users/spiegel-im-spiegel/gpg_keys | jq -r .[0].raw_key
-----BEGIN PGP PUBLIC KEY BLOCK-----

mFIEWoTPwRMIKoZIzj0DAQcCAwRBr6HVaUrhEBxBcty/ToFv3aJyC+yojwVG84CL
...
JgA=
=gjzz
-----END PGP PUBLIC KEY BLOCK-----

ただし raw_key 項目は登録した公開鍵によっては null になっているようだ。なんでだろう。

登録した鍵の公開鍵パケットのみであれば public_key 項目にセットされている¹。

$ curl -s https://api.github.com/users/spiegel-im-spiegel/gpg_keys | jq -r .[0].public_key
xlIEWoTPwRMIKoZIzj0DAQcCAwRBr6HVaUrhEBxBcty/ToFv3aJyC+yojwVG84CLs/XUsT7TUUxrrME+RrzbCs4PMYjdZ9B9nCcD1ni2Bjk+GI9/

これはバイナリデータを Base64 形式で符号化したもののようだ。なので base64 コマンドで復号し，更に拙作の gpgpdump で可視化すれば

$ curl -s https://api.github.com/users/spiegel-im-spiegel/gpg_keys | jq -r .[0].public_key | base64 -d | gpgpdump 
Public-Key Packet (tag 6) (82 bytes)
    Version: 4 (current)
    Public key creation time: 2018-02-15T09:09:37+09:00
        5a 84 cf c1
    Public-key Algorithm: ECDSA public key algorithm (pub 19)
    ECC Curve OID: nistp256 (256bits key size)
        2a 86 48 ce 3d 03 01 07
    ECDSA EC point (uncompressed format) (515 bits)

という感じに中身を見ることができる。

以上，広告記事でした（笑）

ブックマーク

参考図書

暗号化プライバシーを救った反乱者たち: スティーブン・レビー (著), 斉藤隆央 (翻訳); 紀伊國屋書店 2002-02-16; 単行本; 4314009071 (ASIN), 9784314009072 (EAN), 4314009071 (ISBN); 評価

[Comment] 20世紀末，暗号技術の世界で何があったのか。知りたかったらこちらを読むべし！

reviewed by Spiegel on 2015-03-09 (powered by PA-APIv5)

暗号技術入門第3版　秘密の国のアリス: 結城浩 (著); SBクリエイティブ 2015-08-25 (Release 2015-09-17); Kindle版; B015643CPE (ASIN); 評価

[Comment] SHA-3 や Bitcoin/Blockchain など新しい知見や技術要素を大幅追加。暗号技術を使うだけならこれ1冊でとりあえず無問題。

reviewed by Spiegel on 2015-09-20 (powered by PA-APIv5)

ちなみに公開鍵パケットのみで自己署名もない状態では暗号化も署名検証もできない。少なくとも GnuPG はそうなっている。 ↩︎

Go 言語で浮動小数点数をいろいろな書式で表示してみる

2019-09-27T16:27:23+00:00

今日も面白い記事を見つけた。

go で float32 を JSON にするとちょっと意外なことになる - Qiita

今回は Go 1.13 になった記念として浮動小数点数をいろいろな書式で表示してみることにする。

その前に…

上の記事について補足をしておくが¹， 0xa0000000 をいわゆる倍精度浮動小数点数（Go 言語で言うところの float64）にキャストした場合と，いったん単精度浮動小数点数（Go 言語で言うところの float32）にキャストした後に倍精度で再度キャストした場合で結果は同じ値になるが，これは倍精度へのキャストで精度が復元しているわけではない点に注意が必要である。

このことは 0xa0000000 を2進数に展開するとよく分かる。 Go 1.13 から %b で整数値を2進数で表現できるようになったので試してみよう。

fmt.Printf("%b\n", int64(0xa0000000))
//Output
//10100000000000000000000000000000

このとおり 0xa0000000 の実質的な有効桁数は3ビットしかない。なので，単精度と倍精度の間でキャストを繰り返しても実質的な精度に影響はないのである。

もし有効桁数の違いを見たいのであればサンプルの値を 0xa0000001 に変えてみるといいだろう。たとえば件の記事に出てくる JavaScript コード

o = {
  foo: new Float32Array([0xa0000000]),
  bar: new Float64Array([0xa0000000])
}
process.stdout.write(JSON.stringify(o));

を

o = {
  foo: new Float32Array([0xa0000001]),
  bar: new Float64Array([0xa0000001])
}
process.stdout.write(JSON.stringify(o));

に書き換えて実行してみると

$ node json.js 
{"foo":{"0":2684354560},"bar":{"0":2684354561}}

という感じに異なる値で表示される。これで JavaScript コードでも明示的に単精度浮動小数点数にすれば，ちゃんと精度が削られること（情報落ち）が分かるだろう。

JSON (RFC 7159) における数値（numbers）の内部表現は倍精度浮動小数点数のみだが JavaScript の仕様に合わせて整数で表現可能な場合はできるだけ整数で表そうとする。故に無理やり単精度浮動小数点数に押し込めばこんな妙ちきりんなことも起きる。幸い JSON は 1.23E+4 みたいな表現も許容するので，有効桁数を明示したいならこの表記がいいだろう。

ちなみに Go 言語で float32 を JSON 形式に展開する際に 1.23E+4 のような表記にしたければ float32 を wrap する型を作って

type Float32 float32

func (f Float32) MarshalJSON() ([]byte, error) {
    return []byte(fmt.Sprintf("%v", f)), nil
}

などとすればよい。

0xa0000001 を様々な書式で表記してみる

ようやく本題（笑）

あらかじめ 0xa0000001 を

const value = 0xa0000001

var (
    i64 = int64(value)
    f64 = float64(value)
    f32 = float32(value)
)

と定義して fmt.Printf() 関数の各書式（verb）を使って表記してみよう。こんな感じ。

Format	Expression
`fmt.Printf("%d", i64)`	`2684354561`
`fmt.Printf("%b", i64)`	`10100000000000000000000000000001`
`fmt.Printf("%f", f64)`	`2684354561.000000`
`fmt.Printf("%f", f32)`	`2684354560.000000`
`fmt.Printf("%e", f64)`	`2.684355e+09`
`fmt.Printf("%e", f32)`	`2.684355e+09`
`fmt.Printf("%g", f64)`	`2.684354561e+09`
`fmt.Printf("%g", f32)`	`2.6843546e+09`
`fmt.Printf("%g", float64(f32))`	`2.68435456e+09`

更に Go 1.13 から浮動小数点数に対して %b が使えるようになった。 %b を使うと仮数部と指数部を分離した表記になる。こんな感じ。

Format	Expression
`fmt.Printf("%b", f64)`	`5629499536310272p-21`
`fmt.Printf("%b", f32)`	`10485760p+8`
`fmt.Printf("%b", float64(f32))`	`5629499534213120p-21`

仮数部が10進数表記で分かりにくいので，強引に2進数に置き換えるとこんな感じ。

Value	Expression
`f64`	`10100000000000000000000000000001000000000000000000000p-21`
`f32`	`101000000000000000000000p+8`
`float64(f32)`	`10100000000000000000000000000000000000000000000000000p-21`

float32 で8ビット分の情報落ちが発生していることがよく分かる。覆水盆に返らず（笑）

Go 1.13 で浮動小数点数の内部構造が簡単に見れるようになって，浮動小数点数対する理解がより進むというものである。

【おまけの追記】 encoding/json パッケージにおける浮動小数点数の扱いと json.Number 型

Go 言語の標準パッケージである encoding/json で構造体の要素に float32/float64 を割り当てた際の JSON へのエンコードでは，最終的に strconv.AppendFloat() 関数で文字列に変換される。

strconv.AppendFloat() 関数とほぼ同じ機能を持つ strconv.FormatFloat() 関数で出力を確認してみよう。

Conversion	Output
`strconv.FormatFloat(f64, 'f', -1, 64)`	`2684354561`
`strconv.FormatFloat(f64, 'f', -1, 32)`	`2684354600`
`strconv.FormatFloat(float64(f32), 'f', -1, 64)`	`2684354560`
`strconv.FormatFloat(float64(f32), 'f', -1, 32)`	`2684354600`

encoding/json では1番目および4番目のフォーマットを使っている。理由は不明だが間違いではない。単精度浮動小数点数の有効桁数は10進数換算で7桁程度しかないため 2684354560 と 2684354600 の違いに意味はないのだ。

それでも JavaScript に近い表記が欲しいのであれば，たとえば先程の float32 の wrapper として定義した Float32 型を以下のように書き直すことで実現できる。

type Float32 float32

func (f Float32) MarshalJSON() ([]byte, error) {
    return []byte(strconv.FormatFloat(float64(f), 'f', -1, 64)), nil
}

ところで，ちょっと反則的（？）かもしれないが encoding/json パッケージには json.Number という型が用意されている。 json.Number 型は名前に反して string 型の wrapper になっている。

// A Number represents a JSON number literal.
type Number string

// String returns the literal text of the number.
func (n Number) String() string { return string(n) }

// Float64 returns the number as a float64.
func (n Number) Float64() (float64, error) {
	return strconv.ParseFloat(string(n), 64)
}

// Int64 returns the number as an int64.
func (n Number) Int64() (int64, error) {
	return strconv.ParseInt(string(n), 10, 64)
}

つまり JSON との Marshal/Unmarshal は文字列と同じ扱いだが，必要に応じて数値（int64 または float64 型）に変換できるというわけだ。

これまで述べたように JSON の numbers を浮動小数点数に変換すると計算誤差が発生するため破壊的な変換になりがちだが json.Number 型であればそれを最小限に抑えられるだろう。

ブックマーク

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

件の記事の著者は浮動小数点数の性質については分かった上で Go 言語以外の言語との表現の違いについて問題にしておられるようだ。 ↩︎

gjq v0.2.0 をリリースした

2019-03-17T12:34:01+00:00

昨日の今日で恐縮だが [spiegel-im-spiegel/gjq] v0.2.0 をリリースした。

Release v0.2.0 · spiegel-im-spiegel/gjq · GitHub

2つほどオプションを追加した。

$ gjq -h
Usage:
  gjq [flags] <filter string>

Flags:
  -c, --clipboard     copy to clipboard in interactive mode
  -C, --color         colorize JSON
      --debug         for debug
  -f, --file string   JSON data (file path)
  -h, --help          help for gjq
  -i, --indent int    indent size for formatted JSON string (default 2)
  -I, --interactive   interactive mode
  -t, --tab           use tabs for indentation
  -u, --url string    JSON data (URL)
  -v, --version       output version of gjq

小文字の -c をつけると対話モード時にフィルタリング結果をクリップボードにコピーする。逆にこのオプションを付けないとクリップボードへのコピーは行わないようにした。対話モードは Ctrl+C を入力するまで続くが，この割り込みタイミングで直前の結果をクリップボードにコピーする。

大文字の -C オプションでフィルタリング結果をカラー表示できるようにした。ファイルやクリップボードへの出力には影響しない（筈）。

JSON 文字列のカラー化には以下の2つのパッケージを利用している。

いやぁ，おかげさまで実装がめっさ簡単だったわ（笑）

あと Windows とそれ以外のプラットフォームとの差を吸収するために

mattn/go-colorable

を利用している。たとえば

fmt.Fprintln(colorable.NewColorableStdout(), string(coloredJSONbytes))

とかすればプラットフォームに関係なく ANSI 標準のエスケープシーケンスを使って文字に色を付けることができる。

これで「jq ぽい何か」でやりたいことはだいたい実装できたので本来の作業へ戻るとしよう。

ブックマーク

jq ぽい何かを書いてみた

[spiegel-im-spiegel/gjq]: https://github.com/spiegel-im-spiegel/gjq “spiegel-im-spiegel/gjq: Another Implementation of “jq” by golang”

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

jq ぽい何かを書いてみた

2019-03-16T14:12:32+00:00

ウソです。ほとんど自力じゃありません（笑）

JSON データを操作できる jq はとても高機能で使い勝手もいいのだが，純粋にフィルタとして機能するため Windows 環境では微妙に使いづらい場合がある。具体的には

入力が標準入力のみなのでリダイレクトやパイプと組み合わせる必要がある
対話モードがない

といったところ。大した問題ではないのだがどうにかならないかなぁ，と思っていた。

んで，どなたか Go 言語で書いている人がいるんじゃないかと思って探してみたら以下のツール/パッケージを見つけた。

simeji/jid はよく出来ていると思うのだが，残念なことに ConEmu 上で動かすと表示がぶっ壊れる（コマンドプロンプトでは問題ない）。 savaki/jq と apang1992/jq はパッケージだが，ここ2,3年は更新されていないようである。

私が Windows を捨てれば simeji/jid で全然 OK なのだが（そのうち捨てる），鼻の先はそういうわけにもいかないので，自分用に CLI を書いてみることにした。

spiegel-im-spiegel/gjq

コマンドライン・オプションは以下の通り。

$ gjq -h
Usage:
  gjq [flags] <filter string>

Flags:
      --debug         for debug
  -f, --file string   JSON data (file path)
  -h, --help          help for gjq
  -i, --indent int    indent size for formatted JSON string (default 2)
  -I, --interactive   interactive mode
  -t, --tab           use tabs for indentation
  -u, --url string    JSON data (URL)
  -v, --version       output version of gjq

パーサには savaki/jq を使っている。フィルタの文法は以下の通り。

syntax	meaning
`.`	unchanged input
`.foo`	value at key
`.foo.bar`	value at nested key
`.[0]`	value at specified element of array
`.[0:1]`	array of specified elements of array, inclusive
`.foo.[0]`	nested value

まずは jq と同じようにフィルタとして使うならこんな感じ。

$ cat testdata/test.json
{
  "string": "a",
  "number": 1.23,
  "simple": ["a", "b", "c"],
  "mixed": [
    "a",
    1,
    {"hello":"world"}
  ],
  "object": {
    "first": "joe",
    "array": [1,2,3]
  }
}

$ gjq .object.array < testdata/test.json
[
  1,
  2,
  3
]

$ cat testdata/test.json | gjq .mixed
[
  "a",
  1,
  {
    "hello": "world"
  }
]

インデントは -i オプションで調整できるが 0 をセットすると

$ gjq -i 0 .mixed < testdata/test.json
["a",1,{"hello":"world"}]

とコンパクトになる。

また -f オプションでファイルを直接指定することもできる。

$ gjq -f testdata/test.json .object.array
[
  1,
  2,
  3
]

さらに -u オプションで URL を指定すれば Web 上のファイルも対象になる¹。

$ gjq -u https://text.baldanders.info/index.json .entry.[0]
{
  "title": "猫を殺すに猫を以ってせよ",
  "section": "remark",
  "description": "分かるかな。分っかんねーだろうな（反語）",
  "author": "Spiegel",
  "license": "http://creativecommons.org/licenses/by-sa/4.0/",
  "url": "https://text.baldanders.info/remark/2019/03/no-cat-no-life/",
  "published": "2019-03-11T13:51:41+00:00",
  "update": "2019-03-11T13:53:40+00:00"
}

さらにさらに -I オプションを付けると対話モードになる。

$ gjq -u https://text.baldanders.info/index.json -I
Press Ctrl+C to stop
Filter> .title
"text.Baldanders.info"
Filter> .entry.[0]
{
  "title": "猫を殺すに猫を以ってせよ",
  "section": "remark",
  "description": "分かるかな。分っかんねーだろうな（反語）",
  "author": "Spiegel",
  "license": "http://creativecommons.org/licenses/by-sa/4.0/",
  "url": "https://text.baldanders.info/remark/2019/03/no-cat-no-life/",
  "published": "2019-03-11T13:51:41+00:00",
  "update": "2019-03-11T13:53:40+00:00"
}
Filter>

対話モードではクリップボードにも出力されるのでターミナル上でコピペする必要はない。また JSON データは起動時に1度だけ GET するので，安心して対話モードで弄れる（笑）

さて次は色を付けてみるかな。 Go 言語でターミナル出力に色を付けるってどうやるんだろ。調べてみるか。

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

-u オプションは HTTP/HTTPS の GET で対象を取得する。 POST には対応してないのであしからず。 POST で取ってくる必要があるなら潔く curl を使ったほうがいいだろう。 ↩︎

JSON-LD に対応してみた

2017-11-17T14:40:05+00:00

以前，このサイトを Twitter Cards に対応させたのだが，今回も思いつきで JSON-LD に対応させることにした。

JSON-LD - JSON for Linking Data

JSON-LD の特徴は複数の情報のかたまりを IRI¹ で繋ぐことで複雑なデータ構造を記述できる点にある。これを使ってネット上のリソースのメタデータとその関係を表現するわけだ。

ただし Web ページの場合は， RDFa や Microdata などと違って，語彙を HTML の要素に埋め込むことが出来ないため冗長にならざるを得ない。まぁ CMS を使ってサイトや Web ページを管理しているなら，一度テンプレート等を作ってしまえば済む話なので，大した手間ではないかもしれないが。

逆に RESTful API でメタデータを提供する場合は JSON-LD はかなり有力な手段となるだろう。

真面目に JSON-LD を扱うとなると相当凝ったことができるみたいだが²，今回は軽めに Google の検索サービスが解釈できる範囲で調整してみようと思う。

なお JSON-LD を導入するのなら Microdata の記述はページから削除することをお勧めする。 Microdata は未完成のまま開発が終了しており，もはや推奨されない。

Web ページに JSON-LD を埋め込む

JSON-LD を Web ページに埋め込む際は，以下のように <script> 要素で囲む。

<script type="application/ld+json">
{
  ...
}
</script>

メディア・タイプに注意すること。どうやらこの記述はページ内にいくつ置いてもいいようだ（少なくとも Google のテストツールには怒られなかった）。

<script type="application/ld+json">
{
  ...
}
</script>

<script type="application/ld+json">
{
  ...
}
</script>

JSON-LD の詳細

JSON-LD の中身だが，まずは @context と @type を指定する。

{
  "@context": "http://schema.org",
  "@type": "WebSite"
}

@context で語彙を定義するのだが，どうやら Google は Microdata の語彙（のひとつ）である schema.org を前提にしているらしい。 @type には schema.org で定義される content type を指定する。このサイトは一応ブログサイトなので，以下の content type を使うことにする。

更に，これらが参照する content type として以下も使用する。

まずは WebSite から。

<script type="application/ld+json">
{
  "@context": "http://schema.org",
  "@type": "WebSite",
  "@id": "https://text.baldanders.info/",
  "inLanguage": "ja",
  "name": "text.Baldanders.info",
  "url": "https://text.baldanders.info/",
  "publisher": {
    "@id": "https://text.baldanders.info/#org"
  },
  "author": {
    "@type": "Person",
    "@id": "https://text.baldanders.info/#maker",
    "name": "Spiegel",
    "url": "https://baldanders.info/profile/",
    "image": "https://text.baldanders.info/images/avatar.jpg"
  },
  "image": "https://text.baldanders.info/images/avatar.jpg",
  "description": "帰ってきた「しっぽのさきっちょ」"
}
</script>
<script type="application/ld+json">
{
  "@context": "http://schema.org",
  "@type": "Organization",
  "@id": "https://text.baldanders.info/#org",
  "name": "text.Baldanders.info",
  "logo": {
    "@type": "ImageObject",
    "@id": "https://text.baldanders.info/#logo",
    "url": "https://text.baldanders.info/images/avatar.jpg"
  }
}
</script>

@id は IRI を定義または参照する。 @id によって Organization のデータを publisher から参照しているのがお分かりだろうか。これをテストツールにかけるとこんな感じになる。

Structured Data Testing Tool (1)

publisher に Organization のデータが入っているのがわかると思う。

本来の schema.org の定義では publisher には Organization と Person のどちらも有効な筈なのだが，テストツールは Organization しか受け付けないようだ。これではうちのような個人サイトは大変に困るのだが，しょうがないので Organization にテキトーな情報を入れてお茶を濁している。何とかしてよ Google 先生！

次は Blog の情報をセットする。

<script type="application/ld+json">
{
  "@context": "http://schema.org",
  "@type": "Blog",
  "@id": "https://text.baldanders.info/remark/",
  "url": "https://text.baldanders.info/remark/",
  "inLanguage": "ja",
  "name": "しっぽのさきっちょ",
  "description": "とりとめのない四方山話。",
  "image": "https://text.baldanders.info/images/attention/remark.jpg",
  "publisher": {
    "@id": "https://text.baldanders.info/#org"
  },
  "author": {
    "@type": "Person",
    "@id": "https://text.baldanders.info/remark/#maker",
    "name": "Spiegel",
    "url": "https://baldanders.info/profile/",
    "image": "https://text.baldanders.info/images/avatar.jpg"
  }
}
</script>

publisher の参照先は WebSite と同じなので省略する。これをテストツールにかけるとこんな感じになる。

Structured Data Testing Tool (2)

どんどん行こう。 BlogPosting はこんな感じ。

<script type="application/ld+json">
{
  "@context": "http://schema.org",
  "@type": "BlogPosting",
  "@id": "https://text.baldanders.info/remark/2017/11/qiitadon/",
  "url": "https://text.baldanders.info/remark/2017/11/qiitadon/",
  "mainEntityOfPage": "https://text.baldanders.info/remark/2017/11/qiitadon/",
  "inLanguage": "ja",
  "name": "Qiita って Mastodon やってたのか",
  "description": "私にとって今年最初の大外しは「GW 過ぎたら Mastodon のことなんかみんな忘れてる」だったが，本当に忘れていたのは私だけだったようだ。",
  "headline": "私にとって今年最初の大外しは「GW 過ぎたら Mastodon のことなんかみんな忘れてる」だったが，本当に忘れていたのは私だけだったようだ。",
  "keywords": "mastodon, communication",
  "image": "https://text.baldanders.info/images/attention/remark.jpg",
  "datePublished": "2017-11-10T13:49:58+09:00",
  "dateModified": "2017-11-16T10:09:40+09:00",
  "publisher": {
    "@id": "https://text.baldanders.info/#org"
  },
  "author": {
    "@type": "Person",
    "@id": "https://text.baldanders.info/remark/2017/11/qiitadon/#maker",
    "name": "Spiegel",
    "url": "https://baldanders.info/profile/",
    "image": "https://text.baldanders.info/images/avatar.jpg"
  },
  "license": "https://creativecommons.org/licenses/by-sa/4.0/"
}
</script>

Google 検索は BlogPosting の内容を参照している。 Google 検索が BlogPosting で要求するプロパティは以下の通り。

Properties	Data Type	AMP	non-AMP
`mainEntityOfPage`	`URL`	recommended	ignored
`headline`	`Text`	required	recommended
`image`	`ImageObject` or `URL`	required	recommended
`publisher`	`Organization`	required	ignored
`publisher.name`	`Text`	required	ignored
`publisher.logo`	`ImageObject`	required	ignored
`publisher.logo.url`	`URL`	required	ignored
`publisher.logo.height`	`Number`	required	ignored
`publisher.logo.width`	`Number`	required	ignored
`datePublished`	`DateTime`	required	ignored
`dateModified`	`DateTime`	required	ignored
`author`	`Person` or `Organization`	required	ignored
`author.name`	`Text`	required	ignored
`description`	`Text`	recommended	ignored

AMP (Accelerated Mobile Pages) と non-AMP で要求が異なるが，テストツールは AMP を前提にしているようで，これらのプロパティがないとエラーまたは警告を吐く³。

これもテストツールにかけてみよう。こんな感じ。

Structured Data Testing Tool (3)

最後に BreadcrumbList （パンくずリスト⁴）はこんな感じになる。

<script type="application/ld+json">
{
  "@context": "http://schema.org",
  "@type": "BreadcrumbList",
  "@id": "https://text.baldanders.info/remark/2017/11/qiitadon/#breadcrumb-list",
  "itemListElement": [
    {
      "@type": "ListItem",
      "position": 1,
      "item": {
        "@id": "https://text.baldanders.info/"
      }
    },
    {
      "@type": "ListItem",
      "position": 2,
      "item": {
        "@id": "https://text.baldanders.info/remark/"
      }
    }
  ]
}
</script>

Google 検索は BreadcrumbList の内容も参照している。 Google 検索が BreadcrumbList で要求するプロパティは以下の通り。

Properties	Data Type	Requirement
`image`	`URL`	optional
`item`	`Thing`	required
`name`	`Text`	required
`position`	`Integer`	required

上述のコードでは item を @id の参照先と繋げている。具体的には，最初の階層に WebSite データの @id を，2番目の階層に Blog データの @id を指定している。これによって item の中に name や image が含まれるため，不足なく情報を網羅できている。

ブックマーク

IRI (Internationalized Resource Indicator) というのは JSON-LD 独自の用語のようだが，ここでは大雑把に URL (Uniform Resource Locator) や URI (Uniform Resource Indicator) と同じようにネット上のリソースを一意に識別する識別子であると理解しておけばよい。なお，テストツールを見るかぎり Google 検索では IRI からメタデータの場所（URL または URI）を推測して取得するといったことはしないようだ。したがって Web ページに JSON-LD を設置する場合には，関連する全てのメタデータを記述する必要がある。冗長すぎるやろ。 ↩︎
JSON-LD の仕様を見るかぎり，Microdata や RDFa の語彙を流用したり自前で語彙を作ったりできるっぽい。 ↩︎
ただし publisher.logo.height と publisher.logo.width は例外のようで，これらのプロパティがなくてもテストツールではエラーにならなかった。まぁ画像のサイズは画像データから読み取れるからね。 ↩︎
一応説明しておくと「パンくずリスト」とはサイト内のページ位置を見失わないようにするためのナビゲーション表示を指す。名前で想像される通り「ヘンゼルとグレーテル」の童話が語源になっているらしい。まぁ，いまどきパンくずリストがないと迷子になってしまうようなダサい構成のサイトは少なくなってると思うけど。 ↩︎

icat4json 公開

2016-02-25T07:45:01+00:00

IPA が提供する “icat for JSON” にアクセスする Go 言語用のパッケージを公開した。

github.com/spiegel-im-spiegel/icat4json

以下のような感じで使える。

package main

import (
    "fmt"
    "log"

    "github.com/spiegel-im-spiegel/icat4json"
)

func main() {
    json, err := icat4json.Get(icat4json.ToolICATW)
    if err != nil {
        log.Fatal(err)
    }
    data, err := json.Decode()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("Title: %v\n", data.Title)
    fmt.Printf("  URL: %v\n", data.Link)
    fmt.Printf(" Date: %v\n", data.Date)
    fmt.Print("Items:\n")
    for _, item := range data.Itemdata {
        fmt.Printf("\t%v: %v (%v)\n", item.Date, item.Title, item.Link)
    }
}

$ go run sample.go
Title: IPAセキュリティセンター:重要なセキュリティ情報
  URL: https://www.ipa.go.jp/security/vuln/icat.html
 Date: 2016-02-10 11:58:22 +0900 JST
Items:
    2016-02-10 12:00:00 +0900 JST: Microsoft 製品の脆弱性対策について(2016年02月) (http://www.ipa.go.jp/security/ciadr/vul/20160210-ms.html)
    2016-02-10 12:00:00 +0900 JST: Adobe Flash Player の脆弱性対策について(APSB16-04)(CVE-2016-0985等) (http://www.ipa.go.jp/security/ciadr/vul/20160210-adobeflashplayer.html)
    2016-01-20 12:00:00 +0900 JST: Oracle Java の脆弱性対策について(CVE-2016-0494等) (http://www.ipa.go.jp/security/ciadr/vul/20160120-jre.html)
    2016-01-13 12:00:00 +0900 JST: Microsoft 製品の脆弱性対策について(2016年01月) (http://www.ipa.go.jp/security/ciadr/vul/20160113-ms.html)
    2016-01-13 12:00:00 +0900 JST: Adobe Reader および Acrobat の脆弱性対策について(APSB16-02)(CVE-2016-0932等) (http://www.ipa.go.jp/security/ciadr/vul/20160113-adobereader.html)
    2016-01-06 16:40:00 +0900 JST: 【注意喚起】インターネットに接続する複合機等のオフィス機器の再点検を！ (http://www.ipa.go.jp/security/ciadr/vul/20160106-printer.html)
    2016-01-05 14:00:00 +0900 JST: 「DXライブラリ」におけるバッファオーバーフローの脆弱性対策について(JVN#49476817) (http://www.ipa.go.jp/security/ciadr/vul/20160105-jvn.html)

“icat for JSON” という名前なのに IPA は API の仕様を公開していない。そこで JavaScript コードの中身を見てみた。

icat for JSON について - Qiita

icat4json パッケージでは “icat for JSON” から取得した JSON データを以下の構造体にデコードする。

//Item - itemdata from icat
type Item struct {
    Title      string    `json:"item_title"`
    Link       string    `json:"item_link"`
    Date       time.Time `json:"item_date"`
    Identifier []string  `json:"item_identifier"`
}

//ICAT - data from icat
type ICAT struct {
    Itemdata []Item    `json:"itemdata"`
    Title    string    `json:"docTitle"`
    Fix      string    `json:"docTitleFix"`
    Link     string    `json:"docLink"`
    Date     time.Time `json:"docDate"`
}

JavaScript コードを見ると item_identifier 項目は使ってない模様。 docTitleFix 項目は中身が null かどうかしかチェックしてなくて¹， null 以外だと htmlentities() 関数を通さずに素のまま表示するという恐ろしいことをしている（普通こういうのって boolean 値を使うんじゃないのか？）。これらの項目は無視でもいいだろう。本当は IPA が仕様を公開してくれると有難いんだけどねぇ。

脆弱性情報をクライアントサイドで取るのなら “icat for JSON” ではなく Twitter の @ICATalerts アカウントのタイム・ラインをチェックするほうがオススメ。 JSON データを使うのならサーバサイドでやるべきだよね。 icat4json パッケージはドメイン・レイヤのエンティティとして使われることを意識している。

icat4json entity

私はたまたま Go 言語を勉強中なので Go 言語のパッケージとして実装したけど，本当なら Java とか Ruby とか node.js とかサーバサイドの実装があるといいよね。 IPA も jQuery じゃなくて，そういうので実装すればいいのに。

ところで Go 言語における string の実体は []byte だが nil 状態はない。 icat4json パッケージでは docTitleFix 項目が null の場合は空文字列に展開される。 JSON の null 状態を区別したいのであれば github.com/guregu/null パッケージ等を使う手もある。ちなみに github.com/guregu/null パッケージの型の実体は database/sql の NullString 型等である。 ↩︎

List of Json [text.Baldanders.info]

JSON の操作

とりあえず map にデコードする

koron/go-dproxy パッケージを使う

JSON デコード用構造体を生成するツールを利用する

jq ぽい操作が欲しい

ブックマーク

参考図書

GitHub に登録されている OpenPGP 公開鍵の情報を取得する

ブックマーク

参考図書

Go 言語で浮動小数点数をいろいろな書式で表示してみる

その前に…

0xa0000001 を様々な書式で表記してみる

【おまけの追記】 encoding/json パッケージにおける浮動小数点数の扱いと json.Number 型

ブックマーク

参考図書

gjq v0.2.0 をリリースした

ブックマーク

参考図書

jq ぽい何か を書いてみた

参考図書

JSON-LD に対応してみた

Web ページに JSON-LD を埋め込む

JSON-LD の詳細

ブックマーク

icat4json 公開

jq ぽい何かを書いてみた