List of Api [text.Baldanders.info]

#aozorahack に関する覚え書き

2019-08-07T14:22:53+00:00

自作の books-data に青空文庫の書籍情報を取得する機能を組み込もうと思っているのだが，その前に #aozorahack について情報をまとめておく。

なお，この記事は覚え書きとして随時更新する予定である。

青空文庫と #aozorahack

#aozorahack は2015年の「Code for 青空文庫」の成果とも言える活動で，青空文庫そのものではないが協働関係にある。基本的にボランティア活動だが「本の未来基金」による支援を受けているらしい。 2016年からは「本の未来基金」が aozorahack.org ドメインを取得し #aozorahack に提供している。

「著作権切れのテキストを中心に、今や1万3000作品の自由な電子本を収蔵する日本最大級のインターネット電子図書館「青空文庫」。青空文庫の運営はボランティアによって受け継がれてきました。1997年のスタートから着実に蔵書数を増やしてきましたが、だんだんとそのシステムは古くなってきてしまいました。

そこで青空文庫を技術の力で支えようとスタートしたのが #aozorahack です。青空文庫とは協業関係にあり、本の未来基金の支援を受けています。当面の目標はサーバの安定運用とシステムの分散ですが、それ以外にも青空文庫が今後も続いていけるようなしくみをみなさんと一緒に考えて、動かしていければと考えています。」

aozorahackより

当面の活動としては，青空文庫活動の worlflow を変えることなくシステム周りの強化・運用を支援し，更に青空文庫周辺のツールやサービスを充実させていくことを目標としているようだ。

オプション名	機能	既定値
`title`	タイトル名で絞り込む	なし
`author`	著者名で絞り込む	なし
`fields`	出力するデータ項目を指定する¹	全項目
`limit`	出力するデータ数を指定する	100
`skip`	データ出力をスキップする	0
`after`	指定した日付（`YYYY-MM-DD`）以降のデータのみ出力する	なし

オプション名	機能	既定値
`name`	作家名で絞り込む	なし

ブックマーク

参考図書

インターネット図書館青空文庫: 野口英司 (著); はる書房 2005-11-01; 単行本; 4899840721 (ASIN), 9784899840725 (EAN), 4899840721 (ISBN); 評価

青空文庫の活動について紹介。作品を収録した DVD も付いてる！巻末に載っている富田倫生さんの文章は青空文庫に収録されている。

reviewed by Spiegel on 2019-01-02 (powered by PA-APIv5)

本の未来 (Ascii books): 富田倫生 (著); アスキー 1997-02-01; 単行本; 4756117074 (ASIN), 9784756117076 (EAN), 4756117074 (ISBN); 評価

e-book の未来を予見する試みの書。あるいは本とコンピュータの関係について。青空文庫にも収録されている。

reviewed by Spiegel on 2019-01-02 (powered by PA-APIv5)

fields オプションは効いてない感じ？ ↩︎

Codic API を利用するパッケージを作ってみた

2017-10-25T06:46:59+00:00

つい最近まで知らなかったのだが codic というサービスがあるらしい。

プログラマーのためのネーミング辞書 | codic

簡単に言うと日本語の「名前」を英語に変換してくれるサービスなのだが，プログラマ向けに変数名やメソッド名として使いやすいよう提案してくれる優れものである。まさに英語不得手な私のためにあるようなサービスじゃないか！何故今までこのサービスに辿り着けなかったのか orz

Web 画面はこんな感じ。

codic service

あの時このサービスのことを知っていたらメソッド名に regist とか付けようとして赤っ恥をかかなくて済んだのに。とほほ。

というわけで早速サインアップしましたよ。 GitHub のアカウントでもサインアップできるのが素敵（最終確認にメールアドレスを要求されるけど）。

で， codic では API を公開しているようだ。

API | codic

で，これを使うための Go 言語パッケージも既に見られるんだけど

CLI しか用意されてない，っていうか何で GET で取ろうとするんだよ！というわけで自作することにした。

→ 自作しました。

spiegel-im-spiegel/gocodic: codic の API を利用するための Go 言語パッケージ

すみません。勢いで作ったのでテストを書いてません。そのうちなんとかします。日本語圏向けのサービスなんだから README もガッツリ日本語でいいよね（笑）

Curl で API を確認する

RESTfull API なんだから curl で説明してくれよ，と思う私は贅沢なのでしょうか。

とりあえず，翻訳用の API は curl を使うと以下のように記述できる。

curl "https://api.codic.jp/v1/engine/translate.json" -H "Authorization: Bearer YOUR_ACCESS_TOKEN" -F "text=hello" -F "casing=camel"

text=hello って日本語やないやないかい！というのはとりあえずスルーしていただいて，これを cURL as DSL で Go 言語コードに変換すると以下のようになる。

package main

import (
    "bytes"
    "io/ioutil"
    "log"
    "mime/multipart"
    "net/http"
)

func main() {

    client := &http.Client{}
    var buffer bytes.Buffer
    writer := multipart.NewWriter(&buffer)
    writer.WriteField("text", "hello")
    writer.WriteField("casing", "camel")
    writer.Close()

    request, err := http.NewRequest("POST", "https://api.codic.jp/v1/engine/translate.json", &buffer)
    request.Header.Add("Authorization", "Bearer YOUR_ACCESS_TOKEN")
    request.Header.Add("Content-Type", "multipart/form-data; boundary="+writer.Boundary())

    resp, err := client.Do(request)
    if err != nil {
        log.Fatal(err)
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        log.Fatal(err)
    }
    log.Print(string(body))
}

これが雛形で出発点である。 YOUR_ACCESS_TOKEN に正しいアクセス・トークン（codic にサインアップするともらえる）をセットすればちゃんと動く。動くコードってのは大事だよね。

最終的にどうなったかは README を見ていただきたい。

spf13/viper を使ってみたかったのだ

外部パッケージは dep で管理することにした。こんな感じである。

[[constraint]]
  name = "github.com/spf13/cobra"
  branch = "master"

[[constraint]]
  name = "github.com/spf13/viper"
  version = "^1.0.0"

[[constraint]]
  name = "github.com/spiegel-im-spiegel/gocli"
  version = "^0.4.0"

[[constraint]]
  name = "github.com/pkg/errors"
  version = "^0.8.0"

pkg/errors パッケージ以外は CLI (Command-Line Interface) 用のパッケージである。この中でも今回は特に spf13/viper を使ってみたかったのだ。だって毎回アクセス・トークンをコマンドラインに書く訳にはいかないでしょ。呼び出しバッチやスクリプトに書くとか以ての外だし。

spf13/viper は設定ファイルにアクセスするためのパッケージで，特に spf13/cobra との相性がいいのが特徴である。というか同じ作者なのだが。 spf13/cobra の使い方は以前紹介したので，そちらを参考にして欲しい。

モンテカルロ法による円周率の推定（その2 CLI）

spf13/cobra が生成してくれる cmd/root.go に spf13/viper 初期化のコードがある。

// initConfig reads in config file and ENV variables if set.
func initConfig() {
    if cfgFile != "" {
        // Use config file from the flag.
        viper.SetConfigFile(cfgFile)
    } else {
        // Find home directory.
        home, err := homedir.Dir()
        if err != nil {
            fmt.Print(err)
            os.Exit(1)
        }

        // Search config in home directory with name ".gocodic" (without extension).
        viper.AddConfigPath(home)
        viper.SetConfigName(".gocodic")
    }

    viper.AutomaticEnv() // read in environment variables that match

    // If a config file is found, read it in.
    if err := viper.ReadInConfig(); err == nil {
        fmt.Print("Using config file:", viper.ConfigFileUsed())
    }
}

この関数は spf13/cobra が生成した cmd パッケージの init() 関数内で呼び出される。このまま弄らなくても問題ないが，個人的にはエラーを標準出力に出してるのが気に入らなかったので少し変えている。

その後， spf13/viper で読み込む設定項目を記述していくのだが

rootCmd.PersistentFlags().StringVar(&cfgFile, "config", "", "config file (default is $HOME/.gocodic.yaml)")
rootCmd.PersistentFlags().BoolP("json", "j", false, "output by JSON format (raw data)")
rootCmd.PersistentFlags().StringP("token", "t", "", "access token of codic.jp")
viper.BindPFlag("json", rootCmd.PersistentFlags().Lookup("json"))
viper.BindPFlag("token", rootCmd.PersistentFlags().Lookup("token"))

こんな感じで spf13/cobra 側のフラグ（厳密には spf13/pflag）と spf13/viper をバインドしてしまう。これで cmd パッケージ側からはフラグ情報を透過的に扱える。フラグ情報を取り出す場合には

jsonFlag := viper.GetBool("json")
token := viper.GetString("token")

などとすればよい。分かれば簡単。

ところで

2016年4月からブログが更新されてないけど，そのうちサービスが止まるなんてないよね？ Twitter アカウントは生きてるみたいだし。

ブックマーク

icat4json 公開

2016-02-25T07:45:01+00:00

IPA が提供する “icat for JSON” にアクセスする Go 言語用のパッケージを公開した。

github.com/spiegel-im-spiegel/icat4json

以下のような感じで使える。

package main

import (
    "fmt"
    "log"

    "github.com/spiegel-im-spiegel/icat4json"
)

func main() {
    json, err := icat4json.Get(icat4json.ToolICATW)
    if err != nil {
        log.Fatal(err)
    }
    data, err := json.Decode()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("Title: %v\n", data.Title)
    fmt.Printf("  URL: %v\n", data.Link)
    fmt.Printf(" Date: %v\n", data.Date)
    fmt.Print("Items:\n")
    for _, item := range data.Itemdata {
        fmt.Printf("\t%v: %v (%v)\n", item.Date, item.Title, item.Link)
    }
}

$ go run sample.go
Title: IPAセキュリティセンター:重要なセキュリティ情報
  URL: https://www.ipa.go.jp/security/vuln/icat.html
 Date: 2016-02-10 11:58:22 +0900 JST
Items:
    2016-02-10 12:00:00 +0900 JST: Microsoft 製品の脆弱性対策について(2016年02月) (http://www.ipa.go.jp/security/ciadr/vul/20160210-ms.html)
    2016-02-10 12:00:00 +0900 JST: Adobe Flash Player の脆弱性対策について(APSB16-04)(CVE-2016-0985等) (http://www.ipa.go.jp/security/ciadr/vul/20160210-adobeflashplayer.html)
    2016-01-20 12:00:00 +0900 JST: Oracle Java の脆弱性対策について(CVE-2016-0494等) (http://www.ipa.go.jp/security/ciadr/vul/20160120-jre.html)
    2016-01-13 12:00:00 +0900 JST: Microsoft 製品の脆弱性対策について(2016年01月) (http://www.ipa.go.jp/security/ciadr/vul/20160113-ms.html)
    2016-01-13 12:00:00 +0900 JST: Adobe Reader および Acrobat の脆弱性対策について(APSB16-02)(CVE-2016-0932等) (http://www.ipa.go.jp/security/ciadr/vul/20160113-adobereader.html)
    2016-01-06 16:40:00 +0900 JST: 【注意喚起】インターネットに接続する複合機等のオフィス機器の再点検を！ (http://www.ipa.go.jp/security/ciadr/vul/20160106-printer.html)
    2016-01-05 14:00:00 +0900 JST: 「DXライブラリ」におけるバッファオーバーフローの脆弱性対策について(JVN#49476817) (http://www.ipa.go.jp/security/ciadr/vul/20160105-jvn.html)

“icat for JSON” という名前なのに IPA は API の仕様を公開していない。そこで JavaScript コードの中身を見てみた。

icat for JSON について - Qiita

icat4json パッケージでは “icat for JSON” から取得した JSON データを以下の構造体にデコードする。

//Item - itemdata from icat
type Item struct {
    Title      string    `json:"item_title"`
    Link       string    `json:"item_link"`
    Date       time.Time `json:"item_date"`
    Identifier []string  `json:"item_identifier"`
}

//ICAT - data from icat
type ICAT struct {
    Itemdata []Item    `json:"itemdata"`
    Title    string    `json:"docTitle"`
    Fix      string    `json:"docTitleFix"`
    Link     string    `json:"docLink"`
    Date     time.Time `json:"docDate"`
}

JavaScript コードを見ると item_identifier 項目は使ってない模様。 docTitleFix 項目は中身が null かどうかしかチェックしてなくて¹， null 以外だと htmlentities() 関数を通さずに素のまま表示するという恐ろしいことをしている（普通こういうのって boolean 値を使うんじゃないのか？）。これらの項目は無視でもいいだろう。本当は IPA が仕様を公開してくれると有難いんだけどねぇ。

脆弱性情報をクライアントサイドで取るのなら “icat for JSON” ではなく Twitter の @ICATalerts アカウントのタイム・ラインをチェックするほうがオススメ。 JSON データを使うのならサーバサイドでやるべきだよね。 icat4json パッケージはドメイン・レイヤのエンティティとして使われることを意識している。

icat4json entity

私はたまたま Go 言語を勉強中なので Go 言語のパッケージとして実装したけど，本当なら Java とか Ruby とか node.js とかサーバサイドの実装があるといいよね。 IPA も jQuery じゃなくて，そういうので実装すればいいのに。

ところで Go 言語における string の実体は []byte だが nil 状態はない。 icat4json パッケージでは docTitleFix 項目が null の場合は空文字列に展開される。 JSON の null 状態を区別したいのであれば github.com/guregu/null パッケージ等を使う手もある。ちなみに github.com/guregu/null パッケージの型の実体は database/sql の NullString 型等である。 ↩︎

Git.io から短縮 URL を取得するコード

2015-11-26T11:29:30+00:00

（初出： Git.io 短縮 URL を golang コードで取得してみる - Qiita）

Git.io で短縮 URL が取得できるらしい

Git・Githubに隠された便利な機能 | GitHub Cheat Sheet（日本語訳） - Qiita

これを読んでたら後ろの方に Git.io の話が出ていた。このサイトで短縮 URL を生成できるらしい。

Git.io: GitHub URL Shortener

API が curl で掲載されていて，例えば私の https://github.com/spiegel-im-spiegel なら

$ curl -i "https://git.io" -F "url=https://github.com/spiegel-im-spiegel"
HTTP/1.1 201 Created
Server: Cowboy
Connection: keep-alive
Date: Sat, 08 Aug 2015 02:42:16 GMT
Status: 201 Created
Content-Type: text/html;charset=utf-8
Location: http://git.io/vOj52
Content-Length: 37
X-Xss-Protection: 1; mode=block
X-Content-Type-Options: nosniff
X-Frame-Options: SAMEORIGIN
X-Runtime: 0.210952
X-Node: 871d903e-a8e0-46ff-a96f-ef424385e5ed
X-Revision: b1d9ce07ccb700fc90398edafd397beb8d3bd772
Via: 1.1 vegur

https://github.com/spiegel-im-spiegel

てな感じで，ヘッダの Location 要素に短縮 URL が返ってくる仕組みらしい。って，これって curl で書けるんなら Go 言語で表現できるんじゃね？

cURL as DSL

cURL as DSL とは curl の構文を任意のコード¹ に変換してくれるもので，どういうことかというと「Web API は curl で表現すればいいんじゃね？」ということらしい。

さっそく curl を Go 言語に変換してみる

では早速，上述の curl コマンドを cURL as DSL を使って Go 言語に変換してみる（ただし -i オプションは付けない）。結果はこんな感じ。

package main

import (
    "bytes"
    "io/ioutil"
    "log"
    "mime/multipart"
    "net/http"
)

func main() {
    var buffer bytes.Buffer
    writer := multipart.NewWriter(&buffer)
    writer.WriteField("url", "https://github.com/spiegel-im-spiegel")
    writer.Close()

    resp, err := http.Post("https://git.io", "multipart/form-data; boundary="+writer.Boundary(), &buffer)
    if err != nil {
        log.Fatal(err)
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        log.Fatal(err)
    }
    log.Print(string(body))
}

出力のみちょっと弄って

package main

import (
    "bytes"
    "io/ioutil"
    "log"
    "mime/multipart"
    "net/http"
)

func main() {
    var buffer bytes.Buffer
    writer := multipart.NewWriter(&buffer)
    writer.WriteField("url", "https://github.com/spiegel-im-spiegel")
    writer.Close()

    resp, err := http.Post("https://git.io", "multipart/form-data; boundary="+writer.Boundary(), &buffer)
    if err != nil {
        log.Fatal(err)
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        log.Fatal(err)
    }
    log.Println("  Status: ", resp.Header.Get("Status"))
    log.Println("Location: ", resp.Header.Get("Location"))
    log.Println("    Body: ", string(body))
}

として実行すると

C:>go run gitio.go
2015/08/08 12:00:00   Status: 201 Created
2015/08/08 12:00:00 Location: http://git.io/vOj52
2015/08/08 12:00:00     Body: https://github.com/spiegel-im-spiegel

となり，めでたく短縮 URL が取得できた。

ちなみに最初の curl コマンドの -F を -d に替えて cURL as DSL にかけると²

package main

import (
    "io/ioutil"
    "log"
    "net/http"
    "net/url"
)

func main() {
    values := url.Values{
        "url": {"https://github.com/spiegel-im-spiegel"},
    }

    resp, err := http.PostForm("https://git.io", values)
    if err != nil {
        log.Fatal(err)
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        log.Fatal(err)
    }
    log.Print(string(body))
}

のように変換される。 http.Post() 関数から http.PostForm() 関数に替わってかなりコードがすっきりした。今回のような単純な request ならこちらの方がいいだろう。

ついでにパッケージも作ってみた

spiegel-im-spiegel/gitioapi

これを称して「他人の褌で相撲を取る」という³。なるほど。こうやって API を実装していくんだね。

ブックマーク

よく使うcurlコマンドのオプションまとめ（12個） - Qiita
curlコマンドをPythonやnode.jsのコードに変換する方法 - Qiita : Python への変換はこちらのサービスのほうが簡潔なコードを吐いてくれるらしい

Go 言語に関するブックマーク集はこちら。

今のところは Go 言語のほかに Python3, PHP, JavaScript (node.js/XMLHttpRequest), Java, Objective-C (NSURL_Session/NSURLConnection), Vim Script (WebAPI-vim) に対応している。 ↩︎
初出の記事のコメントで cURL as DSL の作者の方に教えていただいた。感謝！ ↩︎
実はジェネレータで生成したコードの著作権は誰に帰属するのか，とかいろいろ思うところはあるのだけど，それはまた別の機会に。 ↩︎

List of Api [text.Baldanders.info]

#aozorahack に関する覚え書き

青空文庫と #aozorahack

青空文庫 API

API サーバ

作品情報の照会

作家情報の照会

ブックマーク

参考図書

Codic API を利用するパッケージを作ってみた

Curl で API を確認する

spf13/viper を使ってみたかったのだ

ところで

ブックマーク

icat4json 公開

Git.io から短縮 URL を取得するコード

Git.io で短縮 URL が取得できるらしい

cURL as DSL

さっそく curl を Go 言語に変換してみる

ついでにパッケージも作ってみた

ブックマーク