List of Sqlite [text.Baldanders.info]

Go 言語で使える ORM と SQL ビルダー

2018-05-13T10:43:28+00:00

先月あたりから余暇にコツコツ作ってた脆弱性情報の収集・管理ツール jvnman の最初のリリースを行った。

jvnman についての説明は上の記事を見ていただくとして，この記事ではツールの内部で行っている SQL 文のハンドリングについて。

jvnman は収集した脆弱性情報を SQLite データベース・ファイルに格納している。 jvnman には簡単な帳票出力機能も付いているが，メインは脆弱性情報の収集・蓄積である。一度 SQLite データベース・ファイルを作っておけば作成したデータベースのハンドリングは他のツール（たとえば Office ツール）でもできる。

（ゆえに最初は軽く考えていて spiegel-im-spiegel/go-myjvn のサンプル (おまけ) として jvnman を組み込む予定だった。思ったより依存パッケージが多いことが分かってリポジトリを別にしたんだけど）

私は SQL 文を手書きで書くのは苦にならない性質なのだが（そもそも最初は A5:SQL Mk-2 みたいなツールで試して最適化を行うものだし），途中までコードを書いて流石に煩わしくなってきたので Go 言語製の ORM (Object-Relational Mapping) および SQL Builder パッケージを探すことにした。

というわけで，以下のパッケージを紹介。

go-gorp/gorp では Go 言語の構造体（struct）を SQL のクエリ出力に関連付けることができる。たとえば

type Vulnlist struct {
	ID          sql.NullString `db:"id,primarykey"`
	Title       sql.NullString `db:"title"`
	Description sql.NullString `db:"description"`
	URI         sql.NullString `db:"uri"`
	Creator     sql.NullString `db:"creator"`
	Impact      sql.NullString `db:"impact"`
	Solution    sql.NullString `db:"solution"`
	DatePublic  sql.NullInt64  `db:"date_public"`
	DatePublish sql.NullInt64  `db:"date_publish"`
	DateUpdate  sql.NullInt64  `db:"date_update"`
}

のように struct タグを使って関連付けるわけだ。これで gorp.DbMap インスタンス生成時に

db, err := sql.Open("sqlite3", "./jvndb.sqlite3")
if err != nil {
    return err
}
dbmap := &gorp.DbMap{Db: db, Dialect: gorp.SqliteDialect{}}
dbmap.AddTableWithName(Vulnlist{}, "vulnlist")

としておけば

obj, err := dbmap.Get(Vulnlist{}, "JVNDB-2018-003082")
if err != nil {
    return err
}
if obj == nil {
    fmt.Println("mp data")
} else if ds, ok := obj.(*Vulnlist); ok {
    if ds.Title.Valid {
        fmt.Println("Title =", ds.Title.String)
    } else {
        fmt.Println("Title is NULL")
    }
}

のように書くことができる。 INSERT や UPDATE についても同じようにできる。

Masterminds/squirrel は簡易 SQL Builder で，あまりガチガチの抽象化をしないのが気に入っている。たとえば

var ds struct {
    dateUpdate int64 `db:"date_update"`
}
if psql, args, err := squirrel.Select("date_update").From("vulnlist").Where(squirrel.Eq{"id": "JVNDB-2018-003082"}).ToSql(); err != nil {
    return err
} else if err := dbmap.SelectOne(&ds, psql, args...); err != nil {
    return err
} else {
    fmt.Println(time.Unix(ds.dateUpdate, 0))
}

のように prepared statement とパラメータをちゃんと分離してくれる。

注意しないといけないのは From() メソッドや Where() メソッドなどで連結するたびにインスタンスのコピーが発生している点だろう¹。 jvnman のようなツールなら気にするまでもないが，短時間に大量のトランザクションが発生する可能性がある場合は注意したほうがいいかもしれない。

ブックマーク

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

[Comment] 著者のひとりは（あの「バイブル」とも呼ばれる）通称 “K&R” の K のほうである。この本は Go 言語の教科書と言ってもいいだろう。と思ったら絶版状態らしい（2025-01 現在）。復刊を望む！

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

Value object として見るなら正しい動きなんだけどね。 Builder ツールとしてその動きはアリなんだろうか，とつい考えてしまう。 ↩︎

SQLite 3 データを A5:SQL Mk-2 で開く

2018-04-25T04:54:05+00:00

最近，ン年ぶりに PostgreSQL 周りの仕事をやってるんだけど pgAdmin がアレでねぇ。普段使いならテーブルやビューやストアド・プロシージャが見ればよく，ついでに SQL 文のチューニングが手軽に試せるならラッキー！くらいの機能でいいのよ。なので A5:SQL Mk-2 に乗り換えたのさ。

で，よく見たらネイティブで SQLite に対応してるのか，これ。

A5:SQL Mk-2

追加もDBファイルを指定するだけなので簡単（sqlite3.dll が別途必要）。

SQLite 3 w/ A5:SQL Mk-2

ただしDBファイルを暗号化している場合は SQLite ODBC Driver を経由する必要があるようだ。

私は今のところ必要ないけどね。

ブックマーク

Go 言語で SQLite を使う（Windows 向けの紹介）

2018-03-31T12:12:23+00:00

今回はパッケージの紹介のみ。つか， Windows で cgo を使うための覚え書きのようなものか。

SQLite はアプリケーションに組み込み可能な簡易 RDBMS で，公有（public domain）のソフトウェアとして公開されている。 C 言語で書かれているため多くのプラットフォームまたは（C 言語とバインド可能な）多くのプログラミング言語で利用可能である。コア部分のコードが（他の製品に比べて）小さいため組込みソフトウェアで使われることもある。

mattn/go-sqlite3

Go 言語で利用可能な SQLite パッケージはいくつか存在するが，標準の database/sql に対応しているのは mattn/go-sqlite3 のみのようだ。

mattn/go-sqlite3: sqlite3 driver for go using database/sql

このパッケージを利用するには GCC が必要である（内部で C 言語コードのコンパイルを行うため）。 GCC がない状態で go get しようとすると以下のようにエラーになる。

$ go get -v github.com/mattn/go-sqlite3
github.com/mattn/go-sqlite3
# github.com/mattn/go-sqlite3
exec: "gcc": executable file not found in %PATH%

なお，必要なコードは mattn/go-sqlite3 に組み込まれているため SQLite サイトからソースコードや DLL などのバイナリを別途取ってくる必要はない¹。

GCC の導入

Linux などのプラットフォームには最初から GCC が入っているが， Windows 環境には残念ながら入ってないので別途用意する必要がある²。 Windows 環境で GCC のみが必要なのであれば MinGW-w64 から Windows 用のバイナリを取得するのがお勧めである³。

Mingw-w64 を導入する

サンプルをコンパイルしてみる

mattn/go-sqlite3 に _example/simple/simple.go というサンプルファイルがあるので，これを動かして動作確認してみる。

$ go run simple.go

これで foo.db ファイルができていたら成功だ。適当なブラウザツールで中身を確認してみるといいだろう。

あぁ SQLite 用の SQL 方言を覚えないと。なんで製品ごとに SQL の方言がこんなに微妙な感じなんだろうねぇ。特定の製品にロックインさせるための陰謀なのだろうか（笑）

ブックマーク

DB Browser for SQLite
- 「DB Browser for SQLite」“SQLite”のデータベースを管理できるソフト - 窓の杜ライブラリ
SQLiteのVACUUMメモ | Siguniang’s Blog : pragma を使って自動で vacuum できるらしい

mattn/go-sqlite3 に組み込まれている SQLite のバージョンは 2018-03-31 時点で 3.22.0 のようだ。 ↩︎
Windows 10 用の Linux 系サブシステムになら入ってると思うが，私は Windows 10 を使ったことがないのでよく知らない。 ↩︎
GCC だけでなく autotools などの周辺ツールも必要なら MSYS2 を導入するほうがいいかもしれない（参考： MSYS2 による gcc 開発環境の構築 ― gcc パッケージ群の導入）。今回は MinGW-w64 で全く問題ない。 ↩︎