List of Mysql [text.Baldanders.info]

sshql — SSH 越しに RDBMS にアクセスする

2022-09-30T12:17:13+00:00

拙作 github.com/goark/sshql は SSH 経由で MySQL や PostgreSQL といった RDBMS に接続するための Go パッケージである。

GitHub - goark/sshql: Go SQL drivers over SSH

github.com/goark/sshql パッケージでは以下の Dialer 型の構造体を用意し，これを使って SSH に接続する¹。

// Dialer is authentication provider information.
type Dialer struct {
    Hostname      string `json:"hostname"`
    Port          int    `json:"port"`
    Username      string `json:"username"`
    Password      string `json:"password"`
    PrivateKey    string `json:"privateKey"`
    IgnoreHostKey bool   `json:"IgnoreHostKey"`
    client        *ssh.Client
}

パスワード認証の場合は Username と Password にそれぞれ値をセットする。 PrivateKey に認証用の秘密鍵へのパスを指定する場合は Password に秘密鍵のパスフレーズをセットする。また ssh-agent 等を使って $SSH_AUTH_SOCK ソケットから秘密鍵を取得できる場合は，こちらを優先するようになっている。

IgnoreHostKey に true をセットするとホスト認証を無視するようになっているが，セキュリティ上お勧めできないのでご注意を。ホスト認証は $HOME/.ssh/known_hosts ファイルにホスト鍵が登録されていることが前提で， known_hosts ファイルがない，または known_hosts にホスト鍵がない場合は

$ go run main.go
ssh: handshake failed: knownhosts: key is unknown

という感じにエラーになる。

では，これを使って実際にコードを書いてみる。

github.com/lib/pq + github.com/goark/sshql

まずは PostgreSQL 用ドライバ github.com/lib/pq と github.com/goark/sshql を組み合わせるところから。こんな感じに書ける。

package main

import (
    "database/sql"
    "fmt"
    "os"

    "github.com/goark/sshql"
    "github.com/goark/sshql/pgdrv"
)

func main() {
    dialer := &sshql.Dialer{
        Hostname:   "sshserver",
        Port:       22,
        Username:   "remoteuser",
        Password:   "passphraseforauthkey",
        PrivateKey: "/home/username/.ssh/id_eddsa",
    }
    pgdrv.New(dialer).Register("postgres+ssh")

    db, err := sql.Open("postgres+ssh", "postgres://dbuser:dbpassword@localhost:5432/example?sslmode=disable")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    defer dialer.Close()
    defer db.Close()

    rows, err := db.Query("SELECT id, name FROM example ORDER BY id")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    for rows.Next() {
        var id int64
        var name string
        if err := rows.Scan(&id, &name); err != nil {
            fmt.Fprintln(os.Stderr, err)
            break
        }
        fmt.Printf("ID: %d  Name: %s\n", id, name)
    }
    rows.Close()
}

"postgres+ssh" としてドライバを登録し（名前は何でもOK），この名前を sql.Open() 関数で指定しているのがポイントである。あとは database/sql の機能をそのまま使うことができる。

github.com/goark/sshql/pgdrv パッケージ内部で github.com/lib/pq パッケージを呼び出しているため

import _ "github.com/lib/pq"

のようなインポートは不要である。

github.com/jackc/pgx + github.com/goark/sshql

github.com/jackc/pgx は github.com/lib/pq の後継とも言えるパッケージである。標準 database/sql パッケージと組み合わせて使うことも可能だが，自身が database/sql 互換のインタフェースを持っていて更に独自の機能も搭載している。 PostgreSQL にアクセスするなら，個人的にはこちらのほうがお勧めである。

拙作 github.com/goark/sshql と組み合わせて使うにはちょっと変則的な初期化コードを書く。こんな感じ。

package main

import (
    "context"
    "fmt"
    "os"

    "github.com/goark/sshql"
    "github.com/jackc/pgx/v4/pgxpool"
)

func main() {
    dialer := &sshql.Dialer{
        Hostname:   "sshserver",
        Port:       22,
        Username:   "remoteuser",
        Password:   "passphraseforauthkey",
        PrivateKey: "/home/username/.ssh/id_eddsa",
    }

    cfg, err := pgxpool.ParseConfig("postgres://dbuser:dbpassword@localhost:5432/example?sslmode=disable")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    cfg.ConnConfig.DialFunc = dialer.DialContext

    if err := dialer.Connect(); err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    defer dialer.Close()

    pool, err := pgxpool.ConnectConfig(context.TODO(), cfg)
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    defer pool.Close()

    rows, err := pool.Query(context.TODO(), "SELECT id, name FROM example ORDER BY id")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    rows.Close()

    for rows.Next() {
        var id int64
        var name string
        if err := rows.Scan(&id, &name); err != nil {
            fmt.Fprintln(os.Stderr, err)
            break
        }
        fmt.Printf("ID: %d  Name: %s\n", id, name)
    }
}

まず pgx.ConnConfig を含む pgx/pgxpool.Config 構造体を作って，そこに dialer.DialContext() メソッドを登録するイメージ。 pgx ドライバーをオープンする前に dialer.Connect() つまり SSH 接続を明示的に記述する必要がある。

一見まどろこしく見えるが， pgx/pgxpool.Config 構造体を使って logger 登録を含むカスタマイズができるので，実用上はそれほど迂遠なコードではなかったりする。接続ごとにインスタンスを作れるので，グローバルに名前をつけてドライバーを登録するより合理的かもしれない。

github.com/go-sql-driver/mysql + github.com/goark/sshql

MySQL 用ドライバ github.com/go-sql-driver/mysql と github.com/goark/sshql との組み合わせはこんな感じ。

package main

import (
    "database/sql"
    "fmt"
    "os"

    "github.com/goark/sshql"
    "github.com/goark/sshql/mysqldrv"
)

func main() {
    dialer := &sshql.Dialer{
        Hostname:   "sshserver",
        Port:       22,
        Username:   "remoteuser",
        Password:   "passphraseforauthkey",
        PrivateKey: "/home/username/.ssh/id_eddsa",
    }
    mysqldrv.New(dialer).RegisterDial("ssh+tcp")

    db, err := sql.Open("mysql", "dbuser:dbpassword@ssh+tcp(localhost:3306)/dbname")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    defer dialer.Close()
    defer db.Close()

    rows, err := db.Query("SELECT id, name FROM example ORDER BY id")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    for rows.Next() {
        var id int64
        var name string
        if err := rows.Scan(&id, &name); err != nil {
            fmt.Fprintln(os.Stderr, err)
            break
        }
        fmt.Printf("ID: %d  Name: %s\n", id, name)
    }
    rows.Close()
}

github.com/lib/pq のときとは違いドライバー名ではなくプロトコル名（通常は "tcp" など）として登録し DSN に登録したプロトコル名（ここでは ssh+tcp）を含める。あとは database/sql の機能をそのまま使うことができる。

github.com/goark/sshql/mysqldrv パッケージ内部で github.com/go-sql-driver/mysql パッケージを呼び出しているため

import _ "github.com/go-sql-driver/mysql"

のようなインポートは不要である。

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

著者のひとりは（あの「バイブル」とも呼ばれる）通称 “K&R” の K のほうである。この本は Go 言語の教科書と言ってもいいだろう。と思ったら絶版状態らしい（2025-01 現在）。復刊を望む！

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

今回のパッケージは github.com/mattn/pqssh の事実上の fork である。同パッケージに敬意を表して拙作の方も MIT ライセンスで提供している。感謝！ ↩︎

SSH, MySQL, Zerolog, そして Kra

2022-09-22T14:05:54+00:00

SSH, MySQL, Zerolog

VPS 上に構築された MySQL サービスに大量のデータを送り込む必要がありまして。 Go でバッチ処理を組もうと考えたわけだ。当然 MySQL サービスは VPS の外から直接アクセスできないので SSH トンネルをくぐる必要がある。

というわけで最初に作ったのが github.com/goark/sshql だった。

SSH 越しに DB サーバにアクセスする

再掲載すると，こんな感じに書ける。

package main

import (
    "database/sql"
    "fmt"
    "os"

    "github.com/goark/sshql"
    "github.com/goark/sshql/mysqldrv"
)

func main() {
    dialer := &sshql.Dialer{
        Hostname:   "sshserver",
        Port:       22,
        Username:   "remoteuser",
        Password:   "passphraseforauthkey",
        PrivateKey: "/home/username/.ssh/id_eddsa",
    }
    mysqldrv.New(dialer).RegisterDial("ssh+tcp")

    db, err := sql.Open("mysql", "dbuser:dbpassword@ssh+tcp(localhost:3306)/dbname")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    defer dialer.Close()
    defer db.Close()

    rows, err := db.Query("SELECT id, name FROM example ORDER BY id")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    for rows.Next() {
        var id int64
        var name string
        if err := rows.Scan(&id, &name); err != nil {
            fmt.Fprintln(os.Stderr, err)
            break
        }
        fmt.Printf("ID: %d  Name: %s\n", id, name)
    }
    rows.Close()
}

ssh+tcp という名前で dialer を登録し，この名前を使って DSN (Data Source Name) を構成するというのがポイント。 Dialer のクローズを忘れずに（笑）

ただ，これだとログが取れない。んで，どうせログを取るなら github.com/rs/zerolog パッケージを使いたいわけですよ。

そこで登場するのが github.com/simukti/sqldb-logger パッケージ。これを使えば標準の sql.DB に zerolog などのサードパーティ製 logger を仕込むことができる。こんな感じ。

package main

import (
    "database/sql"
    "fmt"
    "os"

    "github.com/goark/sshql"
    "github.com/goark/sshql/mysqldrv"
    "github.com/rs/zerolog"
    sqldblogger "github.com/simukti/sqldb-logger"
    "github.com/simukti/sqldb-logger/logadapter/zerologadapter"
)

func main() {
    dialer := &sshql.Dialer{
        Hostname:   "sshserver",
        Port:       22,
        Username:   "remoteuser",
        Password:   "passphraseforauthkey",
        PrivateKey: "/home/username/.ssh/id_eddsa",
    }
    mysqldrv.New(dialer).RegisterDial("ssh+tcp")

    dsn := "dbuser:dbpassword@ssh+tcp(localhost:3306)/dbname"
    mysqlDb, err := sql.Open("mysql", dsn)
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    db := sqldblogger.OpenDriver(
        dsn,
        mysqlDb.Driver(),
        zerologadapter.New(zerolog.New(os.Stderr)),
        sqldblogger.WithMinimumLevel(sqldblogger.LevelDebug),
    )
    defer dialer.Close()
    defer db.Close()

    rows, err := db.Query("SELECT id, name FROM example ORDER BY id")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    for rows.Next() {
        var id int64
        var name string
        if err := rows.Scan(&id, &name); err != nil {
            fmt.Fprintln(os.Stderr, err)
            break
        }
        fmt.Printf("ID: %d  Name: %s\n", id, name)
    }
    rows.Close()
}

DSN を2回指定しないといけないのが若干鬱陶しいが，ともかくこれで zerolog による構造化ログが出るようになった。

さらに Kra を仕込む

2022年春の Go Conference でとても感銘を受けたのが github.com/taichi/kra パッケージ。

DBアクセスライブラリ Kra

いや ent とかってデータ構造とその関係を最初から構築するならいい道具だと思うけど（コードで設計できるのは素晴らしい！），既にある RDBMS 環境を使う場合には必ずしもマッチしないのよね。更に言うと，既存 ORM やクエリビルダとかの中途半端な SQL 抽象化・隠蔽にはウンザリしてるのよ（この辺は Go に限らないけど）。それなら最初からガチで SQL 文を書いて，クエリプランをチェックしつつ評価・最適化して，それから実装を進めるべきだと常々思っていた¹。

というわけで github.com/taichi/kra を使うチャンスを伺っていたのだが，今回はお試しにはちょうどいいサイズだったので採用した。とはいえ，今回のような構成ではどうすればいいのか分からなくて kra パッケージのソースコードやサンプルコードを眺めながら，まずは以下のように書いてみる。

package main

import (
    "database/sql"
    "fmt"
    "os"

    "github.com/goark/sshql"
    "github.com/goark/sshql/mysqldrv"
    "github.com/rs/zerolog"
    sqldblogger "github.com/simukti/sqldb-logger"
    "github.com/simukti/sqldb-logger/logadapter/zerologadapter"
    "github.com/taichi/kra"
    kraSql "github.com/taichi/kra/sql"
)

func main() {
    dialer := &sshql.Dialer{
        Hostname:   "sshserver",
        Port:       22,
        Username:   "remoteuser",
        Password:   "passphraseforauthkey",
        PrivateKey: "/home/username/.ssh/id_eddsa",
    }
    mysqldrv.New(dialer).RegisterDial("ssh+tcp")

    dsn := "dbuser:dbpassword@ssh+tcp(localhost:3306)/dbname"
    mysqlDb, err := sql.Open("mysql", dsn)
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    db := kraSql.NewDB(
        sqldblogger.OpenDriver(
            dsn,
            mysqlDb.Driver(),
            zerologadapter.New(zerolog.New(os.Stderr)),
            sqldblogger.WithMinimumLevel(sqldblogger.LevelDebug),
        ),
        kraSql.NewCore(kra.NewCore(kra.MySQL)),
    )
    defer dialer.Close()
    defer db.Close()

    rs, err := db.Query(context.TODO(), "SELECT id, name FROM example ORDER BY id")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    rows := rs.Rows()
    for rows.Next() {
        rec := struct {
            Id   int64  `db:"id"`
            Name string `db:"name"`
        }{}
        if err := kraSql.NewRows(kraSql.NewCore(kra.NewCore(kra.MySQL)), rows).Scan(&rec); err != nil {
            fmt.Fprintln(os.Stderr, err)
            break
        }
        fmt.Printf("%#v\n", rec)
    }
    rows.Close()
}

クエリ結果の取り出しが若干まどろこしいが，これは kra/sql.Rows には何故か Next() メソッドがないため²。しょうがないので標準の sql.Rows を取り出して，そちらの Next() メソッドで回している。

これでちゃんと動いてログも取れているのを確認できた。

トランザクション制御

トランザクション制御用に以下のような関数を用意する。

func Transaction(ctx context.Context, db *kraSql.DB, opts *sql.TxOptions, fn func(tx *kraSql.Tx) error) error {
    tx, err := db.BeginTx(ctx, opts)
    if err != nil {
        return errs.Wrap(err)
    }
    defer func() {
        if v := recover(); v != nil {
            _ = tx.Rollback()
            panic(v)
        }
    }()

    if err := fn(tx); err != nil {
        if rErr := tx.Rollback(); rErr != nil {
            return errs.Wrap(rErr, errs.WithCause(err))
        }
        return errs.Wrap(err)
    }

    if err := tx.Commit(); err != nil {
        return errs.Wrap(err)
    }
    return nil
}

なお，エラーハンドリングには自作の github.com/goark/errs パッケージを使っている。 zerolog と組み合わせてエラーを構造化してログに吐けるのが利点。

実際にトランザクション処理を行う場合は，たとえば

// logger := zerolog.New(os.Stderr)
// ctx := context.TODO()
values := struct {
    Id   int64  `db:"id"`
    Name string `db:"name"`
}{
    Id:   100,
    Name: "Alice",
}
if err := Transaction(ctx, db, &sql.TxOptions{}, func(tx *kraSql.Tx) error {
    stmt, err := tx.Prepare(ctx, "INSERT INTO example(id,name) VALUES (:id,:name)")
    if err != nil {
        return errs.Wrap(err)
    }
    defer stmt.Close()

    res, err := stmt.Exec(ctx, &values)
    if err != nil {
        return errs.Wrap(err)
    }
    count, err := res.RowsAffected()
    if err != nil {
        return errs.Wrap(err)
    }
    logger.Info().Int64("affected", count).Send()
    return nil
}); err != nil {
    logger.Error().Interface("error", err).Send()
    ...
}

てな感じに書ける。こういうのが kra にあるとめがっさ便利なんだけどねぇ（それを言い出すとパッケージがどんどん膨れてしまうのだがw）。

LOAD DATA INFILE 文で大量のデータを突っ込む

さて，いよいよ MySQL のテーブルに大量のデータを突っ込むのだが， INSERT 文でちまちまやってたら日が暮れてしまうので（実際に試して日が暮れた） LOAD DATA INFILE 文を使うことにする。

MySQL :: MySQL 5.6 リファレンスマニュアル :: 13.2.6 LOAD DATA INFILE 構文

こんな感じの SQL 文。

LOAD DATA LOCAL
  INFILE 'input.file'
  INTO TABLE exsample_table
  CHARACTER SET utf8mb4
  FIELDS TERMINATED BY '\t'
  LINES TERMINATED BY '\n'
  (
    field1,
    field2,
    ...
  )

これでローカルにある input.file ファイルの内容をリモートの MySQL の exsample_table テーブルに送り込める。 (field1, field2, ...) の並びと入力ファイルの要素の並びが同じであることが前提。またサーバ側の MySQL サービスが --local_infile オプション付きで起動されていること³。

CHARACTER SET 句はファイルの文字エンコードディングがDBサービスのデフォルトと異なる場合に設定する。 FIELDS 句および LINES を省略した場合のデフォルト値はこうなっているそうな。

FIELDS TERMINATED BY '\t' ENCLOSED BY '' ESCAPED BY '\\'
LINES TERMINATED BY '\n' STARTING BY ''

いわゆる TSV (Tab Separated Value) 形式のレコードだね。これ以外の形式なら明示的に設定する必要がある。

で，これを github.com/go-sql-driver/mysql パッケージで実装するには，3つのステップが必要。

ひとつ目はデータ読み込みハンドラを登録する。こんな感じ⁴。

file, err := os.Open("input.file")
if err != nil {
    return err
}
defer file.Close()

mysql.RegisterReaderHandler("data", func() io.Reader {
    return file
})

次に実際の SQL 文を発行する。

// logger := zerolog.New(os.Stderr)
// ctx := context.TODO()
if err := Transaction(ctx, db, &sql.TxOptions{}, func(tx *kraSql.Tx) error {
    res, err := tx.Exec(ctx, `LOAD DATA LOCAL INFILE 'Reader::data' INTO TABLE exsample_table (field1, field2, ...)`)
    if err != nil {
        return errs.Wrap(err)
    }
    count, err := res.RowsAffected()
    if err != nil {
        return errs.Wrap(err)
    }
    logger.Info().Int64("affected", count).Send()
    return nil
}); err != nil {
    logger.Error().Interface("error", err).Send()
    ...
}

ファイルを指定する部分に先ほど登録したハンドラの名前を使って 'Reader::data' と指定する。爆速でした。

ちなみに，うっかり tx.Prepare() で前準備しようとすると「そんな構文はサポートしてない」（←超意訳）と怒られる。 PREPARE で対応している構文は以下のページが参考になる。

MySQL :: MySQL 8.0 リファレンスマニュアル :: 13.5 プリペアドステートメント

最後に mysql.DeregisterReaderHandler() 関数で登録を解除する。後始末はきちんとね。

ブックマーク

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

デベロッパーゴースーパーゴラン Tシャツ: Geek Go Super Golang Tees; ウェア&シューズ; B09C2XBC2F (ASIN); 評価

ついカッとなってポチった。反省はしない

reviewed by Spiegel on 2022-04-10 (powered by PA-APIv5)

SQL はひとつの独立した言語で（チューリング完全），宣言型プログラミング言語と考えるのが分かりやすい（異論は認めるw）。宣言型で分かりやすいのは正規表現だろう（関数型言語には宣言型が多い。 Lisp とか Haskell とか）。特に Go は宣言型の言語とはあまり相性がよくない。たとえば，正規表現の（構文解析やコンパイラではなく）ビルダを作ろうと考える人は少ないだろう（労力に見合わない）。どの言語・フレームワークでも同じことだが ORM やクエリビルダを使って頑張って抽象化や隠蔽をしても上手くマッチしない局面が多く，結局は「ガチの SQL でいいぢゃん。 PREPARE 構文で事前準備して変数部分はプレースホルダ経由で渡せば安全は確保される」となる。そういう意味じゃ Go 標準の database/sql パッケージは，かなり妥当な割り切りをしてると思う。まぁ，後方互換性を保つためにちょっとアレな感じになっているのは否めないけど（笑） ↩︎
github.com/jackc/pgx 専用の kra/pgx.Rows にはちゃんと Next() メソッドが付いている。提供されているメソッドが微妙に違う理由はよく分からないが，ソースコードを眺めるに，何となく意図的にそうなってる気がする。 ↩︎
local_infile オプションをセットすると mysqldump を使用する際に「そんなフラグは知らん」と怒られる場合がある。これを回避するには loose-local-infile にするといいらしい。当然ではあるが LOAD DATA LOCAL ... 文はセキュリティ・リスクがあるので取り扱い注意である。 ↩︎
実は mysql.RegisterLocalFile() 関数を使えば直接ファイルパスを登録することができる。ハンドラ登録で io.Reader interface 型で渡すほうが応用が効きやすいので，今回はこちら。 ↩︎

SSH 越しに DB サーバにアクセスする

2022-09-10T09:04:56+00:00

PostgreSQL や MySQL などの RDBMS サービスにアクセスするために Go では標準で database/sql パッケージを用意している（実際にサービスにアクセスするためには github.com/lib/pq や github.com/go-sql-driver/mysql といったドライバ・パッケージを使う必要がある）。たとえばこんな感じ。

db, err := sql.Open("postgres", "postgres://dbuser:dbpassword@dbserver:5432/example?sslmode=require")

ただし，これはクライアントからサービスに直結する場合で，たとえば VPS 内の RDBMS サービスに SSH 経由でアクセスする必要がある場合は少し工夫が必要である。ありがたいことに PostgreSQL サービスに SSH 経由でアクセスするためのパッケージを mattn さんが公開して下さっている。

ありがたや 🙇

で，実は MySQL サービスに SSH 経由でアクセスする必要ができたので，上のパッケージを参考に自作してみた。

goark/sshql: Go SQL drivers over SSH

このパッケージを使ってこんな感じに書ける。

package main

import (
    "database/sql"
    "fmt"
    "os"

    "github.com/goark/sshql"
    "github.com/goark/sshql/mysqldrv"
)

func main() {
    dialer := &sshql.Dialer{
        Hostname:   "sshserver",
        Port:       22,
        Username:   "remoteuser",
        Password:   "passphraseforauthkey",
        PrivateKey: "/home/username/.ssh/id_eddsa",
    }
    mysqldrv.New(dialer).RegisterDial("ssh+tcp")

    db, err := sql.Open("mysql", "dbuser:dbpassword@ssh+tcp(localhost:3306)/dbname")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    defer dialer.Close()
    defer db.Close()

    rows, err := db.Query("SELECT id, name FROM example ORDER BY id")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    for rows.Next() {
        var id int64
        var name string
        if err := rows.Scan(&id, &name); err != nil {
            fmt.Fprintln(os.Stderr, err)
            break
        }
        fmt.Printf("ID: %d  Name: %s\n", id, name)
    }
    rows.Close()
}

MySQL の場合 SSH でアクセスするための Dialer を登録して，登録文字列を DSN に含める必要がある。

さらに，このパッケージを使った PostgreSQL への SSH 越しのアクセスはこんな感じに書ける。

package main

import (
    "database/sql"
    "fmt"
    "os"

    "github.com/goark/sshql"
    "github.com/goark/sshql/pgdrv"
)

func main() {
    dialer := &sshql.Dialer{
        Hostname:   "sshserver",
        Port:       22,
        Username:   "remoteuser",
        Password:   "passphraseforauthkey",
        PrivateKey: "/home/username/.ssh/id_eddsa",
    }
    pgdrv.New(dialer).Register("postgres+ssh")

    db, err := sql.Open("postgres+ssh", "postgres://dbuser:dbpassword@localhost:5432/example?sslmode=disable")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    defer dialer.Close()
    defer db.Close()

    rows, err := db.Query("SELECT id, name FROM example ORDER BY id")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    for rows.Next() {
        var id int64
        var name string
        if err := rows.Scan(&id, &name); err != nil {
            fmt.Fprintln(os.Stderr, err)
            break
        }
        fmt.Printf("ID: %d  Name: %s\n", id, name)
    }
    rows.Close()
}

やっぱ sql.Open() 関数の第1引数で専用ドライバを指定するほうがシンプルだよなぁ。 DSN 文字列をいじらなくて済むし。

【2022-09-30 追記】

github.com/jackc/pgx パッケージと組み合わせて使えるようにした。詳しくは以下の記事を参考のこと。

sshql — SSH 越しに RDBMS にアクセスする

InsecureIgnoreHostKey() 関数で叱られる

mattn さんの github.com/mattn/pqssh パッケージの中で

sshConfig := &ssh.ClientConfig{
    User:            d.Username,
    Auth:            []ssh.AuthMethod{},
    HostKeyCallback: ssh.InsecureIgnoreHostKey(),
}

という記述があり，最初はそのまま真似してたのだが，例によって lint に「あかんがな！」と叱られた。

HostKeyCallback 項目は SSH ログイン時のホスト認証の動作をするもので， ssh.InsecureIgnoreHostKey() は何もせず nil を返却するだけの関数を渡している。

// InsecureIgnoreHostKey returns a function that can be used for
// ClientConfig.HostKeyCallback to accept any host key. It should
// not be used for production code.
func InsecureIgnoreHostKey() HostKeyCallback {
    return func(hostname string, remote net.Addr, key PublicKey) error {
        return nil
    }
}

こりゃあ，確かにあかんわ（笑）

最終的に今回の github.com/goark/sshql パッケージでは一応ホスト認証を行っているが ~/.ssh/known_hosts ファイルに登録されていないホストや登録されている鍵が異なる場合は問答無用でエラーを返すようにした。

$ go run sample.go 
ssh: handshake failed: knownhosts: key is unknown

まぁ，こういうパッケージはバッチ処理とかにしか使わないだろうし，ええじゃろう。

なお sshql.Dialer 構造体は

// Dialer is authentication provider information.
type Dialer struct {
    Hostname      string `json:"hostname"`
    Port          int    `json:"port"`
    Username      string `json:"username"`
    Password      string `json:"password"`
    PrivateKey    string `json:"privateKey"`
    IgnoreHostKey bool   `json:"IgnoreHostKey"`
    client        *ssh.Client
}

と定義しているけど IgnoreHostKey 要素に true をセットするとホスト認証をすっ飛ばしてくれる。

ブックマーク

参考図書

プログラミング言語Go (ADDISON-WESLEY PROFESSIONAL COMPUTING SERIES): Alan A.A. Donovan (著), Brian W. Kernighan (著), 柴田芳樹 (翻訳); 丸善出版 2016-06-20; 単行本（ソフトカバー）; 4621300253 (ASIN), 9784621300251 (EAN), 4621300253 (ISBN); 評価

reviewed by Spiegel on 2016-07-13 (powered by PA-APIv5)

Go言語による分散サービス ―信頼性、拡張性、保守性の高いシステムの構築: Travis Jeffery (著), 柴田芳樹 (翻訳); オライリージャパン 2022-08-03; 単行本（ソフトカバー）; 4873119979 (ASIN), 9784873119977 (EAN), 4873119979 (ISBN); 評価

版元でデジタル版を購入。読書会の課題図書。ハンズオンぽい構成でコードがたくさん書かれているのがよい。

reviewed by Spiegel on 2022-08-03 (powered by PA-APIv5)

デベロッパーゴースーパーゴラン Tシャツ: Geek Go Super Golang Tees; ウェア&シューズ; B09C2XBC2F (ASIN); 評価

ついカッとなってポチった。反省はしない