List of Regexp [text.Baldanders.info]

TechCrunch Japan 終了後の後始末

2022-05-04T07:03:59+00:00

2月に TechCrunch Japan が終了してバックナンバーも残さず消滅する話を書いた。んで，実際に GW 中にサイトが消滅したわけだが，以前の URL を叩いてみたところ 404 ではなく本家 TechCrunch にリダイレクトされるようだ。

いや，そこまでしてくれるなら，せめて翻訳記事は本家の原文記事にリダイレクトしてくれよ orz

まぁ，愚痴ってもしょうがない。こちらで可能な限り URL の書き換えを試みることにしよう。

まずこのブログ・サイトの作業リポジトリ上で TechCrunch Japan の URL がどのくらいあるか軽く grep してみる¹。

$ grep -c "jp\.techcrunch\.com" "content/**/*.md"
1121

おぅふ。アホほどあるがな orz

TechCrunch Japan 記事の URL を機械的に変換できるか

たとえば TechCrunch Japan 記事の URL を

https://jp.techcrunch.com/2020/08/14/2020-08-13-instagram-delete-photos-messages-servers/

とする。この記事に対する原文記事の URL は

https://techcrunch.com/2020/08/13/instagram-delete-photos-messages-servers/

である。ドメインが jp.techcrunch.com → techcrunch.com なのは当然として

翻訳記事と原文記事では URL パスの日付部分が違う
原文記事の日付は翻訳記事の slug に含まれている
日付部分を除く slug の文字列は翻訳記事と原文記事で同じ

これくらいなら正規表現を使った置換処理で何とかなりそうだ。最近のテキスト・エディタは置換処理で正規表現が使えるものが多いが，私が愛用している VS Code でも正規表現を使った一括置換が可能である。

Visual Studio Codeを用いた簡単な正規表現検索 - Qiita

例外 (AMP) を潰す

私の作業環境で2箇所ほど例外というか間違いがあって

https://jp.techcrunch.com/2017/12/12/2017-12-11-some-hp-laptops-are-hiding-a-deactivated-keylogger/amp/
https://jp.techcrunch.com/2020/01/03/2020-01-02-ex-google-policy-chief-dumps-on-the-tech-giant-for-dodging-human-rights/amp/?__twitter_impression=true

などと，うっかり AMP 用の URL を載せちゃったみたいで，しかも片方は変なパラメータがくっついている。これらも機械的に置換できなくはないのだが，2箇所だけだし，手作業で原文記事の URL に書き換えた。

AMP ページはマジで滅びて欲しい。なんでこんな下らないことで Google に気を使わにゃならんの。メディアが気を遣うべき相手は私ら閲覧者だろうが。本末転倒だよ。

あと，古い URL でスキーマが HTTP のままになってるのが結構あったので，これは http://jp.techcrunch.com → https://jp.techcrunch.com に一括置換した。

Slug パターン

前節の例外を排除したことで TechCrunch Japan 記事のURL

https://jp.techcrunch.com/yyyy/mm/dd/slug/

のうち slug 部分にのみ注目すればよくなった。この Slug 部分も複数のパターンが見受けられるので整理しておく

パターン1: 日付情報 yyyy-mm-dd を含む Slug

最初に挙げた例の通り yyyy-mm-dd-originalslug に要素分解できるパターン。このパターンには別のバリエーションがあって

https://jp.techcrunch.com/2020/07/15/x2020-07-14-harvard-mit-sue-ice-student-visas-rule/
https://jp.techcrunch.com/2020/11/21/https-techcrunch-com-2020-11-20-google-facebook-and-twitter-threaten-to-leave-pakistan-over-censorship-law/

のように日付情報の前に余分な文字列がくっついている。 2番目のとか原文記事の URL そのままぢゃん。「なにすんねん」ってツッコんじゃったよ（笑）

パターン2: 日付情報 yyyymmdd を含む Slug

以下のような URL パターン：

https://jp.techcrunch.com/2017/09/13/20170912new-bluetooth-vulnerability-can-hack-a-phone-in-ten-seconds/
https://jp.techcrunch.com/2016/07/08/automotive-fortune-tesla20160706tesla-says-drivers-using-autopilot-remain-safer-than-regular-drivers/

パターン1のハイフンが抜けた状態。

パターン3: Slug に日付情報がない

https://jp.techcrunch.com/2021/06/10/netflix-cowboy-bebop-streaming-this-fall/

jp.techcrunch.com → techcrunch.com と置換するだけで行けるかなぁと思ったが駄目だった（本家サイトが404になる）。原文記事の日付情報が得られないので置換不可。

パターン4: Slug がパーセント・エンコーディングされている

https://jp.techcrunch.com/2017/03/13/%e3%80%8c%e6%b3%95%e4%bb%a4%e4%b8%8a%e9%81%95%e5%8f%8d%e3%81%ae%e5%8f%af%e8%83%bd%e6%80%a7%e3%80%81%e5%80%ab%e7%90%86%e7%9a%84%e3%81%ab%e3%82%82%e5%95%8f%e9%a1%8c%e3%80%8ddena%e3%81%8cwelq%e5%95%8f/

多分，というか間違いなく日本版オリジナル記事だよね。これは置換対象外とした。

置換用正規表現

というわけで，今回はパターン1と2のみが対象となる。置換処理は VS Code を使っている。

パターン1の検索・置換正規表現は以下の通り。

	正規表現
検索	`https://jp\.techcrunch\.com/\d{4}/\d{2}/\d{2}/.*(\d{4})-(\d{2})-(\d{2})-(.+)/`
置換	`https://techcrunch.com/$1/$2/$3/$4/`
対象ファイル	`*.md`

パターン2の検索・置換正規表現は以下の通り。

	正規表現
検索	`https://jp\.techcrunch\.com/\d{4}/\d{2}/\d{2}/.*(\d{4})(\d{2})(\d{2})(.+)/`
置換	`https://techcrunch.com/$1/$2/$3/$4/`
対象ファイル	`*.md`

もう少し頑張ればひとつにまとめられたかもしれないが，副作用が出るのが嫌だったので分けた。これで未変換の TechCrunch Japan 記事の URL は118個まで減ったが，今のところ，これ以上は無理なので，放置ということで。

どっとはらい

ブックマーク

基本的な正規表現一覧 | murashun.jp

私の環境では mattn/jvgrep を grep に alias して使っている。ファイル指定を "content/**/*.md" などと再帰的に指定できるのが嬉しい。 ↩︎

指定桁の数字列の先頭をゼロで埋める遊び

2017-10-09T08:05:06+00:00

一応予防線を張っておくけど，この記事のコードをそのまま業務に使わないように。まんず，そがな人はおらんじゃろけど。

さて，今日は体育の日だし頭の体操ということで「指定桁数の数字列の先頭をゼロで埋める遊び」をやってみる。たとえば指定桁が4桁で，与えられる数字列が “123” なら， “0123” に整形するということである。以下に要求をまとめよう。

桁数は1以上の数値，数字列は長さ0以上の文字列で与えられる
数字列について 0-9 の数字のみ許可（+ / - 等の符号は考慮しない）
与えられた数字列の長さが桁数より小さい場合は先頭をゼロ “0” で埋めて返す（4桁： 123 → 0123）
与えられた数字列の長さが桁数より大きい場合は下の桁を桁数分返す（4桁： 12345 → 2345）

この機能を CLI (Command Line Interface) で表現することを考える。こんな感じでどうだろう。

$ fillzero -h
Usage: fillzero -n <number of digits> [digit string]

このインタフェースを実装する main() 関数はこんな感じかな。

package main

import (
    "flag"
    "fmt"
    "os"
)

//Run returns error status in proess.
func Run(args []string) error {
    //initialize flag options
    f := flag.NewFlagSet("fillzero", flag.ContinueOnError)
    f.Usage = func() {
        fmt.Fprintln(os.Stderr, "Usage: fillzero -n <number of digits> [digit string]")
    }
    n := f.Int("n", 0, "number of digits")

    //parse arguments
    if err := f.Parse(args); err != nil {
        return os.ErrInvalid
    }
    if f.NArg() > 1 {
        f.Usage()
        return errors.New("Too many arguments.")
    }

    // get digit string
    var s string
    if f.NArg() == 1 {
        s = f.Arg(0)
    }

    // Fill in digits...

    fmt.Println(s)
    return nil
}

func main() {
    if err := Run(os.Args[1:]); err != nil {
        fmt.Fprintln(os.Stderr, err)
        os.Exit(1)
    }
    os.Exit(0)
}

これであとは s = fillzero(*n, s) みたいな関数をでっち上げればいいのだが，私は天邪鬼なので別のことを考えた。つまり「指定桁数の数字列の先頭をゼロで埋める」機能を持つ value object を作ったほうが面白いよね。

たとえばこんな感じ。

//Identity is digit string class
type Identity struct {
    ds string // digit string
    nd int    // number of digits
}

これに対してインスタンスを生成する New() 関数と，整形済みの文字列を吐き出す Stringer を組み込んであげればいい。最終的にはこんな感じになる。

package main

import (
    "errors"
    "flag"
    "fmt"
    "os"
    "regexp"
    "strings"
)

//regular expression object for Identity class
var re = regexp.MustCompile(`^[0-9]+$`)

//Identity is digit string class
type Identity struct {
    ds string // digit string
    nd int    // number of digits
}

//IdentityNew returns Identity instance.
func IdentityNew(n int, s string) (*Identity, error) {
    d := &Identity{}
    if n <= 0 {
        return d, errors.New("Number of digits is greater than zero.")
    }
    if len(s) > 0 {
        if !re.Copy().MatchString(s) {
            return d, errors.New(s + " is not digit string.")
        }
    }
    d.nd = n
    d.ds = s
    return d, nil
}

//String is Stringer method
func (id *Identity) String() string {
    if id.nd <= 0 {
        return ""
    }
    l := len(id.ds)
    if id.nd == l {
        return id.ds
    } else if id.nd < l {
        return id.ds[l-id.nd:]
    }
    return strings.Repeat("0", id.nd-l) + id.ds
}

//Run returns error status in proess.
func Run(args []string) error {
    //initialize flag options
    f := flag.NewFlagSet("fillzero", flag.ContinueOnError)
    f.Usage = func() {
        fmt.Fprintln(os.Stderr, "Usage: fillzero -n <number of digits> [digit string]")
    }
    n := f.Int("n", 0, "number of digits")

    //parse arguments
    if err := f.Parse(args); err != nil {
        return os.ErrInvalid
    }
    if f.NArg() > 1 {
        f.Usage()
        return errors.New("Too many arguments.")
    }

    // get digit string
    var s string
    if f.NArg() == 1 {
        s = f.Arg(0)
    }

    d, err := IdentityNew(*n, s)
    if err != nil {
        return err
    }
    fmt.Println(d)

    return nil
}

func main() {
    if err := Run(os.Args[1:]); err != nil {
        fmt.Fprintln(os.Stderr, err)
        os.Exit(1)
    }
    os.Exit(0)
}

本来なら別パッケージにして identity.Identity みたいにするのがいいんだろうけど（テストも書きやすいし），ファイルを分けたり面倒なことになるので端折っている。また，文字列のチェックに正規表現を扱える regexp パッケージを使った¹ が，正直に言ってこの程度の処理に正規表現パッケージを使うのが効率的かどうかは分からない（コードはすっきりするけど）。

実際に動かしてみると，こんな感じになる。

$ fillzero -n 4
0000
$ fillzero -n 4 123
0123
$ fillzero -n 4 1234
1234
$ fillzero -n 4 12345
2345

要求は満たしているな。よしよし。

値と機能を value object にパッケージングすると，別の実装も考えることができる。たとえば数字列を文字列のまま保持するのではなく数値で保持するとか。

//Identity is digit string class
type Identity struct {
    id uint64 // identity
    nd int    // number of digits
}

//IdentityNew returns Identity instance.
func IdentityNew(n int, s string) (*Identity, error) {
    id := &Identity{}
    if n <= 0 {
        return id, errors.New("Number of digits is greater than zero.")
    }
    if len(s) > 0 {
        i, err := strconv.ParseUint(s, 10, 64)
        if err != nil {
            return id, err
        }
        id.id = i
    }
    id.nd = n
    return id, nil
}

//String is Stringer method
func (id *Identity) String() string {
    if id.nd <= 0 {
        return ""
    }
    s := strconv.FormatUint(id.id, 10)
    l := len(s)
    if id.nd == l {
        return s
    } else if id.nd < l {
        return s[l-id.nd:]
    }
    return strings.Repeat("0", id.nd-l) + s
}

これにまるっと入れ替えても概ね同じ結果になる²。数字列に対して何らかの数値演算を行う機能が必要ならこちらのほうがいいかもしれない。ちなみに uint64 を使ったことに特に意味はなくて，ぶっちゃけ「大は小を兼ねる」ってやつだが，このサイズで足りなければ big.Int を使う必要がある。

って，ここまで考えたけど，やっぱ具体的な業務の中で考えないと意味ないよね（笑）まぁ，今回は文字列⇔数値変換と正規表現（のさわり）について書けたからよしとするか。

ブックマーク

regexp.Compile() 関数は処理コストがかかるためグローバル変数として宣言・初期化している。ちなみに regexp.MustCompile() 関数は，コンパイルに失敗すると panic を吐く。コンパイルで生成したグローバルなインスタンスを使う場合は，インスタンスをそのまま使うのではなく Copy() 関数でコピーを作る習慣をつけるとよい。今回のサンプル・コードではそのまま使っても影響はないが，並行処理下ではインスタンス使用時にロックが掛かるためコピーが必須となる。 ↩︎
厳密に言うと数字列をいきなり strconv.ParseUint() 関数にかけているので数値として表現可能なものは通ってしまう。たとえば + / - の符号などだ。そういう意味では要求からの逸脱（deviation）があるのだが，所詮お遊びなので目をつむって欲しい。実際には数字列のチェック処理は別関数にした方がいいと思う。 ↩︎