robots.txt を読み取り、robots.txt のルールに沿ったクローリングを行う

[futabato]

概要

robots.txt とは、検索エンジンのクローラーに対して、サイトのどの URL にアクセスしてよいかを伝えるものである。
robots.txt を読み取り、robots.txt のルールに沿ったクローリングを行う。

方針

大きく二段階に分かれると考えられる。

1. robots.txt の内容を取得し、ルールを理解する

grobotstxtのようなrobots.txt のパーサを利用する。

2. robots.txt に記載されている情報も活用してクロールする

[futabato]

robots.txt のパーサ: https://github.com/temoto/robotstxt

import "github.com/temoto/robotstxt"

func main() {
    data, err := robotstxt.FromBytes([]byte("user-agent: *\ndisallow: /private\n"))
    if err != nil {
        // handle error
    }
    
    group := data.FindGroup("*")
    fmt.Println(group.Test("/private"))  // false, disallowed
    fmt.Println(group.Test("/public"))   // true, allowed
}

sitemap.xml のパーサ: https://github.com/ikeikeikeike/go-sitemap-generator

import gsitemap "github.com/ikeikeikeike/go-sitemap-generator/stm"

func main() {
    sm := gsitemap.NewSitemap(1)
    sm.Create()
    fmt.Println(sm.XMLContent())
}