在go语言中实现一个函数来检查用户代理是否是机器人或爬虫的示例
在go语言中如何创建一个通用函数来检测一个用户代理是否是机器人？
你需要确定访问你的网络服务器的用户代理是否是一个机器人/机器人/爬虫。
你已经尝试了哈希图的解决方案，但发现如果机器人的版本字符串发生变化，它很容易被破坏。
解决方案：
我从CodeIgniter移植了这个解决方案供自己使用。
你可以根据自己的需要自由调整。
代码示例：
package main
import (
"fmt"
"net/http"
"strings"
)
func is_robot(useragent string) bool {
// 有数以百计的机器人，但这些是最常见的。
// 你可以在以下网址看到其他的机器人名单
// http://www.botsvsbrowsers.com/category/1/index.html
// 下面的列表取自
// https://github.com/bcit-ci/CodeIgniter/blob/develop/system/libraries/User_agent.php
// 哈希地图/表格方法需要与用户代理字符串完全匹配，如果版本号改变，很容易被破坏。
// 如果版本号发生变化的话。因此，最好是根据一个切片/字典来检查用户代理。
robots := []string{"Googlebot", "Google Page Speed Insights", "MSNBot", "Baiduspider", "Bing", "DuckDuckBot", "Inktomi Slurp", "Yahoo", "Ask Jeeves", "FastCrawler", "YandexBot", "MediaPartners Google", "Crazy Webcrawler", "AdsBot Google", "Feedfetcher Google", "Curious George", "facebookexternalhit"}
for _, bot := range robots {
if strings.Index(useragent, bot) > -1 {
return true
}
}
return false
}
func checkIfUserAgentIsRobot(w http.ResponseWriter, r *http.Request) {
ua := r.Header.Get("User-Agent")
fmt.Printf("用户代理是： %s \n", ua)
w.Write([]byte("用户代理是 " + ua + "\n"))
result := "no"
if is_robot(ua) {
result = "yes"
}
fmt.Printf("用户代理是一个机器人: %v \n", is_robot(ua))
w.Write([]byte("用户代理是一个机器人:" + result + "\n"))
}
func main() {
http.HandleFunc("/", checkIfUserAgentIsRobot)
http.ListenAndServe(":8080", nil)
}输出：
用Chrome浏览器浏览页面
用户代理是： Mozilla/5.0 (Macintosh; Intel Mac OS X 1085) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36
用户代理是一个机器人: false
用户代理是 Mozilla/5.0 (Macintosh; Intel Mac OS X 1085) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36
用户代理是一个机器人: false用Google Page Speed Insights机器人浏览页面
用户代理是 Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko; Google Page Speed Insights) 版本8.0 Mobile/12F70 Safari/600.1.4
用户代理是一个机器人: true
用户代理是 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google Page Speed Insights) Chrome/27.0.1453 Safari/537.36
用户代理是一个机器人: true