写这篇文章之前，我得先坦白——我是个篮球迷，也是个程序员，今年季后赛那会儿，我一边盯着搜狐手机体育的实时比分，一边想着：能不能用Golang把这堆数据抓下来？ 这想法有点糙，但确实成了我接下来几个周末的“课外作业”，今天就跟大伙儿聊聊这个折腾过程，有些坑我踩了，有些经验我捡了,希望对你也有用。
先说说搜狐手机体育这玩意儿
如果你跟我一样，喜欢在手机上看NBA新闻、比分、直播，那搜狐手机体育肯定不陌生，我反正是它的老用户。为什么用它？ 很简单：更新快、内容全、界面还算清爽，尤其是季后赛期间，凌晨的比赛，第二天一睁眼,搜狐手机体育上已经有集锦和战报了。
但问题来了——作为一个写代码的人，我有个坏毛病：我想把这些数据变成我能操控的东西，我想把某支球队整个赛季的胜负统计做成表格，或者把某个球员的得分趋势画成折线图，手动复制粘贴？太慢了，这时候,Golang上场了。
Golang抓数据？没那么玄乎
先别急，我不是要教你写爬虫（虽然我确实写了），我想说的是：用Golang处理这类数据需求，其实特别顺手，为什么？两点：
- 并发简单：Go的goroutine让我同时请求多个页面，省时间
- 标准库强大：
net/http、encoding/json、html这些库基本够用
我一开始的想法：直接抓搜狐手机体育的HTML页面，解析出比赛数据，但很快我就发现了问题——前端页面结构经常变，今天class叫score-board，明天可能改成score-board-v2,这就导致代码三天两头要改。
用Golang搞数据，我的方案是这样的
后来我换了个思路：不走前端，找接口，每个手机App都有API接口，搜狐手机体育也不例外，我用Charles抓包工具（就是那个抓HTTPS流量的软件）看了下，发现他们有个JSON接口,返回的数据结构特别清晰。
Golang代码大概长这样（我简化了）：
type NBAGame struct {
Team1 string `json:"team1"`
Team2 string `json:"team2"`
Score1 int `json:"score1"`
Score2 int `json:"score2"`
Time string `json:"game_time"`
}
然后我用json.Unmarshal把数据摘出来，存进数据库。整个过程也就几十行代码，但我得承认：第一次跑通的时候，我激动得差点蹦起来，看着终端里一条条NBA比赛数据流出来,感觉跟看现场直播似的。
一个表格：一周NBA赛程我做了啥
为了让你更直观感受,我把上周用Golang从搜狐手机体育抓来的数据整理了一下：
| 球队 | 对手 | 比分 | 赛事类型 |
|---|---|---|---|
| 湖人 | 勇士 | 118:112 | 常规赛 |
| 凯尔特人 | 76人 | 105:98 | 常规赛 |
| 雄鹿 | 尼克斯 | 121:115 | 季后赛 |
看起来简单吧？但背后是Golang跑了大概2分钟，抓了6个页面、300多条JSON记录。我用的就是搜狐手机体育的数据源,没别的花招。
写代码和看球赛，有什么相通的地方？
说实话，这事儿让我想起了一件事：编程和体育，本质上都是不断迭代、不断优化的过程，就像勇士队的挡拆战术，你得反复跑位、反复练习，才能找到最佳出手点，Golang写爬虫也是，你得反复调试，找到最稳定的接口、最不费力的数据结构。
我踩过的坑：
- 频率限制：搜狐手机体育的服务器有反爬机制，我一开始每小时请求上千次，IP直接被封，后来学会了加延时、加User-Agent
- 数据乱码：有些页面是GBK编码，Golang默认UTF-8，这就得用
golang.org/x/text转码 - JSON字段缺失：有些比赛的加时赛数据是空的，导致解析报错。我加了
omitempty标签才搞定
这些坑你大概率也会遇到,所以提前打个预防针。
一个不完美的结尾（但真实）
我每天用自己写的Golang程序，从搜狐手机体育后台拉取NBA数据，然后更新到我自己的个人面板上。其实没什么大用，就是看着爽，就像我客厅里挂的那张科比海报，也不是为了让别人看,就是自己喜欢。
但话说回来，如果你想学Golang，拿搜狐手机体育的NBA数据练手，是个好主意，既有实际数据，又有真实场景，还能看到代码跑起来的即时反馈，比那些教科书上的“Hello World”有意思多了。
嗯，差不多就这些，今早我刚刷到搜狐手机体育的推送，国王队赢了快船，穆雷得了35分，我赶紧跑去看了下代码，数据同步没问题，然后我就倒了杯咖啡，继续看比赛去了——毕竟，代码是工具，球赛才是生活。
本文来自作者[kyadmin]投稿，不代表思利达立场，如若转载，请注明出处：http://zx.c-lida.com/post/46.html
评论列表（4条）
我是思利达的签约作者“kyadmin”！
希望本篇文章《用Golang扒NBA数据？搜狐手机体育教会我的那些事》能对你有所帮助！
本站[思利达]内容主要涵盖：郑州思利达智能科技有限公司
本文概览：写这篇文章之前，我得先坦白——我是个篮球迷，也是个程序员，今年季后赛那会儿，我一边盯着搜狐手机体育的实时比分，一边想着：能不能用Gola...