爬虫总体上分为四个主要步骤

爬虫总体上分为四个主要步骤：
1、明确目标，需要做的从哪个途径或者哪个范围内网页搜索。
2、爬，将获取到的网站内容全部爬下来。
3、取，对数据分析去掉没用的数据。
4、处理数据，按照我们想要的方式存储和使用。
某吧小爬虫


代码如下：

1. package main
   
2. 
   
3. import (
   
4.   "fmt"
   
5.   "net/http"
   
6.   "os"
   
7.   "strconv"
   
8. )
   
9. 
   
10. //爬取网页内容
    
11. func HttpGet(url string) (result string, err error) {
    
12.   resp, err1 := http.Get(url)
    
13.   if err1 != nil {
    
14.   err = err1
    
15.   return
    
16.   }
    
17.   defer resp.Body.Close()
    
18.   //读取网页body的内容
    
19.   buf := make([]byte, 1204*4)
    
20.   for {
    
21.   n, err := resp.Body.Read(buf)
    
22.   if n == 0 { //读取结束，或者出问题
    
23.     fmt.Println("resp.Body.Read err = ", err)
    
24.     break
    
25.   }
    
26.   result += string(buf[:n])
    
27.   }
    
28.   return
    
29. }
    
30. 
    
31. func DoWork(start, end int) {
    
32.   fmt.Printf("正在爬取 %d 到 %d 的页面\n", start, end)
    
33. 
    
34.   //1,明确目标（要知道你准备在哪个范围或者网站去搜索）
    
35.   //https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=0 //下一页+50
    
36.   for i := start; i <= end; i++ {
    
37.   url := "https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=" + strconv.Itoa((i-1)*50)
    
38.   fmt.Println("url = ", url)
    
39. 
    
40.   //2,爬取内容（将网站内容爬取下来）
    
41.   result, err := HttpGet(url)
    
42.   if err != nil {
    
43.     fmt.Println("HttpGet err = ", err)
    
44.     continue
    
45.   }
    
46.   //把内容写入到文件
    
47.   fileName := strconv.Itoa(i) + ".html"
    
48.   f, err1 := os.Create(fileName)
    
49.   if err1 != nil {
    
50.     fmt.Println("os.Create err1 = ", err1)
    
51.     continue
    
52.   }
    
53.   f.WriteString(result) //写内容
    
54.   f.Close()             //关闭文件
    
55. 
    
56.   }
    
57. 
    
58. }
    
59. 
    
60. func main() {
    
61.   var start, end int
    
62.   fmt.Printf("请输入起始页(>= 1)：")
    
63.   fmt.Scan(&start)
    
64.   fmt.Printf("请输入终止页(>= 起始页)：")
    
65.   fmt.Scan(&end)
    
66. 
    
67.   DoWork(start, end)
    
68. 
    
69. }

复制代码

运行之后，将会把爬取的内容保存在文件中。