嘟嘟社区

Golang协程并发爬取图片源码，仅供学习

moe

  1. package main
  3. import (
  4.         "fmt"
  5.         "io/ioutil"
  6.         "net/http"
  7.         "os"
  8.         "regexp"
  9.         "strconv"
  10.         "strings"
  11.         "sync"
  12.         "time"
  13. )
  15. var (
  16.         reImg        = `https?://[^"]+?(.((jpg)|(png)|(jpeg)|(gif)|(bmp)))`
  17.         taskChan     chan string                                                      // 记录任务完成的通道
  18.         imgChan      chan string                                                      // 图片通道
  19.         waitGroup    sync.WaitGroup                                                   // 协程会涉及到并发，这个的作用具体的可百度
  20.         pageStart    int            = 1                                               // 从第几页开始
  21.         pageSize     int            = 30                                              // 扫描页数
  22.         DownLoadPath string         = "D:/HBuilderX/project/GolangProject/爬虫小案例/img/" // 此处是图片下载的地址，需要修改为你们自己的地址
  23. )
  25. func main() {
  26.         fmt.Println("从第几页开始")
  27.         fmt.Scanln(&pageStart)
  29.         fmt.Println("扫描页数")
  30.         fmt.Scanln(&pageSize)
  32.         taskChan = make(chan string, pageSize) // 给管道缓冲值
  33.         imgChan = make(chan string, 100000)    // 给管道缓冲值
  35.         for i := pageStart; i < pageStart+pageSize; i++ {
  36.                 waitGroup.Add(1)
  37.                 go getWebBody(i) // 获取地址的body
  38.         }
  40.         waitGroup.Add(1)
  41.         go handleImg() // 处理img
  43.         waitGroup.Add(1)
  44.         go checkOk()
  46.         waitGroup.Wait()
  48.         fmt.Println("执行完毕,回车退出")
  49.         var input string
  50.         fmt.Scanln(&input)
  51. }
  53. func getWebBody(i int) {
  54.         url := "https://www.bizhizu.cn/shouji/tag-%E5%8F%AF%E7%88%B1/" + strconv.Itoa(i) + ".html"
  55.         resp, err := http.Get(url)
  56.         if err != nil {
  57.                 fmt.Println(err)
  58.         }
  59.         defer resp.Body.Close() // 此处不可少，否则会造成内存泄露或者溢出问题
  61.         body, _ := ioutil.ReadAll(resp.Body)
  63.         re := regexp.MustCompile(reImg) // 正则匹配图片地址
  65.         result := re.FindAllStringSubmatch(string(body), -1)
  67.         println("第" + strconv.Itoa(i) + "页找到数据" + strconv.Itoa(len(result)) + "条")
  69.         for _, v := range result {
  70.                 imgChan <- v[0] // 把得到的数据写到 管道 里
  71.         }
  73.         taskChan <- url
  75.         waitGroup.Done()
  76. }
  78. // 处理图片方法
  79. func handleImg() {
  80.         for url := range imgChan {
  81.                 fileName := GetFilenameFromUrl(url)
  82.                 result := DownloadFile(url, fileName)
  83.                 if result {
  84.                         fmt.Printf("已下载完毕 %v n", url)
  85.                 } else {
  86.                         fmt.Printf("下载失败 %v n", url)
  87.                 }
  88.         }
  89.         waitGroup.Done()
  90. }
  92. // 检查管道任务是否完成
  93. func checkOk() {
  94.         count := 0
  95.         for {
  96.                 url := <-taskChan
  97.                 fmt.Printf("完成爬取：%v n", url)
  98.                 count++
  99.                 if count == pageSize {
  100.                         close(imgChan)
  101.                         close(taskChan)
  102.                         break
  103.                 }
  104.         }
  106.         waitGroup.Done()
  107. }
  109. // 截取url名字
  110. func GetFilenameFromUrl(url string) (filename string) {
  111.         // 返回最后一个/的位置
  112.         lastIndex := strings.LastIndex(url, "/")
  113.         // 切出来
  114.         filename = url[lastIndex+1:]
  115.         // 时间戳解决重名
  116.         timePrefix := strconv.Itoa(int(time.Now().UnixNano()))
  117.         filename = timePrefix + "_" + filename
  118.         return
  119. }
  121. // 下载文件方法
  122. func DownloadFile(url string, filename string) bool {
  123.         var err error
  124.         resp, err := http.Get(url)
  125.         if err != nil {
  126.                 fmt.Println(err)
  127.         }
  128.         defer resp.Body.Close()
  129.         bytes, err := ioutil.ReadAll(resp.Body)
  130.         if err != nil {
  131.                 fmt.Println(err)
  132.         }
  134.         if _, err := os.Stat(DownLoadPath); os.IsNotExist(err) {
  135.                 // 必须分成两步
  136.                 // 先创建文件夹
  137.                 os.Mkdir(DownLoadPath, 0777)
  138.                 // 再修改权限
  139.                 os.Chmod(DownLoadPath, 0666)
  140.         }
  142.         filename = DownLoadPath + filename
  143.         err = ioutil.WriteFile(filename, bytes, 0666)
  144.         if err != nil {
  145.                 return false
  146.         }
  147.         return true
  148. }

复制代码
人生苦短，我用PYTHON
支持看到了if err 舒服了