Python Requests 频繁请求网站时返回“[Errno 104] Connection reset by peer”错误的解决方法

已关闭留言

今天在部署一个 Python 代码的时候发现遇到了问题,主要是用 requests 这个库请求一个网页。这份代码在其他的服务器上没有问题,但是换了个服务器发现每次运行都会报错,具体错误忘了记录了,反正最后会提示“[Errno 104] Connection reset by peer”这个错误。尝试了几次之后,发现问题依然存在,又去原来的服务器尝试了一下,发现还是没有问题,这就很奇怪了,网上搜了一下,感觉是新的服务器请求太频繁被对方服务器封了,也可能是新的服务器本身 IP 就之前被拉黑过?总之解决方法比较简单,请求的不那么频繁就行了。

文章目录
隐藏
一、代码描述
二、解决方案

一、代码描述

import requests

for url in urls:
    try:
        r = requests.get(url).content
        save_image(r)
    except Exception, e:
        print str(e)

这段代码是网上看到的,基本就是这么个意思,反正就是频繁请求一个网站。

二、解决方案

解决方法也很简单,import time 之后加上一个 time.sleep() 放慢请求速度即可。

import requests
import time

for url in urls:
    for i in range(10):
        try:
            r = requests.get(url).content
        except Exception, e:
            if i >= 9:
                do_some_log()
            else:
                time.sleep(0.5)
        else:
            time.sleep(0.1)
            break

     save_image(r)

参考文献:

  • https://blog.csdn.net/imnisen1992/article/details/53165112
  • https://segmentfault.com/a/1190000007480913

目前对我来说这个解决方案是有效的,大家如果还是不行,可以另寻他法。