urllib3 request() 사용 시 Mod_security 에러

urllib3.PoolManager()를 사용해서 url에서 zip 파일을 다운받으려 했는데

다운받아진 zip 파일 안에 에러 메세지만 들어있고 파일이 제대로 다운받아지지 않았다.

 

 

 

에러 메세지

 

Not Acceptable! An appropriate representation of the requested resource could not be found on this server. This error was generated by Mod_Security.

 

 

 

 

해결 방법

 

user-agent 추가

 

 

# http = urllib3.PoolManager()
user_agent = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'}
with http.request('GET', url, preload_content=False, headers=user_agent) as r, open(zipfilename, 'wb') as out_file:       
    shutil.copyfileobj(r, out_file)

 

• user-agent에 대한 내용을 작성한 뒤, request()에 headers=user_agent로 추가
• user-agent
  • HTTP 요청을 보내는 디바이스와 브라우저 등 사용자 소프트웨어의 식별 정보를 담고 있는 request header의 한 종류
  • 보통 HTTP 요청 에러가 발생했을 때 요청을 보낸 사용자 환경을 알아보기 위해 사용
  • 임의로 수정될 수 없는 값

 

 

위의 코드에 작성한 user-agent 값은 아래 블로그에서 Chrome의 예시로 나온 값을 가져와서 사용했다.

 

user_agent = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'}

 

 

https://velog.io/@ggong/User-agent-%EC%A0%95%ED%99%95%ED%95%98%EA%B2%8C-%ED%95%B4%EC%84%9D%ED%95%98%EA%B8%B0

User-agent 정확하게 해석하기

 

 

 

 

 

참고)

 

https://stackoverflow.com/questions/57387427/i-cant-get-a-response-from-a-get-request-using-urllib3-for-a-particular-url-bu

I can't get a response from a GET request using urllib3 for a particular URL, but I can do it with requests and urllib?

 

https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/User-Agent

User-Agent - HTTP | MDN