파이썬을 사용하여 정확한 문자 집합으로 어떤(!) 웹페이지를 다운로드하는 방법은 어떻게 되나요?

(음... 적어도 대부분의 브라우저가 그렇게 처리한다고 믿습니다. 문서화가 정말로 부족합니다.)

저는 브라우저처럼 페이지의 문자 집합을 결정할 수 있는 라이브러리를 찾고 있습니다. 제 문제에 대한 적절한 해결책이 필요한 첫 번째 사람은 아니라고 확신합니다.

해결책 (아직 시도해보지 않았습니다...)

Beautiful Soup의 문서에 따르면 다음과 같은 우선순위로 인코딩을 시도해서 문서를 유니코드로 변환합니다:

• 스프 생성자의 fromEncoding 인수로 전달하는 인코딩.


• 문서 자체에서 발견되는 인코딩: 예를 들어, XML 선언이나 (HTML 문서의 경우) http-equiv META 태그에 있는 것. Beautiful Soup이 문서 내부에서 이런 종류의 인코딩을 찾으면, 문서를 처음부터 다시 파싱하고 새로운 인코딩을 시도합니다. 단, 인코딩을 명시적으로 지정하고 해당 인코딩이 실제로 작동한 경우에는, 문서에서 발견된 모든 인코딩을 무시합니다.


• 파일의 처음 몇 바이트를 확인하여 검출된 인코딩. 이 단계에서 인코딩이 감지되면, UTF-* 인코딩, EBCDIC 또는 ASCII 중 하나입니다.


• chardet 라이브러리에서 검출된 인코딩 (설치되어 있는 경우).


• UTF-8


• Windows-1252

답변 1

urllib이나 urllib2를 사용하여 파일을 다운로드할 때, 전송된 charset 헤더를 확인할 수 있습니다:

fp = urllib2.urlopen(request)
charset = fp.headers.getparam('charset')

HTML에서 meta 요소를 찾기 위해 BeautifulSoup을 사용할 수 있습니다:

soup = BeatifulSoup.BeautifulSoup(data)
meta = soup.findAll('meta', {'http-equiv':lambda v:v.lower()=='content-type'})

두 가지 방법 모두 사용할 수 없는 경우, 브라우저는 일반적으로 사용자 구성과 자동 감지를 결합한 방식으로 사용됩니다. rajax의 제안대로, chardet 모듈을 사용할 수도 있습니다. 예를 들어 페이지가 중국어로 되어야 한다는 사용자 구성이 있을 경우, 더 나은 결과를 얻을 수 있을 수도 있습니다.

답변 2

다양한 라이브러리를 활용하여 파이썬으로 어떤 웹페이지든 올바른 캐릭터셋을 가지고 다운로드하는 방법을 알아보겠습니다. 이를 통해 SEO에 유리한 한국어 에세이를 작성할 수 있습니다.
첫째, 파이썬에서 웹페이지 다운로드를 위해 requests 라이브러리를 활용할 수 있습니다. requests 라이브러리를 사용하면 웹페이지에 HTTP 요청을 보내고 응답을 받을 수 있습니다. 다음 코드 예시를 살펴봅시다.
```python
import requests
def download_webpage(url):
response = requests.get(url)
content_type = response.headers.get('content-type')
if 'charset' in content_type:
charset = content_type.split('charset=')[-1]
webpage = response.content.decode(charset)
else:
webpage = response.text
return webpage
url = 'http://example.com'
webpage = download_webpage(url)
print(webpage)
```
이 예시에서는 requests 라이브러리를 사용하여 'http://example.com' 주소의 웹페이지를 다운로드합니다. 우선, 응답 헤더에서 content-type을 확인하고, 'charset'이라는 단어가 존재하는지 확인합니다. 만약 'charset'이 존재한다면, 해당 값을 추출하여 캐릭터셋을 설정하고, response.content를 이 캐릭터셋으로 디코딩합니다. 'charset'이 존재하지 않는다면, response.text를 그대로 사용합니다.
둘째, 올바른 캐릭터셋을 확인하기 위해 chardet 라이브러리를 사용할 수 있습니다. chardet은 문자열의 캐릭터셋을 자동으로 탐지하기 위한 라이브러리입니다. 다음은 chardet을 사용하는 예시입니다.
```python
import requests
import chardet
def download_webpage(url):
response = requests.get(url)
content_type = response.headers.get('content-type')
if 'charset' in content_type:
charset = content_type.split('charset=')[-1]
webpage = response.content.decode(charset)
else:
text_bytes = response.content
result = chardet.detect(text_bytes)
charset = result['encoding']
webpage = text_bytes.decode(charset)
return webpage
url = 'http://example.com'
webpage = download_webpage(url)
print(webpage)
```
이 예시에서는 chardet.detect() 함수를 사용하여 response.content의 캐릭터셋을 탐지합니다. chardet.detect() 함수는 딕셔너리 형태의 결과를 반환하며, 'encoding' 키에 해당하는 값을 추출하여 캐릭터셋을 설정하고, response.content를 이 캐릭터셋으로 디코딩합니다.
위의 예시들을 응용하면 원하는 페이지의 올바른 캐릭터셋으로 다운로드하고, 파이썬을 사용하여 한국어 SEO에 최적화된 에세이를 작성할 수 있습니다.