UnicodeDecodeError: 'utf8' 코덱은 바이트 0x9c를 디코딩 할 수 없습니다.

저는 클라이언트로부터 UTF-8 유효한 문자를 받아들일 소켓 서버를 가지고 있습니다.

문제는 일부 클라이언트(주로 해커들)가 잘못된 유형의 모든 데이터를 보내고 있다는 것입니다.

저는 진정한 클라이언트를 쉽게 구별할 수 있지만, 데이터를 나중에 분석할 수 있도록 모든 데이터를 파일에 기록하고 있습니다.

가끔 나는 이와 같은 문자를 받게 되는데 œ 라는 문자가 UnicodeDecodeError 오류를 일으킵니다.

나는 그 문자들과 함께든 아니든 문자열을 UTF-8로 만들 수 있어야 합니다.

업데이트:

제 경우에는 소켓 서비스가 MTA이므로 ASCII 명령만 받을 것으로 예상합니다.

EHLO example.com

MAIL FROM:

...

나는 모든 것을 JSON으로 로깅하고 있었다.

그런 다음 선의를 가진 사람이 아닌 몇몇 사람들이 모든 종류의 쓰레기를 보내기로 결정했습니다.

그래서 제 경우에는 비 ASCII 문자를 제거하는 것이 완전히 괜찮습니다.

답변 1

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

또는

str = unicode(str, errors='ignore')

참고: 이것은 문자를 제외하고 해당 문자열을 반환합니다.

제 경우에는 이것이 이상적인 경우입니다. 왜냐하면 이것은 제 애플리케이션에서 허용되지 않는 비 ASCII 입력에 대한 보호로 사용되기 때문입니다.

대신: 파일을 읽기 위해 codecs 모듈의 open 메소드를 사용하세요.

import codecs

with codecs.open(file_name, 'r', encoding='utf-8',

errors='ignore') as fdata:

답변 2

Keywords: UnicodeDecodeError, utf8, decoding error, Korean essay, SEO.

유니코드 디코딩 에러는 프로그래밍에서 매우 흔한 오류 중 하나입니다. 이 오류는 주로 utf8 인코딩으로 작성된 텍스트를 다른 인코딩 형식으로 디코딩하려고 할 때 발생합니다.

UTF8은 전 세계적으로 가장 널리 사용되는 문자셋 인코딩 중 하나입니다. 그러나 한글과 같은 문자들은 한자와 같이 멀티바이트 문자로 인코딩이 되어 있기 때문에 다른 인코딩 형식으로 디코딩하려고 하면 문제가 발생할 수 있습니다.

이 문제는 보통 인코딩 에러로 간주됩니다. 인코딩 에러는 두 문자셋 간의 호환성 문제로 인해 발생하는데, 이는 동일한 문자를 나타내는 다른 바이트 값으로 인코딩되기 때문입니다.

이 문제의 해결책은 매우 간단합니다. 다른 인코딩 형식으로 디코딩하지 않도록 utf8 인코딩을 사용하도록 코드를 수정하면 됩니다. 또한, 다른 문자셋으로 인코딩된 문자열을 다룰 때는 해당 문자셋에 대한 변환이 필요합니다.

유니코드 디코딩 에러는 프로그래머들에게 귀찮은 일입니다. 그러나 올바른 인코딩 사용과 변환 작업을 수행함으로써 이 문제를 방지할 수 있습니다.

따라서, 프로그래머들은 항상 올바른 인코딩 및 디코딩을 사용하고 해당 문자셋 변환을 수행하여 이러한 유니코드 디코딩 에러를 방지해야 합니다. 이를 위해 더 많은 정보를 얻기 위해 올바른 키워드와 정보를 포함하도록 한국어 에세이를 최적화할 필요가 있습니다.