查看: 2159|回复: 2

UnicodeDecodeError: 'utf8' codec can't decode byte 0xe9 in position 10: inva...

[复制链接]

10

主题

82

帖子

200

积分

中级会员

Rank: 3Rank: 3

积分
200
发表于 2018-9-20 16:03:25 | 显示全部楼层 |阅读模式

o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")
结果报错:
Traceback (most recent call last):  
File "<stdin>", line 1, in <module>  
File "C:\Python27\lib\encodings\utf_8.py",
line 16, in decode
     return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte
回复

使用道具 举报

9

主题

74

帖子

185

积分

注册会员

Rank: 2

积分
185
发表于 2018-9-20 16:18:02 | 显示全部楼层
在二进制中,0xE9看起来像1110 1001。如果你在维基百科上阅读有关UTF-8的信息,你会看到这样一个字节后面必须跟两个10xx xxxx。例如:
>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'
在这种情况下,你有一个用拉丁文编码的字符串。你可以看到UTF-8和拉丁文看起来如何不同:
>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'
(注意,我在这里混合使用Python 2和3表示。在任何版本的Python中都有效,但是你的Python解释器不太可能以这种方式实际显示unicode和byte字符串。)
回复

使用道具 举报

11

主题

80

帖子

199

积分

注册会员

Rank: 2

积分
199
发表于 2018-9-20 16:18:45 | 显示全部楼层
当我尝试通过pandas read_csv方法打开csv文件时,我遇到了同样的错误。
解决方案是将编码更改为'latin-1':
pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1')
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表