Unicode转换为字符串会留下前导字节顺序标记 [英] Unicode conversion to String leaves leading Byte order mark

问题描述

在.NET 3.5 C#应用程序中，我正在将Unicode编码的字节数组转换为字符串。

字节数组如下：

{255, 254, 85, 0, 83, 0, 69, 0}

使用Encoding.Unicode.GetString(var)，我将字节数组转换为字符串，它返回：

{65279 '', 85 'U', 83 'S' , 69 'E'}

前导字符65279似乎是Zero Width No-Break Space，它在Unicode编码中用作字节顺序标记，它的出现在我的应用程序的其余部分中造成了问题。

目前我使用的解决方法是var.Trim(new char[]{'uFEFF','u200B'});，工作正常。

但真正的问题是，GetString不应该注意删除字节顺序标记吗？或者我在转换字节数组时做错了什么？

推荐答案

否，GetString()不应删除物料清单。BOM实际上是一个完全有效的Unicode字符(之所以选择它，是因为如果它出现在Unicode文件的中间，例如，如果该文件是多个Unicode文件串联的结果，则它不会影响呈现的文本)，并且必须与byte[]中的所有其他字符一起进行解码。

唯一应该解释和过滤BOM的代码应该是理解数据来自某个持久性存储的代码，例如StreamReader。请注意，只有当您不禁用该行为时，它才会执行此操作。

GetString()要做的就是解释实际的编码字符，并将它们转换为它们表示的文本(当然，在C#中，字符串在内部存储为UTF16，所以当原始数据已经在UTF16：)中时，几乎不需要进行转换。

这篇关于Unicode转换为字符串会留下前导字节顺序标记的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！