utf-16相关内容

为什么我必须通过< script>指定字符集属性标签?

我有一个奇怪的情况: 主要HTML页面以UTF-16字符集提供(由于此问题超出了某些要求) HTML页面使用标记加载外部脚本(即它们具有src属性) 这些外部脚本使用US-ASCII/UTF-8 Web服务器正在提供内容类型为"application/javascript"且没有字符集提示的脚本 脚本没有字节顺序标记(BOM) 在加载上述页面时，Firefox和 ..

发布时间：2020-07-13 03:23:01 javascript html utf-8 character-encoding utf-16 前端开发

为什么Powershell文件串联会将UTF8转换为UTF16?

我正在运行以下Powershell脚本，将一系列输出文件连接为一个CSV文件. whidataXX.htm(其中xx是两位数字序号)，创建的文件数因运行而异. $metadataPath = "\\ServerPath\foo" function concatenateMetadata { $cFile = $metadataPath + "whiconcat.csv" ..

发布时间：2020-07-13 03:14:14 powershell utf-8 utf-16 data-conversion 其他开发

如何在C ++中将UTF-16中的字符串转换为UTF-8

考虑: STDMETHODIMP CFileSystemAPI::setRRConfig( BSTR config_str, VARIANT* ret ) { mReportReaderFactory.reset( new sbis::report_reader::ReportReaderFactory() ); USES_CONVERSION; std::string configura ..

发布时间：2020-07-13 03:12:46 c++ string dll utf-8 utf-16 C/C++开发

Python-使用BOM解码UTF-16文件

我有一个 UTF-16 LE 文件> BOM .我想将此文件转换为UTF-8(不带BOM)，以便可以使用Python进行解析. 我使用的普通代码并不能解决问题，它返回未知字符，而不是实际文件内容. f = open('dbo.chrRaces.Table.sql').read() f = str(f).decode('utf-16le', errors='ignore').encode ..

发布时间：2020-07-13 03:06:15 python file encoding utf-8 utf-16 Python

什么是Unicode U + 001A字符?亦称0x1A

U + 001A字符经常出现在与字符编码有关的错误消息中. U + 001A字符是什么? 解决方案 U + 001A在Unicode标准中定义为名称为SUBSTITUTE的控制字符，并且属于具有以下特征的组，在第16章:“在Unicode标准中，有65个代码点为与C0的兼容性 在ISO/IEC 2022框架中定义的C1和C1控制代码.Unicode标准规定了这些代码点的完整交换， 增加或减 ..

发布时间：2020-07-13 03:05:57 xml unicode utf-8 utf-16 其他开发

检查字节序列是否包含utf-16

我正在从流中读取字节序列.为了便于讨论，假设序列的长度是固定的，我将整个序列读入字节数组(在我的情况下是vector，但对于这个问题并不重要).这个字节序列包含一个字符串，可以是utf-16或utf-8编码.不幸的是，没有任何指示. 我可以验证字节序列是否代表有效的utf-16编码，以及它是否代表有效的utf-8编码，但是我还可以对相同的字节序列如何构成有效的utf-8和有效的图 ..

发布时间：2020-07-13 03:02:16 string unicode utf-8 utf-16 其他开发

Unicode是否有定义的最大代码点数?

为了了解Unicode代码点的最大数量，我阅读了许多文章，但是我没有找到最终答案. 我了解到Unicode代码点被最小化，以使所有UTF-8 UTF-16和UTF-32编码都能够处理相同数量的代码点.但是这个代码点数是多少? 我遇到的最常见的答案是Unicode代码点的范围是0x000000到0x10FFFF(1,114,112代码点)，但我在其他地方也读到它是1,112,114代码点 ..

发布时间：2020-07-13 02:52:38 unicode utf-8 utf-16 codepoint utf-32 其他开发

将C ++ std :: string转换为UTF-16-LE编码的字符串

我今天一直在搜索数小时，但找不到适合我的任何内容.我刚刚看过的一个没有运气的是" 我的问题是，有一个简短的解释: 我想在std C ++中创建有效的NTLM哈希，并且我正在使用OpenSSL的库通过其MD4例程创建哈希.我知道该怎么做，所以有人知道如何将std::string转换为UTF-16 LE编码的字符串，我可以将其传递给MD4函数以获取正确的摘要吗? 所以，我可以有一个保存c ..

发布时间：2020-07-13 02:49:54 c++ utf-8 character-encoding utf-16 stdstring C/C++开发

UCS-2和SQL Server

搜索选项用于存储SQL Server数据库中的数据大多数都是英语，但有时不是，可能会很大，我倾向于将大多数字符串数据存储为UTF-8编码. 但是，Microsoft之所以选择UCS-2，是因为我不完全了解，这导致我对此有所怀疑. SQL Server 2012的文档确实显示了如何创建 维基百科(有趣的是，UCS-2已过时而支持UTF-16 )指出，UTF-8是可变宽度的字符集，能够对任何Un ..

发布时间：2020-07-13 02:48:47 sql-server unicode utf-8 utf-16 ucs2 数据库

使用PowerShell将xml从UTF-16转换为UTF-8

将XML从UTF16转换为UTF8编码的文件的最简单方法是什么? 解决方案 这可能不是最佳选择，但它可以工作.只需加载xml并将其推回文件即可. xml标题虽然丢失了，所以必须重新添加. $files = get-ChildItem "*.xml" foreach ( $file in $files ) { [System.Xml.XmlDocument]$doc = new ..

发布时间：2020-07-13 02:46:53 xml powershell utf-8 utf-16 其他开发

C ++字符串代码点和代码单元有什么好的解决方案?

在Java中，字符串具有方法: length()/charAt(), codePointCount()/codePointAt() C ++ 11具有std::string a = u8"很烫烫的一锅汤"; 但是a.size()是char数组的长度，无法索引unicode char. 在C ++字符串中有针对Unicode的解决方案吗? 解决方案 我通常在进行字符操作 ..

发布时间：2020-07-13 02:38:41 c++ unicode utf-8 utf-16 C/C++开发

将UTF-16转换为UTF-8并删除BOM?

我们有一个数据输入人员，该人员在Windows上使用UTF-16编码，希望拥有utf-8并删除BOM. utf-8转换有效，但BOM仍然存在.我将如何删除?这是我目前拥有的: batch_3={'src':'/Users/jt/src','dest':'/Users/jt/dest/'} batches=[batch_3] for b in batches: s_files=os.li ..

发布时间：2020-07-13 02:35:40 python unicode utf-8 utf-16 Python

手动将Unicode代码点转换为UTF-8和UTF-16

我即将参加大学编程考试，其中一部分是关于unicode的. 我已经检查了所有问题的答案，而我的讲师没有用，所以没有帮助，所以这是你们提供帮助的最后手段. 问题将类似于: 字符串'mЖ丽'具有这些unicode代码点U+006D，U+0416和 U+4E3D(答案用十六进制表示)手动编码 字符串转换为UTF-8和UTF-16. 在我努力解决这个问题时，任何帮助都将不胜感激. ..

发布时间：2020-07-13 02:32:40 unicode utf-8 utf-16 其他开发

不建议使用的标头< codecvt>替换

一些前景:我的任务需要将UTF-8 XML文件转换为UTF-16(当然具有正确的标头).因此，我搜索了将UTF-8转换为UTF-16的常用方法，发现应该使用中的模板. 但是现在，当它已弃用时，我不知道新的常见处理方法是什么相同的任务? (完全不介意使用Boost，但除此之外，我更喜欢尽可能靠近标准库.) 不推荐使用本身的 解决方案 std::co ..

发布时间：2020-07-13 02:32:18 c++ utf-8 c++17 utf-16 codecvt C/C++开发

在Python中将没有BOM的UTF-8转换为带有BOM的UTF-8

这里有两个问题.我有一组文件，这些文件通常是带有BOM的UTF-8.我想将它们(理想情况下)转换为没有BOM的UTF-8.似乎codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors)将处理此问题.但是我真的看不到任何有关用法的好例子.这将是处理此问题的最佳方法吗? source files: Tue Jan 17 ..

发布时间：2020-07-13 02:31:10 python utf-8 utf-16 byte-order-mark Python

UTF-8，UTF-16和UTF-32

UTF-8，UTF-16和UTF-32有什么区别? 我知道它们都将存储Unicode，并且每个都使用不同数量的字节来表示字符.选择一个而不是另一个有优势吗? 解决方案 在ASCII字符代表文本块中大多数字符的情况下，UTF-8具有优势，因为UTF-8将这些字符编码为8位(像ASCII).另一个优点是，仅包含ASCII字符的UTF-8文件具有与ASCII文件相同的编码. UTF- ..

发布时间：2020-07-13 02:30:06 unicode utf-8 utf-16 utf utf-32 其他开发

是否有Unicode编码，其中每个“字符"都包含在其中?只是一个代码点?

尝试改写:您可以将每个组合字符组合映射到一个代码点吗? 我是Unicode的新手，但在我看来，没有编码，规范化或表示形式，在每种情况下，Unicode中每个字符都是一个代码点.这样对吗? Basic Multilingual Planes也是如此吗? 解决方案 如果您的意思是一个char ==一个数字(即，其中每个char都由相同数量的字节/字/您所拥有的数字表示):在UCS- ..

发布时间：2020-07-12 18:48:43 unicode normalization utf-16 unicode-normalization surrogate-pairs 其他开发

如何在PHP中将utf-8字符串转换为utf-16字符串

如何在PHP中将utf-8字符串转换为utf-16字符串? 解决方案 mbstring 支持UTF-16 ，因此您可以使用 mb_convert_encoding . ..

发布时间：2020-07-03 01:03:15 php utf-8 utf-16 PHP

为什么Rails 3认为xE2x80x89的意思是x80 x89

我从utf-8页面抓取了一个字段: "O’Reilly" 并保存在yml文件中: :name: "O\xE2\x80\x99Reilly" (xE2x80x99是该撇号的正确的UTF-8表示形式) 但是，当我将值加载到哈希中并让其生成标记为utf-8的页面时，我得到: OâReilly 我查找了字符â，该字符在UTF-16中编码为x00E2，当粘贴字符串时，字符 ..

发布时间：2020-07-01 02:26:13 ruby-on-rails unicode utf-8 utf-16 multibyte 其他开发

UTF16十六进制文本

我有UTF-16十六进制表示形式，例如“ 0633064406270645”，阿拉伯语为“سلام”。 我想将其转换为等效的文本。在PostgreSQL中有直接的方法吗？ 我可以像下面这样转换UTF代码点；不幸的是，似乎不支持UTF16。关于如何在PostgreSQL中进行操作的任何想法，最坏的情况下我将编写一个函数？ SELECT convert_from（解码（E'D8B3 ..

发布时间：2020-05-30 00:03:43 postgresql utf-16 其他开发