面向信息系统跨平台轻量应用的汉字编码

转换程序①葛光富(中国电子科技集团公司第二十八研究所,南京210007)通讯作者:葛光富,E-mail:397559400@qq.
com摘要:国标码如GB18030是我国的汉字编码国家标准,UTF-8是国际字符编码,在国际化的今天这些编码方式在中文信息环境中同时存在并有着不少的使用.
为兼容与已有系统的如文本、协议的汉字交互处理,新开发的信息系统必然需要将上述形式编码的汉字进行编码转换.
本文介绍了常用的汉字编码,并详细说明了一种面向信息系统轻量应用的汉字编码转换程序,该程序支持跨操作系统平台复用.
关键词:信息系统;跨平台;轻量;汉字编码转换;国标码引用格式:葛光富.
面向信息系统跨平台轻量应用的汉字编码转换程序.
计算机系统应用,2020,29(7):251–255.
http://www.
c-s-a.
org.
cn/1003-3254/7533.
htmlChineseCharacterCodingConversionProgramforCross-PlatformLightweightApplicationofInformationSystemGEGuang-Fu(The28thResearchInstituteofChinaElectronicsTechnologyGroupCorporation,Nanjing210007,China)Abstract:NationalstandardcodessuchasGB18030isthenationalstandardofChinesecharactercodinginChina,andUTF-8isaninternationalcharacterencoding.
Intheinternationalization,thesecodingmethodsexistsimultaneouslyinChineseinformationprocessingenvironment.
Inordertobecompatiblewiththeexistingsystems,suchasdocumentandprotocolChinesecharactersprocessing,thenewlydevelopedinformationsystemmustconverttheChinesecharactersintheaboveform.
Inthisstudy,thecommonChinesecharactercodingstandardsareintroduced,andaChinesecharactercodingconversionprogramforlightweightapplicationsofinformationsystemisdescribedindetail,whichsupportsthereuseofcross-operatingsystemplatforms.
Keywords:informationsystem;cross-platform;lightweight;chinesecodingconversion;nationalstandardcodes引言在我国的信息系统工程应用中,顺应国际化时代的发展,各类新运用的工具和软件的汉字编码大多采用了全球共享通用的Unicode字符集,该字符集目前能够涵盖世界上主要语言的符号和文字.
而在指挥控制、网络安全、公共交通等业务领域方面,现役信息系统的汉字编码包括有GB2312、GBK以及GB18030等,为兼容与已有系统的互译互操作,故按照国际化要求新开发的信息系统在相当的一段时间内,仍会面临着上述编码形式的汉字编码转换需求[1–4].
综合军民用市场,有着大量的计算处理设备用于搭建各型信息系统,但这些设备却部署着种类多样、复杂不一的操作系统运行环境.
尤其是嵌入式设备更为突出,如车载终端的VxWorks(美国风河)、ReWorks计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:csa@iscas.
ac.
cnComputerSystems&Applications,2020,29(7):251255[doi:10.
15888/j.
cnki.
csa.
007533]http://www.
c-s-a.
org.
cn中国科学院软件研究所版权所有.
Tel:+86-10-62661041①收稿时间:2019-12-29;修改时间:2020-01-22;采用时间:2020-02-11;csa在线出版时间:2020-07-03ResearchandDevelopment研究开发251(电科32所)等,便携终端的Android(美国谷歌)、WinCE(美国微软)、AOS(深圳华为)、SyberOS(北京元心)等.
因此,为降低系统开发维护成本、提升行业企业效益,用于支撑应用跨操作系统平台快速移植改造的汉字编码转换技术,成为信息系统软件服务平台统筹规划中的必要考虑因素.
要进行汉字编码转换,对于Linux/类Linux系统上的软件,利用GNU(GNUisNotUnix,指的是一个自由软件工程项目)的libconv库即可实现.
该库支持包括世界主流语系在内的字符集区域标准与国家标准编码间的互转,但是这对于计算处理资源受限的嵌入式终端而言,资源占用就显得有点庞大,且不利于移植改造应用到各类操作系统尤其是国产化操作系统.
因此研究一种支持信息系统内部以及信息系统间通用的轻量化、可适用、易维护的汉字编码转换方法,是在跨操作系统平台应用实践中急需解决的问题.
本文利用Windows7记事本工具,进一步研究[5–7]开发出一种面向信息系统跨平台轻量应用的汉字编码转换程序,能够提供有效的汉字编码转换接口,用于与已有信息系统的如文本、信息的汉字交互处理,支撑新开发信息系统的快速构建开通.
1常用汉字编码汉字编码指的是为汉字设计的一种便于输入电子计算机的代码,是解决汉字能够进入计算机的关键.
国标码,全名国家标准代码,是我国的常用汉字编码集,目前主要有GB2312、GBK、GB18030三种.
另外,UTF-8因能够与ASCII兼容而作为优先采用的国际字符编码,也涵盖了汉字的编码.
1.
1GB2312编码GB2312-80编码是我国第一个汉字编码国家标准,共收录汉字6763个,同时收录了682个非汉字全角字符.
它对收录的每个字符采用两个字节表示,其编码范围为0xA1A1到0xFEFE,首字节在0xA1与0xFE之间,尾字节在0xA1与0xFE之间.
其中0xB0A1到0xF7FE为汉字的编码范围,0xA1A1到0xA9FE为非汉字字符的编码范围,其他为空白区.
1.
2GBK编码[5]GBK全称《汉字内码扩展规范》,是在GB2312标准基础上的内码扩展规范,使用了双字节编码方案,其编码范围从0x8140到0xFEFE,首字节在0x81与0xFE之间,尾字节在0x40与0xFE之间且不为0x7F,总共23940个码位,收录了21003个汉字,完全兼容GB2312-80标准,支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字,并包含了BIG5编码中的所有汉字.
GBK编码空间组成如表1所示.
表1GBK编码空间组成分类编码范围说明GBK2区0xB0A1~0xF7FEGB2312汉字区GBK3区0x8140~0xA0FEGB13000.
1扩充汉字区GBK4区0xAA40~0xFEA0GBK1区0xA1A1~0xA9FEGB2312非汉字符号区GBK5区0xA840~0xA9A0GB13000.
1扩充非汉字区用户自定义1区0xAAA1~0xAFFE—用户自定义2区0xF8A1~0xFEFE—用户自定义3区0xA140~0xA7A0—1.
3UTF-8编码[6]UTF-8是一种针对Unicode[7]字符集的可变长度字符编码,所有的字符均使用1到6个字节进行编码,是一种前缀码.
在只包含1个字节的UTF-8编码中,其最高位置0,其余的7个二进制位用来对字符进行编码;在含n(1=0x81)&&(ucChar=0x40)&&(ucCharNext>8)&0xFF;pcOutbuf[uiCharNewPos+2]=(uiTemp>>16)&0xFF;pcOutbuf[uiCharNewPos+3]=(uiTemp>>24)&0xFF;uiCharNewPos+=4;}else//>8)&0xFFuiCharNewPos+=2;}uiCharPos+=uiCharNewLen;}3程序应用实例本文方法实现的汉字编码转换程序,以动态库的形式提供,适用于GTK、Tilcon、Element-UI、QT等界面库的信息系统软件开发,并已成功运用于多型含装甲车载嵌入式、单兵移动便携信息处理终端的陆军业务信息系统中.
这些信息系统中,配套工具开发的前端展现界面(如图2所示)的汉字编码类型大多数固定为UTF-8编码,为兼容与已有系统如文本、协议的汉字交互处理,后端服务处理采用的中文编码形式为GB18030或GBK.
上述汉字编码转换程序不仅可以更轻量地应用于各类业务信息系统,而且利于信息系统间的软件部件甚至整件的快速改造移植.
这些都能够为提高信息系统的资源利用率以及降低系统的开发维护成本,起着积极的作用.
图2某装甲车载平台GTK开发的前端界面示例4结束语本文立足于为信息系统的处理终端尤其是嵌入式终端提供轻量化的跨平台通用汉字编码转换手段,论述了常用汉字编码的基本原理、编码对照关系.
同时,给出了面向跨平台轻量应用的编码转换方案,这套方案已成功地在多型嵌入式如单兵业务信息系统中得到应用[8],且也能适用于其他信息系统[9].
参考文献姚传明,王庆元,谢瑞生.
面向坦克的多目标威胁评估方法.
指挥信息系统与技术,2018,9(1):68–72.
1姚传明,王庆元,杨叶林.
基于Tilcon的多目标信息排序系统人机交互软件设计.
指挥控制与仿真,2017,39(3):106–110.
[doi:10.
3969/j.
issn.
1673-3819.
2017.
03.
023]2王德泉.
VxWorks下汉字显示解决方案.
指挥信息系统与技术,2010,1(2):61–65.
[doi:10.
3969/j.
issn.
1674-909X.
2010.
02.
014]3李元民.
将MYSQL的GBK数据库转成UTF-8数据库的简便方法.
广西民族大学学报(自然科学版),2006,(S1):74–77.
4杨善超.
GBK汉字编码技术研究.
福建电脑,2017,33(11):13–30.
5鹿文鹏,薛若娟.
Unicode与UTF-8编码转换方法研究.
计算机时代,2005,(9):44–45.
[doi:10.
3969/j.
issn.
1006-8228.
2005.
09.
020]6张晓培,李祥.
从Unicode到GBK的内码转换.
微计算机应用,2006,27(6):757–759.
7徐亮亮,汤学达,张媛,等.
基于AOS的军用手持端即时通信软件设计.
指挥信息系统与技术,2019,10(5):86–89,100.
8张庆海,尹瑞,代杰,等.
面向网络化指挥控制系统的运维管理软件设计.
指挥信息系统与技术,2018,9(4):68–73.
92020年第29卷第7期http://www.
c-s-a.
org.
cn计算机系统应用ResearchandDevelopment研究开发255