sqlite3 jdbc、c接口、python接口处理中文时遇到的问题及其解决方法

时间:2021-02-08 23:03:25

sqlite(版本3),以下简称sqlite3,目前功能已经非常强大。目前支持的字符集,包括UTF-8, UTF-16,UTF-16le,UTF-16be。

可是在我们直接使用gbk编码的时候,很可能就会遇到问题。

因为目前,很多人会使用c/c++接口来访问sqlite3数据库,当然,也有人使用python接口来访问它。
1. 使用python时,要想正确的取到c++接口insert/update以后的数据,需要设定Connection的text_factory值为str,
意思是直接使用原来存储时的encoding形式。

con=sqlite3.connect(r"e:/t/testsqlite3.db")
con.text_factory=str

2. 使用sqlite jdbc访问的时候,如果想正确的取到c接口insert/update以后的数据,必须进行转码。
不过,转码时很奇怪,居然是用到:

String.getBytes("ISO_8859_1"), "GBK")

看来,c接口存储到sqlite3里边的数据,默认都是ISO_8859_1格式的,除非在insert/update以前,将其转换成utf-8再进行入库操作。

目前,sqlite jdbc以及python默认的存储方式是将字符串转换成utf-8串,再进行入库,非常标准。它们自己的upsert操作,然后取出数据,不会有任何问题。这个在我的前一篇短文里也有详细的描述。