[C#.net]获取文本文件的编码,自动区分GB2312和UTF8

时间:2023-01-10 12:14:55

昨天生产突然反馈上传的结果查询出现了乱码,我赶紧打开后台数据库,发现果真有数据变成了乱码。这个上传程序都运行3个多月了,从未发生乱码现象,查看程序的运行日志,发现日志里的中文都变成了乱码,然后对比之前和现在的上传文件,发现了问题,之前文件格式是ANSI,现在变成了UTF8

 [C#.net]获取文本文件的编码,自动区分GB2312和UTF8

[C#.net]获取文本文件的编码,自动区分GB2312和UTF8

然后直接上网搜索解决方法,方法如下:

using System; 
using System.IO; 
using System.Text; 

/// <summary> 
/// FileEncoding 的摘要说明 
/// </summary> 
namespace FileEncoding 
{ 
/// <summary> 
/// 获取文件的编码格式 
/// </summary> 
public class EncodingType 
{ 
/// <summary> 
/// 给定文件的路径,读取文件的二进制数据,判断文件的编码类型 
/// </summary> 
/// <param name=“FILE_NAME“>文件路径</param> 
/// <returns>文件的编码类型</returns> 
public static System.Text.Encoding GetType(string FILE_NAME) 
{ 
FileStream fs = new FileStream(FILE_NAME, FileMode.Open, FileAccess.Read); 
Encoding r = GetType(fs); 
fs.Close(); 
return r; 
} 

/// <summary> 
/// 通过给定的文件流,判断文件的编码类型 
/// </summary> 
/// <param name=“fs“>文件流</param> 
/// <returns>文件的编码类型</returns> 
public static System.Text.Encoding GetType(FileStream fs) 
{ 
byte[] Unicode = new byte[] { 0xFF, 0xFE, 0x41 }; 
byte[] UnicodeBIG = new byte[] { 0xFE, 0xFF, 0x00 }; 
byte[] UTF8 = new byte[] { 0xEF, 0xBB, 0xBF }; //带BOM 
Encoding reVal = Encoding.Default; 

BinaryReader r = new BinaryReader(fs, System.Text.Encoding.Default); 
int i; 
int.TryParse(fs.Length.ToString(), out i); 
byte[] ss = r.ReadBytes(i); 
if (IsUTF8Bytes(ss) || (ss[0] == 0xEF && ss[1] == 0xBB && ss[2] == 0xBF)) 
{ 
reVal = Encoding.UTF8; 
} 
else if (ss[0] == 0xFE && ss[1] == 0xFF && ss[2] == 0x00) 
{ 
reVal = Encoding.BigEndianUnicode; 
} 
else if (ss[0] == 0xFF && ss[1] == 0xFE && ss[2] == 0x41) 
{ 
reVal = Encoding.Unicode; 
} 
r.Close(); 
return reVal; 

} 

/// <summary> 
/// 判断是否是不带 BOM 的 UTF8 格式 
/// </summary> 
/// <param name=“data“></param> 
/// <returns></returns> 
private static bool IsUTF8Bytes(byte[] data) 
{ 
int charByteCounter = 1; //计算当前正分析的字符应还有的字节数 
byte curByte; //当前分析的字节. 
for (int i = 0; i < data.Length; i++) 
{ 
curByte = data[i]; 
if (charByteCounter == 1) 
{ 
if (curByte >= 0x80) 
{ 
//判断当前 
while (((curByte <<= 1) & 0x80) != 0) 
{ 
charByteCounter++; 
} 
//标记位首位若为非0 则至少以2个1开始 如:110XXXXX...........1111110X 
if (charByteCounter == 1 || charByteCounter > 6) 
{ 
return false; 
} 
} 
} 
else 
{ 
//若是UTF-8 此时第一位必须为1 
if ((curByte & 0xC0) != 0x80) 
{ 
return false; 
} 
charByteCounter--; 
} 
} 
if (charByteCounter > 1) 
{ 
throw new Exception("非预期的byte格式"); 
} 
return true; 
} 

} 


}

调用方法

 using (StreamReader sr = new StreamReader(file.FullName, EncodingType.GetType(file.FullName)))
                                {
                                    string sTemp = string.Empty;
                                    string sCurEncode = sr.CurrentEncoding.EncodingName;

顺利解决问题