这里不多说,直接上干货!
前提博客是
Weka中数据挖掘与机器学习系列之数据格式ARFF和CSV文件格式之间的转换(四)
1、将arff文件批量导入MySQL数据库
我在这里,arff文件以Weka安装目录下data文件夹中的iris.arff文件为例。
这个很简单,直接open file,不多说。
2、将csv文件批量导入MySQL数据库
首选,需要先删除csv文件中第一行对属性名的描述,如下图。
得到
然后,我这里保存到,D:\SoftWare\MySQL Server\MySQL Server 5.0\data\weka
然后,再这里,要先在weka数据库里,先建立表 不然它怎么知道往哪里导数据呢?
科普一下,float 和 real 数据类型被称为近似的数据类型。
或者,直接使用命令行界面,多么的爽 (建议,用命令行界面来操作!!!)
create table iris(sepallength REAL,sepalwidth REAL,petallength REAL,petalwidth REAL,class VARCHAR());
养成习惯,立马去查看数据库的属性
并在命令行下执行以上批处理语句:
load data infile '\iris.csv'
into table iris
fields terminated by ',' optionally enclosed by '"' escaped by '"'
lines terminated by '\r\n';
因为,这会直接,去加载(默认),
直接把命令,复制进去
是一模一样的!
当然,大家,不仅可以这样,通过MySQL命令行来加载导入MySQL数据库。大家也可以通过如下的java代码来导入哈!
新建java工程,导入驱动包和weka包。进行代码编写和设计。
package sdust.lab207.data; import java.io.File; import weka.core.Instance;
import weka.core.Instances;
import weka.core.converters.ArffLoader;
import weka.core.converters.DatabaseLoader;
import weka.core.converters.ConverterUtils.DataSource;
import weka.experiment.InstanceQuery; /**
* @author LbZhang
* @version 创建时间:2016年6月10日 上午10:16:23
* @description 数据加载 weka.core.Instances;
1.Weka处理的数据表格中,一个横行称为一个实例(Instance),竖行代表一个属性(Arrtibute),数据表格称为一个数据集,在weka看来,呈现了属性之间的一种关系(Relation)
2.Weka存储数据的格式是ARFF(Attribute-RelationFile Format)文件,这是一种ASCII文本文件。
3.Weka的ARFF文件可以分为两部分。第一部分给出了头信息(Head information),包括了对关系的声明和对属性的声明。第二部分给出了数据信息(Data information),即数据集中给出的数据。从@Data标记开始,后面的就是数据信息了。
4.Weka作为数据挖掘,面临的第一个问题往往是我们的数据不是ARFF格式的。幸好,WEKA还提供了对CSV文件的支持,而这种格式是被许多其他软件所支持的。此外,WEKA还提供了通过JDBC访问数据库的功能。
*/
public class DataLoad { /**
* Open Declaration weka.core.converters.ConverterUtils.DataSource
* DataSource(数据源)类是weka.core.converters.ConverterUtils的内部类,用于从有适当文件扩展名的文件中读取数据。
*
*
*/ public static void main(String[] args) { //DataLoad.testFileload();
DataLoad.testDBload(); } private static void testDBload() {
try {
//InstanceQuery使用
InstanceQuery iq = new InstanceQuery();
iq.setDatabaseURL("jdbc:mysql://127.0.0.1:3306/jdtaobao");
iq.setUsername("root");
iq.setPassword("root");
iq.setQuery("SELECT * FROM tb_timestat");
//iq.setSparseData(true);
Instances ist = iq.retrieveInstances(); System.out.println(ist.checkForStringAttributes()); System.out.println(ist.get());
System.out.println(ist.attributeStats());
// System.out.println(ist.get(2)); DatabaseLoader dloader = new DatabaseLoader();
String jdurl="jdbc:mysql://127.0.0.1:3306/jdtaobao";
String user = "root";
String pass = "root";
dloader.setSource(jdurl,user,pass);
dloader.setQuery("SELECT * FROM tb_timestat");
//批量检索
Instances data = dloader.getDataSet();
// System.out.println(data.classIndex());
// System.out.println(data.size());
// System.out.println(data.get(0));
System.out.println(data.get(data.size()-));
System.out.println(data);
System.out.println(); //增量检索
DatabaseLoader diloader = new DatabaseLoader();
diloader.setSource(jdurl,user,pass);
diloader.setQuery("SELECT * FROM tb_user"); Instances structure = diloader.getStructure(); Instances insts = new Instances(structure);
Instance inst ;
while((inst=diloader.getNextInstance(structure))!=null){
System.out.println(inst);
insts.add(inst);
}
System.out.println(insts); } catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
} } private static void testFileload() {
try { // 读取数据代码片段
Instances data1 = DataSource.read("data\\cpu.arff");
Instances data2 = DataSource.read("data\\cpu.arff");
// 当要加载的文件的与加载器通常关联的文件扩展名不同时,用户只能直接指定加载器。
// 加载arrf文件代码片段
ArffLoader loader = new ArffLoader();
loader.setSource(new File("data\\cpu.arff"));
Instances data = loader.getDataSet();// 获取数据集合 System.out.println(data.classIndex()); // 如果没有设置类别属性
if (data.classIndex() == -)
data.setClassIndex();
// 使用第一个属性作为类别属性
if (data.classIndex() == -)
data.setClassIndex(data.numAttributes()-); if (data.classIndex() == -) {//如果没有设置类别属性列
System.out.println(data1.get());
}
//System.out.println(data.attribute(0)); } catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
} } }
我们这里使用的是mysql数据库,所以我们将DatabaseUtils.props.mysql取代DatabaseUtils.props,并且修改文件的内容。
主要是将内容修改为:
第一步:配置相关的数据库驱动和链接信息
# Database settings for MySQL 3.23.x, .x
#
# General information on database access can be found here:
# http://weka.wikispaces.com/Databases
#
# url: http://www.mysql.com/
# jdbc: http://www.mysql.com/products/connector/j/
# author: Fracpete (fracpete at waikato dot ac dot nz)
# version: $Revision: $ # JDBC driver (comma-separated list)
#jdbcDriver=org.gjt.mm.mysql.Driver
jdbcDriver=com.mysql.jdbc.Driver # database URL
#jdbcURL=jdbc:mysql://server_name:3306/database_name
jdbcURL=jdbc:mysql://localhost:3306/weka
第二步: 类型去掉注释
# specific data types
string, getString() = ; --> nominal
boolean, getBoolean() = ; --> nominal
double, getDouble() = ; --> numeric
byte, getByte() = ; --> numeric
short, getByte()= ; --> numeric
int, getInteger() = ; --> numeric
long, getLong() = ; --> numeric
float, getFloat() = ; --> numeric
date, getDate() = ; --> date
text, getString() = ; --> string
time, getTime() = ; --> date
timestamp, getTime() = ; --> date
第三步:添加字符转换方式
#mysql-conversion
#Text
CHAR=
TINYTEXT=
TEXT=
VARCHAR=
LONGVARCHAR=
BINARY=
VARBINARY=
LONGVARBINARY=
BLOB=
MEDIUMTEXT=
MEDIUMBLOB=
LONGTEXT=
LONGBLOB= #Number types
BIT=
NUMERIC=
DECIMAL=
FLOAT=
DOUBLE=
TINYINT=
SMALLINT=
#SHORT=
SHORT=
INTEGER=
INT=
MEDIUMINT=
BIGINT=
LONG=
INT_UNSIGNED= #Data Types
REAL=
DATE=
TIME=
TIMESTAMP=
DATETIME= # other options
CREATE_DOUBLE=DOUBLE
CREATE_STRING=TEXT
CREATE_INT=INT
CREATE_DATE=DATETIME
DateFormat=yyyy-MM-dd HH:mm:ss
checkUpperCaseNames=false
checkLowerCaseNames=false
checkForTable=true
第三步:添加字符转换方式
#mysql-conversion
#Text
CHAR=
TINYTEXT=
TEXT=
VARCHAR=
LONGVARCHAR=
BINARY=
VARBINARY=
LONGVARBINARY=
BLOB=
MEDIUMTEXT=
MEDIUMBLOB=
LONGTEXT=
LONGBLOB= #Number types
BIT=
NUMERIC=
DECIMAL=
FLOAT=
DOUBLE=
TINYINT=
SMALLINT=
#SHORT=
SHORT=
INTEGER=
INT=
MEDIUMINT=
BIGINT=
LONG=
INT_UNSIGNED= #Data Types
REAL=
DATE=
TIME=
TIMESTAMP=
DATETIME=
可能大家会出现如下的问题:
couldn’t read from database unknown data type: INT, Add Entry in weka/experiment/DatabaseUtils.props.
错误处理
问题解决:
主要是因为数据库数据类型 java 数据类型还有weka 数据类型的匹配导致的。
因此第三步是十分重要的!
INT_UNSIGNED=6
VARCHAR=0
等一定要注意INT_UNSIGNED的连接下划线。