小弟遇到一个需要根据csv文件中的数据进行Oracle数据更新的问题。
这个csv文件中的数据有三种情况:更新,插入,删除。
现在的做法是分别写了一个更新函数,插入函数,删除函数。
每次需要进行插入,删除或更新时就调用相应的函数。但带来的问题是速度很慢。
小弟现在做的这个项目是个asp.net程序。
因为csv中的数据数量比较多,一般都在上万条。
目前想考虑用Oracle的存储过程来实现数据的批量更新或插入。
在网上也有看到可以用SQLLDR来直接插入的。
现在求一个好的存储过程实现每一千条数据进行一次批量插入,
或者有高手能告诉我怎么用SQLLDR进行数据的更新也可以。
请天下英雄帮忙求解~~!!!
7 个解决方案
#1
有什么好的可以进行数据大批量处理的方法还请大家多多指教,
插入数据或更新数据的速度越快越好/
批处理也好,存储过程也好,算法改进也好
请大家帮忙
插入数据或更新数据的速度越快越好/
批处理也好,存储过程也好,算法改进也好
请大家帮忙
#2
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
#3
可是我处理的数据量比较大,一般都在上万条以上
现在希望能够在比较短的时间内更新这些数据
我听说java有executebatch方法可以在3分钟左右更新30万条记录
不知道.net是否有什么可行方案?
现在希望能够在比较短的时间内更新这些数据
我听说java有executebatch方法可以在3分钟左右更新30万条记录
不知道.net是否有什么可行方案?
#4
mark.顶.
#5
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
#6
关注!
#7
关注个毛阿,那些所谓的快速修改数据库的方法,就是采用的我说的方法!
#1
有什么好的可以进行数据大批量处理的方法还请大家多多指教,
插入数据或更新数据的速度越快越好/
批处理也好,存储过程也好,算法改进也好
请大家帮忙
插入数据或更新数据的速度越快越好/
批处理也好,存储过程也好,算法改进也好
请大家帮忙
#2
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
#3
可是我处理的数据量比较大,一般都在上万条以上
现在希望能够在比较短的时间内更新这些数据
我听说java有executebatch方法可以在3分钟左右更新30万条记录
不知道.net是否有什么可行方案?
现在希望能够在比较短的时间内更新这些数据
我听说java有executebatch方法可以在3分钟左右更新30万条记录
不知道.net是否有什么可行方案?
#4
mark.顶.
#5
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!更新,插入,删除时,每100条或者更多才提交一次事务,这样可以提高效率!
#6
关注!
#7
关注个毛阿,那些所谓的快速修改数据库的方法,就是采用的我说的方法!