C#循环计算出数据写入文本或数据库时如何提高效率?

Question

要写这样一段代码:按行读取文本文件里的每一行,进行运算,然后写入数据库或文本文件,我现在是这样写的,
do
{按要求读取
运算
写入库
}
where(判断读取的是否为空,即:是否已读完)

现在运行效率很低,写到数据库一小时才10万次,写到文本8000次/16秒,
好像保存操作花费了太多时间

我想请教大家,如何实现运算后先缓存到内存里,到一定条数时再一起存入文本或数据库?(要保存的信息:string 原值 string 计算后的值)
DataTable,
有详细的资料么,比如示例代码,编程我菜鸟,只懂数据库.

Answer 1

利用SqlBulkCopy进行批量写入，大数据量效果明显。

Answer 2

一次加载所有文本内容到内存中，然后定义一个List，拼接插入语句，将插入语句放到集合中，然后再一次性的执行插入。

Answer 3

随便找个集合类就能用啊，比如List甚至DataTable，然后

do
{按要求读取
运算
结果写入List或DataTable
检查List或dataTable的计数，大于某个值时一次性写入
}
where(判断读取的是否为空,即:是否已读完)

Answer 4

文本用Buffer

数据库共享Connection并且不要一条一写，可以积累50条写一次

程序上可以使用多线程提高执行数量

Answer 5

三楼说了，SqlBulkCopy。楼主可以看看这个特性。很有用。设置也很方便。