c#怎么处理相对大量的数据？

Question

用winform写的数据分析。数据采集端是一分钟存一次，每次30个开关量，16个模拟量，.data文件。一天一个文件。现在是分析端要针对开关量按时间画条形图，模拟量画曲线。但是绘制图像时如果是显示所有设备的图像时，画完后窗口就发生一下位移，然后再重绘，再移动再重绘。绘图使用一个单独线程的话能消除问题并加速绘图吗？不能的话该怎么做？

Answer 1

绘图完成后窗口发生位移？

我揣测下你的意思就是你要实时的使用一个Chart显示数据，Chart显示数据和你的数据获取是2个概念，造成Chart的数据位移是你传入Chart的数据发生了变化，Ok下面是实现思路：

Chart：

1）使用gdi+绘制你要的Chart，Chart内部内置一个Timer，刷新频率开放或者闭合都可以，定义传入的数据接口，就是你要画的条形图的X轴和Y轴数据，这样基本就实现了，一般的Chart还要求有图例，你可以放在左侧或者右侧，

2）使用第三方的Chart，例如zedgraph（写组件可以参照第三方的，他们功能过于强大，有时候可以借鉴下他的原理、思路，设计个符合自己公司业务需求可拓展的组件）

   2.数据动态变化，就是根据你上位中采集数据的变化拆装成Chart中的数据对象，原始数据变化了，图形绘画自然会变。

追问

数据采集和分析不是同步的，分析的是历史数据。想用chart但是死活没导进去，我是用panel自己写算法画的。来回晃动重绘是在点击按钮后程序自己出现的。猜测可能是内存不足？！

追答

1.我弱弱的问一句：你这数据采集，没有数据存储吗，为什么跟上位显示混在一块，数据采集我认为是一个程序的后台服务（即job），你前台从数据端拿数据，运算和数据采集都是在后台做，怎么会内存不够，囧

追问

数据采集存的data格式。你说的存储是数据库？上位显示是byte流读取然后整理格式存数组。内存不够是我猜的······现在都4g内存我也不知道怎么回事。而且采集是一个机器，分析是另一个机器

追答

“采集是一个机器，分析是另一个机器”这设计是对的，我困惑了：上位显示是byte流读取然后整理格式存数组？一般选择数据库存成二进制一般是文件存储或者数组干这个转换的，你的数据模型数据总量很固定，这样的设计不科学啊，算了，没看到Design不纠结了。
你显示在Chart上的数据来源于来哪里？你的Client上位显示会参与到分析？分析应该是上位的Service去做的。
最后说一下画图吧，数据的绘制跟你Chart使用是2条线，不是你晃了再画，这样太考虑性能了，你这就是个定时获取数据的，完全可以获取Chart绘制使用的数据数组，查询最后一笔数据对象时间到现在的数据，在组装拼接，Chart绘制使用的数据集合都是简单类型，就2个字段一个时间一个数据，这内存会爆？很不可思议。

追问

关于内存，是我猜的猜的猜的猜的猜的猜的猜的····orz
那个晃了再画，不是我写的，是程序的问题·····绘图是我自己写的算法，画在panel上。这个就是跟查话费的程序功能类似，需要查就运行一下。
上位显示我没说全。是整理格式保存数组后，作为数据源，绘图。上位需要显示的只有图
至于design，我不知道该怎么设计。毕业不久，自己鼓捣的不知道怎么弄了
二进制文件适合文件存储，不适合这种需要分析的数据存储？

追答

有点佩服你，你自己弄二进制存储，你这检索效率可以从头开发，我觉得你完全有前途可以写个小型的数据库，牛人就是你这样锻造出来的。
绘图我的理解你是在程序中显示的时候现弄的，而不是写成一个组件，你这怪不得出现如此多幺蛾子事件，强烈要求你封装成组件。

Answer 2

没明白你什么意思，你不能一次读出所有数据，然后统一绘制吗（随便一个绘图控件都可以做这个，自己用GDI画也是可以的），为什么要逐个绘图

追问

是统一绘制，是程序自己来回晃动重绘，导致软件没法用

追答

多半是你写的算法有问题，你可以先在后台创建画布，在上面画好后再显示出来，或者就直接用ZedGraph这样的控件

追问

好主意，我试试

Answer 3

你不知道世界上做大量数据分析最好的、最成熟的、免费的 python 吗？？、