大数据时代，那么一般通过什么方法（软件）收集、分析和可视化数据？

Question

在大数据时代，一般都是通过什么方法收集、分析和可视化数据的？

作为非平台运营商有没有办法收集到数据呢？假设说新浪微博每天有一亿条更新的微博，那么这些数据是不是只有新浪才能收集，第三方是没法收集的呢？

如果收集到了数据，一般是通过什么分析软件来分析呢？然后最后可视化输出又是通过什么软件呢？

Answer 1

数据是平台运营商的重要资产，可能提供API接口允许第三方有限度地使用，但是显然是为了增强自身的业务，与此目的抵触的行为都会受到约束。
收集数据主要是通过计算机和网络。凡是经过计算机处理的数据都很容易收集，比如浏览器里的搜索、点击、网上购物、……其他数据（比如气温、海水盐度、地震波）可以通过传感器转化成数字信号输入计算机。
收集到的数据一般要先经过整理，常用的软件：Tableau和Impure是功能比较全面的，Refine和Wrangler是比较纯粹的数据整理工具，Weka用于数据挖掘。
Hadoop是一个能够对大量数据进行分布式处理的软件框架。用于统计分析的R语言有个扩展R + Hadoop，可以在Hadoop集群上运行R代码。更具体的自己搜索吧。
可视化输出的工具很多。建议参考wikipedia的“数据可视化”条目。
Tableau、Impure都有可视化功能。R语言也可以绘图。
还有很多可以用来在网页上实现可视化输出的框架或者控件。
大致基于四种技术：Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)
Flash的有Degrafa、BirdEye、Axiis、Open Flash Chart
JS的有Ajax.org、Sencha Ext JS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、ExplorerCanvas、MilkChart、Google Chart API、Protovis
Java的有Choosel、google-visualization-java、GWT Chronoscope、JFreeChart
ASP.NET的有Telerik Charts、Visifire、Dundas Chart
目前我比较喜欢d3(Data-Driven Documents)，图形种类丰富，有交互能力，你可以去d3js.org看看，有很多种图形的demo。

Answer 2

哪里人多你就去哪里找，不是通过软件搜集的

通个人观点，最通俗的讲就是：现在的市场模式是商场一般是在人居住最多的附近开，这样大家会集中去一个地方购物消费，类似于淘宝建立了一个商店，大家都集中在一个地方购物。
而大叔据是恰恰相反的市场模式，通过互联网大家之间没有什么距离了，剩下的就是靠商家搜集大家平时的搜索关键词，对产品的不满意，以及想法搜集整理，然后做出产品在满足市场需求的一个模式，这个包含了市场调研的工作。大大节省开发成本和人们需求的判断。

以前公司是自己去调研，然后开发产品，再通过销售中用户的意见进一步改进
而大叔据的来临，我们可以通过互联网非常方便的搜集信息，然后进行调研，问答然后做出更加完善的产品，就是产品的更新周期将大大压缩，凡是一成不变的公司将全部死掉

大叔据时代是人人创业的时代，谁发现需求，谁去满足需求就可以盈利
所以也算是一个乱世，群雄四起。也是细分化市场的年代

大叔据说到底就是人们的行为习惯而已，商人利用的只是数据中的需求数据部分

Answer 3

完整的数据过程就是分成数据采集、数据接入、数据处理（OLAP）、数据分析、数据可视化展示、数据存储等，一般数据平台或数据BI就这些流程就比较完整，如BDP商业数据平台等。

（数据接入）

（数据处理）

（可视化分析）

Answer 4

大数据时代如果你想收集数据，假如你懂编程，你可以自己写Python程序自己爬取数据，又或者，借助已经开发好的软件，譬如火车采集器等来采集数据，像新浪微博这样的数据，你只能采集到它开放给你的那一部分，深层次的运营数据是无法采集到的，采集完数据之后，可以用分析软件，如火车采集器，清博大数据之类的软件来分析然后在最后可视化输出

Answer 5

依赖大数据的不仅仅是那些特殊的大型用户群体，作为一种商业需求，小型企业未来也一定会应用到大数据。我们看到，有些存储厂商已经在开发一些小型的“大数据”存储系统，主要吸引那些对成本比较敏感的用户。我们公司比较小，但是现在已经选择FineBI去分析了。