人工智能与数据挖掘结合目前还有什么困难

Answer 1

1.数据隐私和安全
AI系统，即使是最基本的形式，也是非常复杂的，大量的算法掩盖了系统实际上在底层做了什么。 因此，用于这种处理的任何数据通常是隐藏的，这引发了关于这种数据的透明性和隐私性的问题。
以Cookie为例，这是用于从网站收集用户数据以进行高级分析的代码段。 虽然许多国家现在要求网站通知用户使用cookie从浏览器收集数据，但是没有办法知道通过这些网站收集了多少数据或特定类型的数据。
另外，当AI系统在联网的分布式数据库中处理海量数据时，总会存在数据安全问题。 在诸如电信行业的许多自动化行业中，例如，被窃取的数据可用于发布自动垃圾邮件呼叫，例如全球许多国家都存在的垃圾邮件。
2.有限的技术能力
尽管迄今为止我们已经成功地构建了更快更好的处理器以提高计算能力，但这些能力不断受到日益苛刻的处理任务和大量待处理数据的挑战。
人工智能算法通常非常复杂，通常需要数以千计的计算 ，有时甚至每秒计算一次。随着云计算和分布式处理在过去十年的发展，处理这些算法变成了现实，也迎来了人工智能驱动数据分析的当前时代。
然而，随着对更强大处理器需求的增加，瓶颈将开始出现，企业很难采用这种技术。对于创业公司和中小型企业来说，这意味着需要筹集大笔资金，以使用更好的处理器和更大的存储服务器，这是很多中小型企业难以做到的。
这一趋势也意味着企业将难以跨越多个不断发展的非关系数据库来保护数据。
3.缺乏人力资本
数据分析是一个复杂的领域，当考虑到机器学习，深度学习和常用于分析数据的AI的其他组件时，事实会变得更加复杂。
因此，对于在各个领域有才能的数据科学家有着巨大的需求，纯粹是因为这项工作是多学科的。麦肯锡的一项研究预测，到2018年，仅美国就有大约20万个跨行业的大数据科学家和专业人员就业岗位。随着数据收集和先进的基于人工智能的分析方法的不断增加的途径，这种需求将会增长，如何找到合适的专业人员来处理这些数据，这会给企业增加压力。
除了机器学习和数据挖掘外，数据科学家需要的一些技能还包括统计学，软件工程，线性代数，Python和Java等编程语言，以及用于高级分析的Hadoop等平台。