大数据的政府应用
一、大数据政府的五大应用
在西班牙首都马德里，整合警察、消防、医疗系统，使救援时间大幅度缩短，巡逻队、消防车、救护车能够在8分钟内到达81%的突发事件现场；在新加坡，智能交通综合信息管理平台，在预测交通流速和流量方面有高达85%的准确率，能通过有效的引导和干预，显著提升高峰时段的车辆通行效率；在苏州市，覆盖城乡的信息化防控网络，在警力与人口配比不足千分之一的情况下，使打击处理案件数、刑拘转捕率、技术支撑率均为全省最高，实现了“以十抵万”的办案效率。
在公共管理领域，国内外一些先行者已经在运用大数据的方法，通过多渠道的数据采集和快速综合的数据处理，提升治理社会的能力，实现政府公共服务的技术创新、管理创新和服务模式创新。大数据在公共管理领域的应用，不仅使传统难题变得迎刃而解，更成为新时期应对新挑战、解决新问题的必然选择。
利用大数据治国，美国政府早已先行一步。奥巴马认为，数据在未来将是陆权、海权、空权之外的另一种国家核心资产。美国白宫科技政策办公室在2012年3月发布《大数据研究和发展计划》，同时组建“大数据高级指导小组”，以协调政府在大数据领域的2亿多美元投资，这标志着美国把大数据提高到国家战略层面，形成全体动员的格局。
根据麦肯锡的报告，大数据技术可为欧盟23个最大的政府的公共部门管理活动的成本提供15%～20%的下降空间，在未来10年每年创造1500亿欧元到3000亿欧元的价值，并将公共部门的预计效率提高0.5个百分点。
对各个国家地区大数据实践的研究表明，大数据的应用可以从五个方面提高公共管理水平：
1.实现信息透明和共享，使外部利益相关者（比如公民和企业）和内部利益相关者（比如政府雇员和政府机构）都能提高自身的工作效率，产生积极的经济社会综合效益。在上海，自2006年起，人民银行上海总部公开金融信息后，催生了一批金融信息咨询服务企业，其中有上海联和金融信息服务有限公司等5家上市企业，拉动了十几万人的就业。在北京，交通管理部门公开提供违章信息，也催生了一批提供专业交通信息服务的互联网企业，他们向用户提供免费服务，并获得了可观的广告收入。
2.通过评估公共部门的绩效，增强内部竞争，激励工作表现，提高公共建设效率，提升行政服务质量，降低政府的管理成本。例如，荷兰政府推出了一项名为“数字三角洲”的工程，通过协调环境部、税务部门和国家研究所三方的财力、人力和物力，研究如何利用大数据预测、改变防洪策略以及整个荷兰水资源系统的管理工作。对比传统的水资源建设项目，这种合作组合预计可以节省高达15%的荷兰年度水资源管理预算。
3.通过人口细分和定制政策，增强公共服务的针对性，提高工作效率和公众满意度，减少开支。在传统公共管理中，公共部门倾向于为所有公民提供相同的服务。但其实，公众往往具有非常多元化的个性化需求。德国联邦劳工局对大量的失业人员的失业情况、干预手段和重新就业等历史数据进行分析，使得其能够区别不同类别的失业人群，从而采取有针对性的手段来进行失业干预，大大提高了公共服务提供的效率。该做法使得该局能够在每年减少100亿欧元相关支出的情况下，减少失业人员平均再就业所需时间，大大改善了失业人群的求职体验。
4.用政务智能替代或辅助人工决策，在纷繁复杂的数据中自动识别出不一致、错误和虚假的信息，减少出错成本和福利管理中的诈骗，缩小税收缺口。美国邮政（USPS）的计算机系统能够自动扫描邮件的相关数据（存放位置、派送路线、重量、体积等信息），通过与数据库中近4千亿条数据的比较，甄别出“用邮欺诈”的邮件。扫描一封邮件只需要50～100毫秒，一旦检测出了“异常”——比如包裹邮资不足或者邮票重复使用等情况，系统就会对信件实施实时拦截，再由分拣人员对其进行特殊处理。有趣的是，该项目竟然由此形成了“威慑效应”。自从2006年开始实施此计划起，“用邮欺诈”行为减少了很多。
5.引导公共部门内部和外部的创新，例如，商业、非营利性机构、第三方通过开发出大数据工具和分析，对公共服务进行反馈，为改善现有的方案提出建议，从而为公共部门创造新的价值。作为“大数据”惠民的一项重要探索，北京市于2012年10月推出政府数据资源网测试版，并面向企业及个人征集应用程序（APP）。由社会力量开发的“游北京”和“爱健康”两个程序目前已经可以下载试用。前者可以查阅北京旅游景点、餐饮、促销信息、洗手间信息等；后者是北京市所有卫生保健设施的指南应用，包括诊所、医院、养老院等信息，用户可以利用这款软件定位附近的医疗设施，查看现场网络图像。
二、大数据在部分国家政府的应用状况
欧盟
2010年，欧盟正式发布“欧洲数字化议程”，旨在建立一个统一的“数字市场”，推动欧盟内部高速和极速互联网的互联互通和应用共享，进而促进欧盟经济社会可持续发展，造福欧盟人民。2012年，欧盟委员会在“欧洲数字化议程及其挑战”中制订了大数据战略，并强调了公共数据安全及挖掘公共机构数据的价值潜力，同时满足日益强烈的对个人数据安全保护的诉求；发展物联网，确保网络安全及在线交易的数据处理安全。
英国
英国政府是最早推进大数据规划的欧洲国家。2004年，英国设立了水平扫描中心（HSC）项目，以提升政府处理跨部门和多学科挑战的能力。2011年，水平扫描中心（HSC）启动气候变化的未来国际影响计划，通过对多数据源进行深度分析，研究解决气候变化对食品和水的可获得性，以及对地区或国际形势的影响等问题。英国政府发起的另外一个项目是，2009年建立了http:data.gov.uk公共网站，来自七个政府部门的1000多个既有数据集对外开放，后来增到8633个数据集。
荷兰、瑞士、英国和其他17个国家与IBM合作开发了一个名为DOME的超级计算系统项目。该系统每天能处理超过1EB的数据，数据来源于射电望远镜平方公里阵列（SKA），旨在通过探索百亿亿次的计算、数据传输和存储等新兴技术，以及对每日采集的数据流进行读取、存储和分析，解决一系列宇宙科学问题。这个大数据项目的总部位于英国曼彻斯特的Jodrell Bank天文台。
韩国
2011年，韩国总统国家ICT战略委员会发布了“大数据倡议”。该委员会是最高层次的政府信息通信技术协同机构，其使命是在建立必要的基础设施过程中发挥领导作用。“大数据倡议”旨在建立泛政府大数据网络和分析系统，推进政府与私有部门之间的数据共享融合，建立公共数据诊断系统，培养和培训合格的大数据专业人员；保障个人信息安全，以及改善相关法律，发展大数据基础设施和技术，发展大数据管理和分析技术。
很多韩国政府机构已经提出了相关的行动计划。例如，韩国卫生部建立了社会福利综合管理网络，分析来源于35个机构的385个不同类型的公共数据，综合管理中央政府和地方政府提供的福利和服务。食品、农业、森林与渔业部、公共行政与安全部（MOPAS）计划推出预防手足口病的综合系统，该系统依托于分析动物疾病相关的海外大数据、海关出入境记录、养殖场的跟踪调查、牲畜迁移和养殖工人活动等相关的大数据，实现预防目的。MOPAS的另一计划是推出灾害预报系统，该系统基于过去的灾害记录和自动实时的天气和地震预报进行预测。此外，韩国生物信息中心计划开发和运营国家DNA管理系统，该系统集成大量的DNA和病人医疗信息，为个人提供个性定制化的诊断和治疗。
新加坡
2004年，针对国家安全、传染病和其他国家层面关心的问题，新加坡政府与国家安全协作中心合作发布了风险评估和水平扫描计划（RAHS）。通过对大数据的采集和分析，积极把控威胁国家安全的相关问题，包括恐怖袭击、传染病传播和金融危机等。风险评估和水平扫描计划实验中心（REC）于2007年开放，它聚焦于风险评估和水平扫描计划相关政策制定的新技术工具，并通过大数据基础设施系统升级来维持和强化这一能力。为通过大数据研究、分析和应用创造价值，新加坡政府还推出了门户网站http:data.gov.sg，50多个政府部门的5000多个数据集通过此网站向公众开放。
日本
日本政府已启动多个利用既有大数据的计划。从2005到2011年，文部科学省与相关的大学和研究机构合作，设立了信息爆炸时代的新IT基础设施项目。从2011年起，政府优先解决地震、核电站灾难和受污染区域的重建和灾民安置，以及相关的社会和经济救济。文部科学省与国家科学基金会合作提高研究和利用大数据的技术，以预防、减轻和管理自然灾害。作为内务省的两个分支机构，信息和通信委员会和ICT战略委员会，把“大数据应用”作为日本面向2020年的关键使命。日本已经成立了一个大数据专家组。
澳大利亚
澳大利亚政府信息管理办公室（AGIMO）实施政府2.0计划，为公众获取政府数据提供了渠道，政府2.0计划推出了http:data.gov.au网站，通过这一网站，让公众便捷、高效地检索和获取政府数据。
三、政府大数据项目实施情况比较
回顾大数据应用领先国家的大数据项目情况，有三个显著特点：第一，现有的大多数大数据项目充其量只是数据量较大的应用。这些国家的政府大数据应用项目，大部分是基于共享存储的结构化数据库，并不使用实时、动态和非结构化或半结构化的数据。第二，公共部门致力于规范大型而复杂的数据集，政府期望大数据应用来提升政府服务民众的能力，以及解决国家面临的重大挑战问题，包括经济、医疗、就业、自然灾害和恐怖袭击等。然而，大部分大数据应用于居民（参与到公共事务）和商业部门，而不是政府部门。第三，政府设立的大部分大数据项目刚刚开始或计划未来实施，美国国家科学基金会和国家卫生机构的大数据计划就是如此。这意味着，大数据在政府部门的应用仍然处于发展的初级阶段，只有少数项目在运营（比如美国的RRP、新加坡的RAHS和英国的HSC）。
大数据的行业应用
一、电信行业：统一IT系统，实现精细化营销
在网络时代，基于数据的商业智能应用为运营商带来巨大价值。通过大数据挖掘和处理，可以改善用户体验，及时准确地进行业务推荐和客户关怀；优化网络质量，调整资源配置；助力市场决策，快速准确地确定公司管理和市场竞争策略；刺激业务创新，促进业务改善，提升企业价值。
某省级移动公司长期以来积累的各种系统建设和数据存储分散，难以实现资源和应用的共享，系统中的数据资源未能有效地进行商业利用，并且数据存储的传统架构难以满足业务发展要求。因此，希望借助大数据分析识别客户特征，细分客户，进而指导公司制定合适的营销策略从而保持、拓展现有的客户价值。
该移动公司调整两级架构，构建数据集中、平台统一的系统，实现系统的集中化和数据模型的标准化。通过分析网络日志进行网络优化和故障定位；通过业务、资源、财务等各类数据的综合分析，快速准确地确定公司管理和市场竞争策略。在此基础上，通过使用企业级大数据分析平台，结合客户资料数据、客户服务数据以及计费账务数据，生成客户分析模型，分析不同算法得到的分群结果，基于行业应用评估标准对已生成的模型进行评估，最后得到各客户群特征。通过与行业专家的合作，对移动客户业务方面提供了例如针对性差异化套餐设计、差异化客户服务以及设计促销活动等多方面建议。通过结合对客户满意度以及投诉率的分析，联系手机和分析市场信息，进一步明确客户需求，通过分析流量、流向变化，调整资源配置。
二、交通行业：推动智慧交通建设
大数据技术应用于智慧交通，可以融合海量数据，甚至于将气象监测设备产生的天气状况等数据相结合，对海量数据进行实时快速分析处理，提取有价值的信息并准确推送，提高交通的科学管理和组织服务水平，从而提高交通运输的效率、安全性、整体效益，切实解决出行难等迫在眉睫的交通问题。
某市随着智慧交通的不断建设，其产生的数据量暴增，该市希望能够建立一套稳定的大数据解决方案，来对采集的海量数据进行快速的处理和分析，在实时的道路和交通监控、车辆监管、公共安全监管的基础上，推动实现出行信息服务，同时能够支持交通流量管控计划，实现自适应式的交通控制，帮助交通管理决策。
针对交通行业数据的特征，该城市部署了基于大数据分析的交通管理系统，通过前端摄像头等设备收集数据，存储于区、市数据中心，进行存储、变形以及分析和挖掘。该方案采用多项创新技术来优化存储、查询，增强应用结果处理能力。通过跨地域式的Hbase技术，支持数据存储在不同地域的多个数据中心，互为备份，方便管理和使用，可用性高。在Hbase顶层加入SQL层对交通数据提供实时分析服务，提升数据的索引和存储性能。部署该系统后，该城市智慧应用交通系统为出行者提供实时准确的交通出行信息服务，并能收集路况信息绘制拥堵图，提供给交管部门快速处理突发事故，提供给大众平台供驾驶员参考。此外，对违法车辆追踪效率提升，降低恶性事故率。
三、金融行业：降低风险，提升客户价值
互联网的冲击迫使传统金融业改变经营思路。将大数据应用到金融行业，可以帮助银行和保险业对客户进行细分和行为描述，有效挽留有价值客户，提高市场活动效果，降低市场推广成本，可以客户进行交叉销售来增加收入，达到有效增加客户数量的目的，实现客户价值最大化和风险最小化。
某银行信用卡中心的年发卡量增长迅速，业务迅猛增长，带来业务数据的规模线性膨胀，数据存储、系统维护、数据的有效利用都面临巨大压力。该银行希望能够实现业务数据的高度集中和整合，支持多样化和复杂化数据的分析，提升信用卡中心的业务效率，建立可扩展、高性能的数据存储方案，通过从中提取数据，改进和推动有针对性的营销活动。
通过部署大数据解决方案，该银行实现了实时的商业智能，可以结合实时、历史数据进行全局分析，风险管理部门可以每天评估客户的行为，并决定对客户的信用额度在同一天进行调整，原有的内部系统、模型整体性能得到显著提高。根据数据智能分析向前台提供服务与反馈，支持实现以客户为中心的服务模式与体验，整合日益互联互通的各种服务渠道，建立持续从广泛的来源获取、量度、建模、处理、分析大容量多类型数据的功能，及时在互联互通的流程、服务、系统间共享数据，并将经过智能分析与加工的数据用于业务决策与支持。同时，该解决方案提供了统一的客户视图，更有针对性地进行营销。方案部署一年时间，该信用卡中心通过其大数据营销平台进行了1800余个营销活动，每个营销活动的平均配置时间从2周缩短到2～3天。信用卡不良贷款比率同比减少了0.76%，单位工时创收提升33%。四、医疗行业：强化医疗，卫生服务管理。
医疗卫生服务的信息化进程产生大量的数据，利用大数据技术对这些数据进行有效的存储、处理、查询和分析，可以辅助医生做出更科学和准确的判断，帮助医院为患者开发新的个性化服务，帮助研究机构突破医疗方法和药物革新，支持医疗行业管理部分优化医疗资源以及服务，提供支持。
某市2013年启动“健康城市”战略，希望建立以城市为单位的区域卫生数据中心，以居民健康卡为纽带，覆盖卫生信息化的主要业务区域。医疗健康行业涉及的数据包括居民健康档案、电子病历、公共卫生及综合管理等数据，这些数据目前分散地存储在不同的业务系统中。要求实现对于数据的有效存储、备份，快速检索以及高效的数据交换等需求，通过采集不同机构的业务系统数据，对各项医疗业务进行汇总统计以及构成、对比分析等，有效反映医疗管理机构或服务机构的运营管理情况，并有利于管理部门正确分析，以强化医疗卫生管理。
通过部署大数据应用平台，该市建设了一套信息共享化、决策智能化、管理科学化的医疗大数据应用系统。可以对治疗安全质量、医疗收入、患者负担、工疾病监控、在线监管等多个维度进行管理，有效地将医疗质量安全目标分解到监控指标，通过管控指标的设置与分发，进行质控与检测。通过利用区域平台采集的大量医疗和卫生数据，采用信息分析、挖掘、视图呈现等方式进行数据多维分析和挖掘，趋势预测分析和规划，为各级政府部门的科学决策提供信息支撑，为医疗科研和其他机构提供医疗卫生方面的数据共享服务。
大数据的个人应用
数据和个人数据正汇集到一起，构筑互联网上最令人惊叹的消费者产品。它们会预测你的需要，存储你的记忆——如果你允许它们这么做的话。
你会用你的个人数据换取对未来的一瞥吗？安德烈亚斯·韦恩德就这么做了。
韦恩德曾是亚马逊网站的首席科学官，现任斯坦福大学社会数据实验室主管。他说了一个他自己的故事。某天，他在天亮时分醒来，准备去机场搭乘从上海飞来的航班。这时，他刚开始使用的应用程序Google Now告诉他，这趟航班延误了。
这个软件会在用户的Gmail邮箱、日程表，以及地图和航班时刻表之类的数据库里四下查看。它在韦恩德的出行计划中发现了这个小差错，于是提醒他不需要赶时间。韦恩德登机时，飞机上的其他人都已经在机场枯坐了好几个小时，要等飞机的一个备用部件运抵。
韦恩德提供消费者行为方面的咨询，也就这些内容授课。他语速很快。对他来说，他经历的这类小插曲显示了“一个基于10倍数据的社会所具有的能力”。他说，如果上个世纪的标志性成就是对有形物质互动的观察能力（例如X光和雷达技术），那么本世纪的标志性能力将是通过人们与他人分享的个人数据来研究他们。
像Google Now这样所谓的预期系统是未来技术的例子之一。我们已经看到了大数据给广告这类可以一次测量数百万人的行为的业务所带来的转变。现在数据科学家们正在思考大数据如何能够帮助个人。及时通知一架联航班机的飞行情况可能是比较乏味的应用之一。但是，想象一下这样的数据模式：它能告诉你该找什么工作，或者在你感觉不适之前就提醒你可能感冒了。
计算机能够获得的个人数据正在极大膨胀，推动了这样的趋势。根据咨询公司IDC的统计，全世界创造的数字数据每两年增加一倍，而其中大部分是由消费者生成的：电影下载、IP语音电话、电子邮件、手机位置显示，等等，但其中仅有约0.5%的数据被分析过。
“存在着那么多数据可以拿来服务于个人的需要，而且是可负担的。”在伦敦大学学院研习社交网络的数据学家帕特里克·沃尔夫说，“统计学的优势来自于把人们汇集在一起，但这之后，锦上添花的事是把你的发现个人化”。
谷歌、Facebook、LinkedIn这些硅谷的数据精炼厂把合并大数据和个人数据作为一个目标已经有些日子了。这种合并创造出广告商可以使用的工具，也创造出尤其“让人上瘾”的产品。毕竟，有什么比你自己更有趣呢？Facebook告诉你谁可能是你的朋友。你给GoogleNow的数据越多，它会为你服务得更好。
暴露更多个人数据似乎无可避免。韦恩德说，随着装载了加速器、摄像头和GPS的智能手机的销量大增，“人们已经获得了收集和传送个人数据的装备”。而这可能只是刚开始，已经有一小批技术爱好者发起了“自我量化”运动：在自己身上装上传感器、计步器，甚至植入葡萄糖监测器。搜索引擎Wolfram Alpha的创造者斯蒂芬·沃尔弗拉姆参与一个大型的自我跟踪项目已有多年。他把自己的电子邮件、敲击电脑键盘，甚至身体运动的情况都记录归档。他对预测性应用程序感兴趣，称它们为“个人分析”。他认为，就像他的搜索引擎试图组织、整理全世界所有的事实，“在个人分析中，你需要做的是试着把某个人的人生方方面面的信息聚集起来”。
沃尔弗拉姆说，现有的障碍是一些最有用的数据没被捕捉到，至少不能被轻易获得。部分原因是技术上的：缺乏整合。但大量数据是由Facebook、苹果和Fitbit（一个流行的计步器的生产商）这类私人公司存储着。现在，个人数据的价值日益显见，争端正在酝酿中。加州议员们2015年提出了“知情权”法案，要求公司向个人公布他们储藏的“个人信息”，也就是每次追踪方位和IP地址的数字拷贝。
这项法案是要求隐私保护和问责的社会运动的一部分。与此同时，它也对数据提供者和数据运用者之间的经济关系做出了重新安排。
聚合中文网 阅读好时光 www.juhezwn.com
小提示:漏章、缺章、错字过多试试导航栏右上角的源