亚马逊AWS创新与实践专场:AWS的大数据、运维与架构实战

时间:2024-04-13 21:18:49

【****现场报道】5月13日-15日,由全球最大中文IT社区****主办的“2016中国云计算技术大会”(Cloud Computing Technology Conference 2016,简称CCTC 2016)在北京新云南皇冠假日酒店隆重举行。本次大会以“技术与应用、趋势与实践”为主题,聚焦最纯粹的技术干货分享,和最接地气的深度行业案例实践,汇聚国内外顶尖技术专家,共论最新的云计算技术实践与发展趋势。

亚马逊AWS创新与实践专场:AWS的大数据、运维与架构实战

亚马逊AWS创新与实践专场现场座无虚席

中国云计算技术大会第三天上午9:30,亚马逊AWS创新与实践专场在****资深策划梁颖的主持下正式开始。亚马逊AWS诞生十年以来,一方面,深远地改变了业界企业数据中心的建设方式,另一方面,在积累云计算开发、迁移、运维、安全等经验的同时,也始终致力于知识的传播分享,帮助业界同仁少走弯路。在CCTC群雄云集之下,亚马逊AWS从创新与实践出发,邀请了AWS首席云计算企业顾问、架构师团队高级主管和AWS云服务客户,结合真实的案例场景,从不同角度分享AWS是如何帮助企业业务创新、构建基于云平台的软件架构、大数据解决方案以及传统数据中心转型升级。

亚马逊AWS创新与实践专场:AWS的大数据、运维与架构实战

****资深策划 梁颖

亚马逊AWS首席云计算企业顾问张侠:企业利用云计算技术实现创新成长

亚马逊AWS首席云计算企业顾问张侠在现场以一个轻松有趣的吃早饭与从业调研开始了对于《企业利用云计算技术实现创新成长》的主题演讲。当IoT、VR/AR、大数据、机器学习、人工智能、语音识别等成为行业热词时,我们无法忽略它们均有一个共同的基础,即云计算,无论是通过各种应用、传感器收集数据,或进行数据分析再使用的机器学习、深度学习,以及拥有大规模平行计算能力的人工智能,都离不开云计算。也正因如此,亚马逊全球副总裁兼CTO Werner Vogels于早前便率先提出了“云计算已成为IT新常态”,将新应用部署在云里,或将已有应用迁移上云,已成为大型传统企业与新型互联网公司的常见选择。

亚马逊AWS创新与实践专场:AWS的大数据、运维与架构实战

亚马逊AWS首席云计算企业顾问 张侠

但是,当企业缺乏必要资源来满足关键业务的新需求,或缺乏敏捷性、安全性、合规性和可用性时,其竞争力便会被大打折扣。由此云计算应运而来,帮助企业减少昂贵的技术负债,能够像初创公司一样创新,集中资源于关键的业务领域。AWS也正是基于企业的诸多痛点推出了架构、平台、企业、应用市场、安全等全方位云服务,让企业能够按需*部署,比如大规模、并行、全托管的数据仓库服务Redshift,支持快速构建、大规模构建的NoSQL数据库DynamoDB,无需管理服务器、可持续扩展的Lambda,以及涵盖认证授权、SDK/API、规则引擎、应用等一系列的IoT平台等。“云计算给大家带来了很多*,你可以无束缚地构建云、最快地搭建企业应用,并在连接的世界里*地享受云的安全,这就是云的意义。”演讲的最后,张侠如是说道。

联想自开发系统主管工程师田原:传统数据中心在AWS上的延伸

联想自开发系统主管工程师田原在主题为《传统数据中心在AWS上的延伸》的演讲中,即从项目背景、具体分析、应用设计与运维的实际案例入手,对业务痛点以及可行性解决方案进行剖析。田原在现场分享了两个案例,其中之一是本地应用迁移至AWS。当整个IT系统终端客户分布在全球各地时,由于网络耗时成本大而造成场景系统反应时间慢问题该如何解决?解决方案是将系统搬迁至离用户物理位置比较近数据中心,这样对基础架构就产生了一定的诉求,首先当地必须要有一个物理机房,同时需保障其安全性和稳定性,并将机房所有资源作为内部设备进行管理。联想团队在经过调研后,决定在AWS建立VPC,并对系统集成逻辑进行修改,从而降低业务反应时间,提升整体的工作效率。

亚马逊AWS创新与实践专场:AWS的大数据、运维与架构实战

联想自开发系统主管工程师 田原

随后,田原还分享了其在AWS上的应用设计:

  1. 将全球region与本地数据中心互联,每个region中使用至少两个高可用区并行支持业务;
  2. 充分运用VPC、EC2、RDS、Elastic Cache等AWS功能;
  3. 在两个AZ中部署同样的资源划分,使应用在切换时不受网络架构的影响;
  4. 对存储上的数据进行快照方式提供备份;
  5. 跨地域,应用区分本地数据及共用数据,不同数据更新策略不同,应用可配置强制解析。

同时,田原与其团队还根据自身的运维需求,开发了一套自动化运维平台,对AWS上的资源进行管理,以程序逻辑代替手工操作,包含信息仓库、安装部署、应用上线、日志分析等。田原表示,目前其团队所有自开发应用基本已脱离手动运维方式,完全用脚本实现,大概自动安装1302次,自动部署每天保持60次以上的部署效果。

AWS中国解决方案架构师团队高级主管曹玮祺:基于云端的大数据实战

AWS中国解决方案架构师团队高级主管曹玮祺以涵盖了部署与管理、应用服务、数据库、分析、移动服务、计算与网络、存储与分发等各个方面的AWS全球基础架构开始了《基于云端的大数据实战》主题的演讲,从中可以看到每一层的各种软件定义服务。大数据从传统的批处理、流处理到机器学习,越来越多的工具和服务诞生供开发团队使用,但究竟该如何选择、如何使用却均是问题所在。曹玮祺表示,从数据收集、存储、处理/分析到消费,开发者可以使用正确的工具、Lambda架构思想、AWS托管服务等来简化大数据处理。但如何做?接下来,曹玮祺对此进行了一一详解。

亚马逊AWS创新与实践专场:AWS的大数据、运维与架构实战

AWS中国解决方案架构师团队高级主管 曹玮祺

以存储为例,针对不同的存储有不同的选择,比如就流数据来说,就可以直接使用高吞吐量的分布式消息系统Apache Kafka,企业团队可以很便捷地将Kafka部署到AC2上,并学习如何优化Kafka集群。第二个选择是可以用Amazon Kinesis Streams,开发者可以根据实际吞吐量随时进行调整,没有上限,在数据实时注入后系统会保存7天时间,并随时消费,消费时为每秒一千数据块。第三个是Amazon Kinesis Firehose,会将实时流直接汇聚存储在S3或Redshift数据仓库中。除此之外,还有管理NoSQL数据库的DynamoDB、消息队列管理服务Amazon SQS等。

在演讲中,曹玮祺还分享了几个AWS的客户案例的实践,从中可以一窥云为企业所带来的变化。比如Netflix从2008年开始,在技术上做了彻底变动,将其所有的运维从一个独立的数据中心迁移至AWS云平台上,目前已在全球范围内使用AWS服务,其所带来的业务裨益也是显著的,应用程序近乎零宕机,大规模的可扩展性和弹性。

亚马逊AWS首席云计算技术顾问费良宏:恰如其分的软件架构

“架构就像一本玄学,有很多精深的学问让我们去学习,但如何设计出一个优秀架构?至今仍没有最完美的答案,而我所理解的架构则是关于软件系统的基本结构和属性的定义,包括了组件、弹性、可扩展性、适应性、可靠性、可变性、可维护性、可扩展性、安全性,以及技术、标准等其它关键约束条件。”亚马逊AWS首席云计算技术顾问费良宏以软件架构的定义和演进开始了《恰如其分的软件架构——云计算中的Serverless架构》的主题演讲。

亚马逊AWS创新与实践专场:AWS的大数据、运维与架构实战

亚马逊AWS首席云计算技术顾问 费良宏

经典的架构表示方法有功能性/逻辑、代码/模块、部署/结构化、并行/进程/线程、物理/部署、用户行为/反馈等,但今天,过度设计、过分约束等导致曾经让我们引以为豪的架构设计思想已然过时,由此迎来了云计算/虚拟化、微服务/容器、Serverless架构的新演进。不过,企业开发团队究竟该如何恰当地选择VMs(EC2)、Containers(ECS)或Serverless(AWS Lambda)?费良宏在现场进行了解答并详解了构建Serverless最简单的方式,即“AWS Lambda + Amazon API Gateway”。AWS Lambda支持无需服务器运行代码,成本仅为消耗的运行时间,通过事件触发或由API调用PUT对象到Amazon S3 bucket,很容易实现实时的数据处理、构建可扩展的后端服务。Amazon API Gateway则是一种完全托管的服务,可以帮助开发者轻松创建、发布、维护、监控和保护任意规模的API。

更多精彩内容,请关注直播专题2016中国云计算技术大会(CCTC),新浪微博@****云计算,订阅****云计算官方微信公众号。