云顶娱乐 7

【云顶娱乐】大数据全攻略:10年老兵带你看尽MaxCompute大数据运算挑战与实践(上)

原标题:专访20年技术老兵云郎:16年峰回路,每一步都是更好的沉淀

12月7至9日,2017年中国大数据技术大会于在北京隆重举行。作为一项连续举办十年的新技术盛会,中国大数据技术大会已经成为具备国际影响力的技术精英深度分享会,以及大数据行业实践交流的平台。

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。产品地址:

摘要: 从技术研发到产品经理,3次峰回路转,这条路,他走了16年
一个懂技术的产品,更有底气和研发“叫板”
一个具备产品思维的技术,更明白未来的方向

送,送,送!阿里云服务器优惠卷

概况介绍:

1.
云顶娱乐 1

阿里云服务器幸运卷最后一波,下单记得选择幸运卷有惊喜有优惠哦!下完单记得抽奖哦,基本100%中,

以下为本套攻略的内容目录,查看每篇文章详细内容请点击链接进入学习:

从技术研发到产品经理

还有可能抽到iPad!阿里云服务器现在正在打折哦,最后,别忘记领取幸运卷(优惠券),领取幸运券

性能追求之路——MaxCompute2.0的前世今生

3次峰回路转

云顶娱乐 2

10年老兵带你看尽MaxCompute大数据运算挑战与实践

这条路,他走了16年

本届大会的主题为“大数据与智能”,就大数据时代社会各行业的智能化进程和行业实践展开了深入讨论。除主论坛外,主办方还精心推出数十场专题技术和行业论坛,涵盖了大数据分析与生态系统、数据库、大数据云服务、机器学习与深度学习等主题。近百位技术专家和数千名的大数据行业精英、技术专家及意见领袖出席大会。
【云顶娱乐】大数据全攻略:10年老兵带你看尽MaxCompute大数据运算挑战与实践(上)。据了解,来自阿里云的技术专家,分别在数据库技术、大数据分析等方面分享和介绍了最前沿的云端技术应用实践,受到广泛关注。

什么是阿里云数加大数据计算服务MaxCompute?

一个懂技术的产品

云顶娱乐 3

一分钟了解阿里云产品:大数据计算服务MaxCompute概述

更有底气和研发“叫板”

曹龙,花名封神,为阿里云分布式数据引擎研发专家,在大规模Hadoop、HBase、ODPS集群方面有多年的研发经验。
在“大数据云服务分论坛”上,曹龙做了题为“阿里云大规模结构化云存储HBase架构解析”的演讲。从云HBase的最佳实践、真实案例、部署模式、内核特性等方面,并结合真实案例,深入浅出地讲解了阿里云的HBase的产业化应用现状,并对下一阶段从“计算存储本地化”到“完全计算存储分离”的业界演进方向给出了展望。

MaxCompute技术架构及应用实践

一个具备产品思维的技术

云顶娱乐 4

不要犹豫 了解这些即可玩转阿里云MaxCompute

更明白未来的方向

徐冬,花名少杰,为阿里云大数据分析研发专家,是大数据分析技术和平台的核心研发成员。
在“大数据分析与生态系统分论坛”上,徐冬以“MaxCompute,复杂数据分布的查询优化实践”为题,分享了阿里集团的实践工作。演讲首先整体介绍了阿里云的MaxCompute计算平台,然后重点围绕复杂数据分布现存的问题展开,讲解了阿里云在该优化方向的工作路线图。
阿里云技术专家的精彩演讲,得到广泛好评,数据库技术、大数据分析等词成为会场热议话题。不少参加会议的专家和观众表示,演讲很有收获,从技术和应用的层面对云计算行业及产品有了更多更深的了解,为我国云计算取得的成绩感到十分自豪,也希望未来能够了解更多云计算行业的技术和发展。

MaxCompute产品详情页

张良模,花名云郎。1997年入行做通信软件研发;8年后转型IT行业,曾任Oracle(甲骨文)中国云计算首席架构师;2014年进入阿里云,做过2年产品培训,现为阿里巴巴大数据平台MaxCompute产品负责人。

阅读原文

2.0专题:

场主见过很多瞄准CTO岗位逆流而上的程序员,也认识很多挣扎后放弃转而创业的技术人,但是从技术转型成产品却不多。

如何申请试用MaxCompute 2.0

做产品,是不是技术人未来的一个可能?

MaxCompute 2.0 生态开放之路及最新发展

当产品懂技术,当技术具备了产品思维,那么不管是对于技术本身来说还是对于产品落地而言都会是一个强有力的推进。

MaxCompute 2.0—从ODPS到MaxCompute

场主认为,转型成功的云郎或许可以给到你一些启发。

MaxCompute2.0性能评测:更强大、更高效之上的更快速

云顶娱乐 5

MaxCompute上如何处理非结构化数据

以花名明志。

MaxCompute访问TableStore 数据

阿里素有武侠文化,但如今很多阿里人的花名却是杜撰,云郎亦然。

MaxComputeSql性能调优

初入阿里,张良模为花名而翻遍了各类武侠小说,能用的武侠名基本被“捷足先登”了,于是在翻到了易经、六十四卦后都未果时,他决定,干脆自己“杜撰”!

生态与兼容:MaxCompute大数据生态集成和开发工具

取什么?他想到了来阿里云的初衷:不是为了阿里云而选择云计算,而是因为云计算才来到了阿里云。

MaxCompute理解数据、运算和用户的大脑:基于代价的优化器

入行20年,前8年扎在通信行业,中间8年在甲骨文,2014年的时候,沉下心,给自己定了一个方向:5-10年,就专盯云计算领域。

Vectorized Execution Engine in MaxCompute 2.0简介

有了方向后,他自然而然地瞄上了这一领域的头部企业:
阿里云,所以,云成了他的花名第一字,至于郎呢,很简单,要做云计算的“爷们”!

MaxCompute与OSS非结构化数据读写互通

云郎,仗义侠士书生意气,但其实是一个技术人对自我挑战的野心。

评测:

如果说,云计算是风口,那么云郎绝不是一味追风的人。选择云计算,是顺势而为,但也是16年来3次转型,多次沉淀的结果。

2017大数据标准化论坛发布了第一批大数据系统测试结果,阿里云数加获得了大数据系统测试证书。

16年转型路

可靠、安全、易用,阿里云数加大数据平台首批通过国家大数据标准检测

拥抱变化:每一步都是更好的沉淀

7倍!阿里云的MaxCompute居然比自建Hadoop便宜这么多

97年从兰州交大毕业的云郎,已经算是技术圈的20年的“前辈”了。

MaxCompute把100TB数据的排序时间缩短到了377秒,打破了此前由微软、雅虎等公司保持的纪录,获得全球4项世界冠军。

刚毕业的他,怀揣着学校里掌握的计算机应用技术,前脚踏出校门,后脚就入了热门的通信设备软件行业。

持续创新和改进,为用户创造最大价值,阿里云数加MaxCompute获得C-Tech
Awards 2016年度“最具技术创新奖”

这应当是一段兵荒马乱,刀枪剑戟全上阵的日子。云郎辗转了一家民企、大唐高鸿、新太科技,担着研发工作,但实则要包揽开发、产品、项目多种事务。

MIT评出全球十大突破性技术 阿里巴巴连摘两项

“在还没有产品经理概念的年代就干着产品经理的活了”。

Gartner公布2017年全球云计算魔力象限:阿里云进入前四

2006年,趁着ICT的趋势,云郎和千万技术人一样,转投IT大潮。那年,他去了甲骨文
,度过了长久的8年。

开发套件专题:

甲骨文之于云郎是一个技术拐点,技术上从通信转向数据库、云计算架构(曾任甲骨文中国云计算首席架构师),业务上则由研发到接触架构咨询、解决方案咨询等工作。

DataIDE大数据开发套件官方教程

这是从幕后走到台前的重要一步。因为工作内容,云郎经常和客户打交道,听他们的问题、他们的诉求。像云郎所说,“这是往外又走了一步”

深入阿里云大数据IDE–MaxCompute Studio

技术圈的风向一直在变,能不能感知到,要不要顺风走,这都是技术人需要思考和关注的。

使用 MaxCompute Studio 开发大数据应用

2014年的时候,“我感觉国产软件正是要开始策马扬鞭,往前赶的一个阶段”,于是,云郎跟从了自己的判断并抱着主动挑战自己的心态,选择加入阿里云。

MaxCompute Studio提升UDF和MapReduce开发体验

成为产品经理,并不能说是计划之中,而是拥抱变化。

阿里云大学精品课程:深入理解阿里云数加大数据开发套件Data IDE-基本知识

拿着云架构师的offer进来,但最开始的2年,云郎做的却是产品培训。

大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute

事实上,更早之前的阿里还是IOE时代,到业务发展到一个庞大的体量后,深感不能再让每个BU之间各自作战,亟需构架一个数据中台,以解决数据统一问题。

【大数据开发套件调度配置实践】——调度任务各种周期配置和调度形态

2009年,开始成立阿里云,2010年,伴随阿里金融的贷款业务上线,ODPS(MaxCompute前身)正式投入生产运行,2013年5月,ODPS开始公测。

阿里云大数据开发套件 新手不得不面对的问题

当时内部一致认为把阿里云的培训做起来才是燃眉之急,于是,“尽管没有专业做过培训,但是去做只要这1个理由就够了。”

【大数据开发套件调度配置实践】——不同周期任务依赖配置

云郎“临阵挂帅”,也不辱使命。

数据库工程师快速上手MaxCompute进行ETL

拥抱变化,是阿里巴巴的六脉神剑之一。“就是不同时间点,需要不同人去做不同的事情,阶段性问题是需要急迫解决的。”

基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute

而这,也是很多技术人应该体会的:拥抱变化,这就是职场与技术圈。

“零基础”系列课程–MySQL 数据整库迁移到 MaxCompute

云郎进入阿里云时,ODPS已经上云近1年时间。后来的2年产品培训,2年产品经理生涯,让云郎见证着ODPS发展为MaxCompute1.0,又到如今的MaxCompute2.0。

ODPS Studio 2.6.2 版本发布了

内部经过了漫长的过程。

机器学习专题:

最终,阿里巴巴近99%的数据存储以及95%的计算能力都在这个平台上产生。去年双11当天,MaxCompute当日数据处理超过320PB

机器学习——让人工智能触手可及

产品的成长,缩影着云郎的变化。

大规模深度学习优化技术在PAI平台中的应用及实践

很多时候,技术人的“转型”是没有计划的,无非是一步步走来就成就了如今的自己。面对变化,学会拥抱、适应,于是水到渠成。

阿里云工程师用机器学习破解雾霾成因

贴地飞行

大规模数据的分布式机器学习平台

产品经理:最懂客户的人,技术是内功

ODPS—MPI机器学习编程框架

产品需要的是2种驱动力,来搞明白到底是要去解决什么问题。

图计算:

1个是来自技术的驱动力,1个是来自市场的驱动力,当这2个驱动力都具备了,向中间汇聚,融合后就会产生很好的一个结合力和一个更加精准的判断。

基于MaxCompute的图计算实践分享-图加载过程

对于云郎来说,前2个8年,就是从内到外,由外向内,逐步打通的过程。

基于MaxCompute的图计算实践分享-解析图加载过程

从技术看产品,从产品看技术,不同的视角、漫长的8+8的过程,才修炼了一个真正的产品经理所需的“内功”。

基于MaxCompute的图计算实践分享-Aggregator机制介绍

而对于一个技术团队来说,更应该“拒绝yy,要贴地飞行”。这也是云郎他们团队所信奉的。

基于MaxCompute的图计算实践分享-可配置参数列表

**贴地是务实,飞行则是要有眼光和速度。

基于MaxCompute的图计算实践分享-常见问题解决及优化指南

**

MapReduce:

可以发现,技术出身的云郎,作为产品经理的时候是“硬气”甚至有些“固执”的。他甚至会和开发互怼。但这正是他的操守所在。

MaxCompute MapReduce细节解读

在面试的时候,云郎会问这样的一个问题:你和研发团队发生过冲突吗?如何达到更好的融合?

客户案例:

他心里的答案是:“假如我提了一个需求,开发说:这个有点扯淡。那我就放弃自己的观点了?不可能!”

借助数加,原来需要2-3天的单维度数据处理时间,目前仅需3-6小时,研发周期更短,产品需求符合度更高。

“产品经理需要有独立的视角和坚持点,才能让产品走得更远”。

大数据打造你的变美频道——数加平台上小红唇的大数据实践

云郎始终认为,
冲突是必然的,经常性的,但都是基于相同的一个整体目标感。这些碰撞在帮助MaxCompute向上。

阿里云与国家天文台成立天文大数据联合研究中心

当然,产品经理自身的判断非常重要,有足够的成功案例证明自己,才能在开发和客户面前赢得credit
,偶尔可以冒进一些(果敢),但是不能有经常性的误判。

阿里云参与两大国家工程实验室获批,人工智能继续深入工业制造

对技术的了解是产品经理的底气所在。正因为具备了2种驱动力,才让产品经理的视角能够高过研发并且独立于研发,才能在碰撞中产生新的价值。

借助阿里云数加,小小的美甲行业被美甲帮玩出了天价

技术是发动机

美甲帮:玩转指甲上的大数据平台

技术人:产品的设计者

大数据打造你的变美频道——数加平台上小红唇的大数据实践

研发需要认识到:技术之于产品,好比发动机对于一辆好车来说,是必要不充分条件。

与阿里云整个生态体系共同成长,更快更好的为房地产行业客户提供高价值的服务

云顶娱乐 6

苏州协鑫与阿里云合作阶段性完成,良品率已提升1%

“可以把MaxCompute(产品)比作汽车,这样更加具象。产品关注的是整个车子,研发关注的可能就是发动机。”

禾连健康CDO沈金:谈云时代的大数据平台架构

雨天的时候,雨刷坏了,在这样的情况下,让客户感到体验不爽的是雨刷而非发动机。也就是说作为客户,看到的是整个产品,如果仅仅是发动机厉害,而不去关注其他的,是远远不够的。

小硅片与大数据的结合 ——协鑫光伏的新制造之路

那么,技术人如何提升产品思维?

墨迹天气-轻松处理每天2TB的日志数据,支撑运营团队进行大数据分析挖掘,随时洞察用户个性化需求

“很简单,请你去开一下这辆车”,体验。

阿里云数加让企业更专注于业务,助力东润环能高效利用大数据资源

“有人在开,你就坐到副驾驶上,看客户的体验和反馈是什么”,感受。

纯云大数据系统的构建与价值

MaxCompute作为阿里的离线大批量计算平台,目前也提供云上服务。由于企业之间计算模型的不一样、接口的差异,99.9%的问题都可以解决,但剩下的0.1%却是无法预测的。

阿里云数加助力东润环能开启新能源大数据时代

有个客户曾经向云郎反馈问题,一口气就提出了十几个。真的是这也不行那也不好,最后云郎记录下来的要求就有9个。

赋能平台、提效工具、场景化应用,地产大数据玩转有诀窍

“客户是没有需求的,他们只有要求。”作为产品经理,云郎拿着记下来的9个要求,抽丝剥茧,把要求转化成了可实现的共性的技术需求给到研发,上午整理出来,下午就和研发确定好了排期。

产品3周迭代一次,启信宝驾驭8000万企业征信的平台架构

一年前,MaxCompute的自定义函数仅为Java,云郎在对接客户的时候却发现,有一些中小型企业里面都是Python工程师,虽然会写UDF,但不免麻烦,于是他提出需求,增加了Python
UDF接口。

日交易笔百万级,Ping++的大数据平台架构

“没有产品是完美的,客户会教育我们,向客户学习”。作为和客户打交道的一线人员,云郎感受最深。

专访佰腾科技大数据团队,谈专利大数据领域的挑战与实践

只有创造机会和客户接触,才能了解产品在真实、具体场景中的应用。这些是产品经理的职责,但是也是技术人需要了解的内核。

佰腾科技的专利大数据的云上裂变之路

为什么要开发这个?

技术创业难?看汇合营销如何玩转大数据与机器学习

为什么先做这个需求?

数据让生意更简单,网聚宝创业团队利用数加快速打造核心业务竞争力,在激烈的市场竞争中弯道超车。

在真实的接触下,夸奖会让技术人得到鼓励和自豪感,反馈的不足的也让技术人更加清醒产品的改进方向。

网鱼网咖-利用数加快速搭建大数据平台,极致洞察,为客户带来从所未有的体验。

技术人不是“开发的机器”,而是产品的设计者。

年服务人次3300万+,网鱼网咖的大数据挑战及架构

这个人人都是产品经理的时代,不是要让研发变成产品专家,而是让技术人也要具备一定的产品思维和意识,让对外的视角成为技术人的补充。

友盟这家数据公司为什么能成为数百万企业的选择?

关于MaxCompute——云郎介绍

数加平台协助汇合营销快速行动,捕获转瞬即逝的商机。

  • 简单

全民直播牵手阿里云,技术升级触发直播新体验

MaxCompute所有功能以 All in One
Box方式提供服务,开箱即用。拥有集成化的操作界面,简单点击鼠标,就可以上传数据,分析数据并得到分析结果。

3天撸完一个团队半年的项目,单客户数据动辄几百万的行业也玩云?

  • 稳定、安全可靠

杭州治堵有“智慧” 阿里云数加激活城市大脑

不仅稳定支持阿里巴巴集团业务近十年,更是在客户中有口皆碑。同时,也是首家通过国内CSA-STAR和ISO-27001两项国际云安全认证的产品,提供金融级安全水准。

堵车预测神器诞生,浙江已用来治疗高速顽疾

  • 性价比高

小团队拥有大能量 三十个年轻人的创业故事

独创底层存储技术,采用列压缩存储格式,具备超强的5倍压缩能力。与企业自建专有云相比,计算存储更高效,降低20%-30%采购成本。

完成数据的打通-豌豆荚被阿里巴巴收购后的168天

  • 生态兼容

MaxCompute助力北斗大数据,千寻位置3秒实现厘米级定位

区别于Hadoop等开源产品,
MaxCompute作为全新分布式计算服务,所有功能以有机整体来提供。在生态兼容和支持能力方面为开发者提供了多种开发套件。

30秒在线卖出3000套房,对于云系统来说只是小意思!

“12、13年我做大数据的时候,大家还会认为大数据相关的业务是不紧迫的
。”现在,则是大好时候。

阿里怎么发工资?自研薪酬管理系统首次曝光

目前,市场上需求的计算主要有3种,离线批计算、交互式和流式计算,而从客户应用场景来看,这些计算之间的边界越来越模糊,这也是MaxCompute的下一个方向:融合更多的计算模式,让客户使用更简单。云郎透露:现在已经在进行友好客户的邀测……

《能源地图》:阿里云数加MaxCompute轻松处理8000亿条气象数据

云顶娱乐 7

阿里妈妈MaxCompute架构演进 – AON集群

谈及接下来的工作,云郎显得很是斗志昂扬,也充满了期待。峰回路转后,锐气不减当年。

数据生意背后的云计算

从1997年走来, 正好20年。

登月1号:支付宝演绎空中升级绝技

看似兜兜转转,但又仿佛一个圈,走回了刚开场的时候,做着和最初相仿的工作。初心没变,对于技术和产品的感受却更深切……

御膳房:构建大数据的美食厨房

作为产品经理的“张力”正是来自于20年的厚积薄发。像云郎所说,产品经理要做一个有心人。场主倒是认为,技术人也一样。

新手入门:

不管是准备转型产品经理的抑或是要继续在开发之路上前行的,场主希望通过云郎的故事,让你在工作中,多一份思考。

阿里云数加大数据计算服务MaxCompute学习路线图

云郎寄语

数据化运营并不难?关键是这些技术你get了么?!

人有人格,产品也有产品的格,产品的格是人做出来的。

MaxCompute 学习计划

做产品和技术的同学,也要多看社会学、美学、心理学等书籍,产品经理更懂得人性,做出的产品才会更符合人性。

MaxCompute 学习计划

作者:晋恒

MaxCompute 学习计划

​本文为云栖社区原创内容,未经允许不得转载。返回搜狐,查看更多

MaxCompute开发入门指南——数据上云篇

责任编辑:

MaxCompute开发入门指南——计量计费篇

MaxCompute开发入门指南——数据开发工具篇

计费购买:

计量计费说明

价格计算器-小工具下载

购买咨询专家群

技术峰会:

双管齐下,MaxCompute数据上云与生态

【直击深圳云栖大会大数据专场】陈鹏宇分享主题—数加:迈向数据智能之路

技术与架构,解析如何将大数据最快落地到实践

MaxCompute Next

MaxCompute 2.0 性能优化揭秘

演讲视频:

PDF下载:

演讲整理文章:

MaxCompute大数据语言的新发展

演讲视频:

PDF下载:

演讲整理文章:

大规模流式增量计算及其在阿里巴巴的应用

演讲视频:

PDF下载:

演讲整理文章:

PAI分布式机器学习平台计算模型演进之路

演讲视频:

PDF下载:

演讲整理文章:

MaxCompute数据上云与生态

演讲视频:

PDF下载:

演讲整理文章:

高可用大数据计算平台如何持续发布和演进

演讲视频:

PDF下载:

演讲整理文章:

专利大数据的云上裂变之路

演讲视频:

PDF下载:

演讲整理文章:

地产大数据趋势与应用实践

演讲视频:

PDF下载:

演讲整理文章:

用大数据打造你的变美频道

演讲视频:

PDF下载:

演讲整理文章:

云上大数据,零售新思维

演讲视频:

PDF下载:

演讲整理文章:

原文链接: