大数据时代需要具备哪些技能

APX_Yi

大数据更多是观念和数据分析方法学的转变，在传统的数据分析上分析过程是因果导向的，比如你看到报表里一个campaign epc不够高就会看campaign转化率或者广告ctr，从而因果导向进行抽样数据分析。而大数据的做法是通过把极可能多的，全面的数据仍给机器学习算法，让算法来发觉数据之间的规律，比如出现a的情况下会出现x，或者出现a,b的情况下出现y等等。

: b1 ]7 d% @. T很多人不明白为什么要用到大数据或者什么样的情况下用到大数据，而讨论大数据往往是因为概念火而讨论。其实大数据的应用更多是将各种商务流程智能化，自动化。智能化自动化的前提是你有一套管用的，传统的方法来进行数据分析优化，然后通过控制建模时的training data来训练好你的模型，当你有了模型之后碰到各种情况只需要把情况丢给模型模型就能帮你做自动决策。
- X7 V2 ~" O* f& T2 E5 d$ ~2 o3 e
理论回归实际做个假设：如果你是一个aff,现在一天通过手动数据优化media buy可以测试5个campaign，盈利2个campaign。采用机器学习后可以做到自动化测试和选择无数个campaign（在你测试预算允许的情况下），这样相当于你找了无数个media buyer，并且每个media buyer都培训到了你的水平   这就是为什么大家看好大数据的原因，最近在美国上市的大数据公司像Rocket Fuel市值都达到了20亿美金 http://www.marketwatch.com/investing/stock/fuel

河小马

APX_Yi 发表于 2013-9-30 03:26
! X5 h& p0 ^1 \7 s' Z+ d大数据更多是观念和数据分析方法学的转变，在传统的数据分析上分析过程是因果导向的，比如你看到报表里一个 ...

adaptive optimization，这个都是都是很多 system 最基本的吧

APX_Yi

河小马 发表于 2013-9-30 07:02
adaptive optimization，这个都是都是很多 system 最基本的吧

. H0 \6 i9 }$ ?6 E"adaptive optimization" 或者说continuous learning只说明了你在不断地输入新数据进行建模或者对你的模型进行tuning。 但是Big data不一样的地方在于3V: volume (数据量), velocity (进出数据速度), variety (各种数据类型和来源)， 真正要满足3V的条件往往对系统和架构的要求都是非常高的，高到传统关系型数据库(Mysql)无法处理。一般情况下整个架构搭建牵涉到很多因素，包括高并发处理能力(high concurrency support)，分布式计算(distributed computing)，对数据库的并列请求(parallel querying，比如用map reduce技术)，高可用排除单点故障(high availability without SPoF) 等等，一个好的系统和架构不是一般公司能搞的出来的。。。
, a; [/ r5 Y, p. g; }3 [3 i

freelong

这个太高深，我还是看看

河小马

APX_Yi 发表于 2013-9-30 07:35
"adaptive optimization" 或者说continuous learning只说明了你在不断地输入新数据进行建模或者对你的模 ...

7 j$ v4 [7 p% [) E& y9 ~所谓的3V 其实我认为一只都是存在的。大部分都系统都能满足这些基本条件。其实我想说的是“大数据”其实一直都是存在的，被人换了说法就火了起来都
$ Y( {# @6 p3 p* o  e
9 Q2 J* }# l+ Y8 S1 G- m好的系统架构师是可遇而不可求的

james

APX_Yi 发表于 2013-9-30 03:26
+ `. P5 ]6 \0 Y" S) J大数据更多是观念和数据分析方法学的转变，在传统的数据分析上分析过程是因果导向的，比如你看到报表里一个 ...

还是不太明白，不过看了你的描述，大数据对aff不是一件好事，少数的大公司可以“通过机器学习后可以做到自动化测试和选择无数个campaign，这样相当于你找了无数个media buyer，并且每个media buyer都培训到了你的水平”

( f: T. `2 H& x  V* s# p如果是这样的话，aff的生存空间会被极大的挤压，非公司化的个人aff将没有存在的价值了，请问是不是这样？

wilfish

恩充分利用数据进行挖掘背后的规律

wilfish

cfans1314 发表于 2013-8-23 11:22
; j- e- N) ^/ P! _' ~8 BRTB —— Real Time Bidding 的简称，就是实时竞价。跟传统购买形式相比，RTB是在每一个广告展示曝光的基础 ...

4 \, M" ^6 Y2 s! S; y$ _5 ~这个解释比楼主更准确

wilfish

小炸 发表于 2013-9-29 01:26
/ ?2 R( K) u4 m. ]+ LReal Time Bid 这是一种竞价形式啊，exchange不都是real time bid,也不存在精准不精准
' i7 B, L/ K9 j$ V  M
1 s; N7 d) H6 R0 X5 n, M 你说的RTB应该 ...

国内好像规范不健全，很多IT公司都是在打擦边球，收集用户的cookie和使用信息

helloo25

yahoo 发表于 2013-8-22 09:25
, R$ {3 C( E! {: x$ X( j' u我也觉得你想多了，RTB并不比CPS高级，CPS已经是顶级了，RTB只是为CPS服务。RTB并没多高深，你说别人都买了 ...

3 l$ y3 H  E4 {/ k% F我觉得你的想法少了一点,RTM是要结合DSP,DMP等平台的,DMP数据管理平台. 换句话来这么说,当你一查网络营销,或者你买了一个S5代理,那么会按照数据判断出来,你接下来还应该要买什么,然后就给你推荐什么.
比如你买了一个鸟笼,那接下来你看到的广告可能是各种鸟.
* s' V7 d( R+ z; f7 I你买了感冒药,那么这种感冒药可能有副作用.于是给你搭配其他药以抑制副作用.