淘宝内部系统大揭秘

本帖最后由 空谷幽兰 于 2015-12-7 13:56 编辑

      从你打开淘宝那一刻到看到订单成功页面时，在前端和后台就经历了很多个技术架构了。也就是说你每打开一个URL页面或者一个点击按钮，都会经过各种数据上传和反馈加后台系统分析，这里说两个比较典型的。

      假如你在商品搜索：搜索引擎技术+商品ID权重方案+恶意点击技术+前端展示模块👦‎🗝😡👍
      假如你在订单支付：交易引擎清算系统+支付宝智能实时风险监控系统+通信前置+银行网关
       重点谈谈二代稽查系统，先以技术概念方面说说这项系统与我们卖家非常相关的重要组成部分：
      当然还有其他架构组成，我们的主题是淘宝卖家运营，先了解相关我们的，这里先不探讨其他的。

       大家可能听见这些概念感觉一头雾水，非常乏味，不知所云。如果你是淘宝中小卖家，这些都与你息息相关，是你必须要知道的知识。下面我就以淘宝卖家的角度来解析这些技术原理和相应应对手段。概念就不讲了，想了解概念的大家可以使用下度娘。
👂🚠🍽⚛🪶‏
      CTU：智能实时风险监控系统，这个系统最初是由支付宝自主研发的智能实时风险监控系统，现在作安全系统CTU在各大消费购物网站的应用已经很普及了。由支付宝自主研发，并不断优化升级，是目前国内最先进的网上支付风险实时监控系统之一。

      该系统是支付宝风险管理的一个核心系统，能通过数据分析、数据挖掘进行规则自学习。自动更新完善风险监控策略。CTU系统基于用户行为来判断风险等级，集风险分析、预警、控制为一体。并配备风险稽核专家小组进行风险稽查及处置。这个系统可以实现7*24小时全天候风险监控，监控内容包括：账户风险监控、交易风险监控、反洗钱监控、反盗卡监控、反套现监控、商户违规监控。
👨🦱‌👠🪓🥲🦷
      其中与我们最相关的就是账户风险控制和违规控制了，大家一定会问，怎么去规避这个系统呢?账户风险是购买ID，不可空因素过多，透露一点不要去加载他的主要可执行控件EXE，前几天一个朋友说通过插件获取底层信息不现实，那我告诉你，通过EXE获取你的底层信息那时轻而易举，什么是EXE?哎呀这个懂得人自然懂了!

      如果你在大量炒作过程经历了这个CTU，数据那是绝对有问题的。有朋友会说不安装控件有办法支付宝付款吗?答案是有的，只加载DLL吧，怎么加载?要不要我直接告诉你怎么赚钱?

       pmcots系统：防恶意点击系统，其中包网络技术识别有：

✊🏠🥩🆗🦠‏

      1、IP防止作弊，这个大家都懂。不解释。

      2、Netclean防止作弊，当你访问过一个页面时，Netclean并会记录，当你下一次访问该页面时，并会提交一个相同COOKIES参数，可以判断重复的参数。这个就是为什么刷单要清理缓存的原因了。

      3、点击比率，这个大家也懂，重要是点击数据被收入了特征索引库。
👂🪐🍽🅾🪶‌
      4、ALEXA数据，这里用流量精灵刷流量的人大概深有体会。

      5、来源统计，我们在量子统计里面就能看到这些信息

✊🏠🥑🈷🐋‎      6、唯一参数，这个需要调用很多参数，例如大家知道的MAC，硬盘序列号，浏览器版本，系统UI等。有一些唯一参数在WEB上很难做到获取，不是技术实现部了，因为这样太危险了，HTTP的协议权限要求太高，会造成整个PC数据暴露在外，就是有些朋友说的浏览个淘宝网页就能把我的系统安装时间，浏览器版本号什么读取出来?其实不是，是调用了系统的数据，如前面的CTU，知道关联什么了吧?

       7、点击时间时间顺差，打开一个页面，二次点击是否为瞬间?因为每个页面都由印象转变为关注，再转变成点击行动，当你打开一个前端页面，一定时间参数内立即关闭，也可以判断为无效点击。没错，淘宝就是根据这个特征识别是否为机器人或者故意点击的。至于菜鸟卖家，怎么检验?这个我们可以才量子记录浏览深度和直通车过滤里面检验数据。也就是大家互刷为什么要深度浏览这样了。这个大家都做淘宝大家都懂。

       8、鼠标值，显示屏幕上的每个点都具有一个坐标值，当你在某个点按下鼠标时，都会有一个坐标值，当采用机器人点击时，为同一个鼠标值，可以只记一次点击。每次点击都会产生鼠标的KEYUP和KEYDOWN的行为，如果未能捕获到这个值，可能是模拟数据提交。又有菜鸟卖家会问?啥?机器人点淘宝，不会吧??为避免误解，科普一下，我们把系统或者软件也可以比喻成机器人。例如大家知道的刷信誉软件。
🖕🗼🍖♂🕊‌
      再跟大家补充一下这个系统我们运营过程遇到的各种触发条件(何为触发条件?就是你做了什么动作为条件，系统会检验什么信息)：磁盘底层信息(实名认证和安装数字证书和安装支付宝安全控件读取调用，能够读取的我们知道的有旺旺客户端，支付宝安全控件，数字证书等)，网卡mac，浏览器和系统UI(https数据传输调用，通俗地说就是我们打来淘宝界面就调用了进行比对了，就是我们知道的浏览器COOKIE，这个技术在WEB已经运用的很成熟了，大家无需多疑，呵呵)。

        特征索引数据库：收集到的信息进行整理、分类、索引以产生索引库。按照一定方式有序编排起来，以供检索的数据库。我们可以叫做此系统是不断收集和更新数据的学习型病毒积累系统，里面包含了大量数据，经过大量订单交易订单步骤轨迹数据的收集，分析比对，集合信息，就像我们日常配货一样先把货集合好，建立多个特征信息库。就是我们经常听到的数据纬度，里面有多少纬度就是商业机密，然后交给下面说的检索系统调用此数据库的数据纬度。我们每生成一个订单，就会生成各种数据进入这个系统供检索和分析。

👆🏫🍽⁉🦚‏      数据检索系统data retrieva：从索引数据库或存储中查找和选取所需数据的过程。淘宝有千千万万个订单，每一个订单号都需要经过这个系统分析比对，其中调用了哪些数据我们估计在运营或者炒作过程中也得出了一些经验，没错，罪魁祸首就是他读取了你能想到的一些信息，我在这里举几个例子开发模型，大家可以举一反三：

       1、淘宝静默转化数据纬度比对旺旺在线聊天：如系统设定无聊天为w，手机旺旺为WW，旺信为WWW，网页旺旺为WWWW检索系统则调用特征索引数据库数据分析交易数据的其中一个纬度比对：

        例女装类目交易订单中此纬度正常百分比【特征索引数据库数据】：
🤌🛩🦀©🐠‎WW>15%
www>0.15%
wwww>2%
淘宝商品ID123456交易订单1、2、3、4、5-100个订单【我们知道销量数100个订单中】ww<15%纬度异常，判定降权。反之亦然。

🖐⛄🍌📵🪶‎

      2、购买旺旺信誉度纬度比对设置购买旺旺信誉度0=w 1心=ww 2心=www。。。。如此类推纬度判定指标为订单中此纬度正常百分比【特征索引数据库数据】：
w<60%
ww<40%
www<30
淘宝商品ID123456交易订单1、2、3、4、5-100个订单【我们知道销量数100个订单中】ww>60%纬度异常，判定降权。反之亦然。
👃🗼🧊➡🐕‌
       以上纬度为虚拟数据，别对号入座，是为举例说明，大家经过各种降权苦逼后应该都知道很多纬度，这个我们可以后期在探讨再分享。

      每个数据比对后都会进入最终判定，大家都应该知道的是，如单一纬度异常，就是判定疑似虚假交易，可申诉，申诉后进入人工判定(淘宝为了节省人力，你不申诉就不人工了，默认系统判定)。如果系统检测多个纬度异常，就是虚假交易，节省人力资源，自动关闭申诉接口。就是大家听到客服说的不允许申诉了。如果你恶意申诉，后果严重哦。

🧠🚘🍪📳🐅‏

      如果你看不懂上面的，这里通俗地说我们知道的后台计算流程，用通俗语言大概可以这样理解：

      判断点击过滤(pmcots) >判断交易(ctu) >检索订单数据(数据检索)>结果判定

再说几个日常比较典型的，支付宝账户关联，支付宝系统在安全方面银行交易系统利用SSH框架做的https+数字证书，这个之记录硬件和加密数据传输，不存在账户关联，至少系统不会去检测，(进入人工判定不知道)。比如说刷单返款，用其他支付宝返款之类的云云，无非也是自我安慰而已。
🙌🌡🌶☪🐥‎
      再说一下物流单号,淘宝其实有两个物流公司接口，一个是客户端物流显示系统，就是我们看到的前端物流信息，如果进入人工判定，还有一个是物流公司开放给淘宝的一个内部API接口，此物流信息和物流网点的内部系统显示的物流信息一致，比客户端的更及时，更详细。这个系统虽然把物流系统作了一个纬度判定，但是因为在技术上的原因，并不能以匹配物流指标的字符串是否相符合为系统自检测判定指标，因为访问量大，需要匹配的字符串太多，数据运算压力大。但是重复的物流单号和时间匹配是有存在的，淘宝今年更新了前端拦截技术，把重复使用过的物流单号拦截在前端提示，可是由于数据库的更新和传输延迟，有一定比例的拦截失败，到了物流判定，一般是人工检测是否恶意使用虚假单号了。

      关于申诉，订单申诉的都是随机抽取(可能其中只有一个订单进入了判定异常)，大家不要纠结为什么是这5个。

🧑‍🌾‏👒📱👻✍

以下给大家分析一些降权案例：

       1、为什么很多人说刷一个新单品，很快就降权了，而同样方式刷的一个热卖单品，却不会降权。
      原因：这就是热卖单品ID没有超过判定纬度的警戒值，没达到百分比，所以没进入判定。而新品交易订单量小，流量转化比一下子飙升，异常百分比一下就体现出来了。系统如果判定成立，是宁可杀错一千，不放一个。系统没人情的哦，因此，有些导致错误判定就有了申诉接口，也因此导致大家申诉时间都要去到3天了，因为误判定有点多，有意无意申诉的有点多，而处理的人手不够多的原因了。

👁🦼🥣🆚🐂‎      2、为什么QQ群YY群刷，用了空包还是降权。
      原因：今年更新的新技术因为对方登录的ID前面导致的多订单降权无法申诉(多原因)，因此硬件信息被系统提名为重点检测，在搜索引擎中，有几个概念叫做广度优先搜索，深度优先搜索，先进后出搜索，其实判定索引就更新了这个技术，因此这个PC和此旺旺小号ID生成的任意信息(包括COOKIE，客户端和控件获取的其他信息)都将优先进入判定分析，系统自动把此订单维度指标上升百分比(重点分析)。因此我们经常运用各种小号检测网站，检测小号交易数量可以有效避免有没有进入深度度优先判定策略了。

      3、为什么正常交易的会被降权？
      原因：还是系统分析后交易轨迹纬度异常，比如先低价卖再高价，这个就是此系统新的一个检测纬度(淘宝注意到最近太多人玩9.9包邮不发货了提升权重了)，比方价格浮动> 70%交易数据落差比为3，交易转化数据短时持续提升等。。。。。判定为异常，进入人工申诉接口。其他，大家去猜测，不一一说明，大家都懂。你能想到的轨迹也许他就进入了数据检索。
👏🏫🥛⚛🦚‌