接下來便是本次參賽的最核心競爭力，殘差網絡在這個框架上的實現。

    “今年的IMAGENET挑戰賽其實沒有什么太多的新想法，大家基本上都是以復現阿里克斯的算法為主。”

    孟繁岐當然不準備和其他隊伍一樣，基于阿里克斯的框架去重新實現阿里克斯去年的參賽算法，早期的許多算法在參數量和計算量上都有很大的冗余。

    “谷歌的GoogleNet和牛津的VGGNet原本要明年才能研究出來，不過我今年參賽之后，這兩個AI歷史上的重要網絡恐怕就要胎死腹中了吧？”

    別說是現在了，截止到14年末，多余的設計仍舊大量存在與谷歌和牛津大學的算法當中。

    直到15年，那個男人以殘差網絡ResNet奪冠ImageNet-2015，鑄就了深度學習時代的AI模型的神格。

    殘差思想是孟繁岐此時此刻的最佳選擇，一方面它會成為深度學習時代的里程碑，因為它的核心思想，就是如何把深度網絡做得更加‘深’。

    另一方面，它的實現和結構簡潔，拋棄了大量人類看來很有道理和價值，但實際上其實用處不大的設計。

    將簡潔好用的結構反復重復，這也大大地降低了孟繁岐所需要的開發工程量。

    AlexNet是八層的結構，各自有一些獨立的設計，在此時，8層已經是革命性的深度網絡了。

    更深的網絡特別難以訓練，因此原本直到14年，谷歌和牛津才分別把這個深度推進到22層和19層。

    而ResNet的思想，徹底從根本上解決了網絡變深就沒法順利訓練的問題。它讓50，100，150，甚至1000層網絡的訓練成為可能。

    “從去年的8，到今年的100+層，甚至1000層也可以訓練。在2013年的視角來看，這一劑猛藥應該夠勁了。”

    不僅是深度上取得了開創性的突破，ResNet的性能也同樣驚人。它是第一個Top-5錯誤率低于人類能力的結構，單模型達到了4.6%左右。

    如果綜合幾個不同方式訓練的ResNet，平均他們的輸出再去預測的話，其TOP-5錯誤率甚至低至3.7%。

    “其實在IMAGENET上做得太準了反而是一件怪事。”考慮到后世的研究中，該數據集中的標簽其實有不小的比例是錯誤的，越貼近百分之百的準確率反而越有一些荒誕的感覺。

    ResNet的Res指residual，正經點說是殘差，說得明白一些是一種短路或者是跳躍鏈接。