diff --git "a/01.\346\225\260\347\220\206\347\273\237\350\256\241/README.md" "b/01~\346\225\260\347\220\206\347\273\237\350\256\241/README.md" similarity index 100% rename from "01.\346\225\260\347\220\206\347\273\237\350\256\241/README.md" rename to "01~\346\225\260\347\220\206\347\273\237\350\256\241/README.md" diff --git "a/02.\346\234\272\345\231\250\345\255\246\344\271\240/README.md" "b/02~\346\234\272\345\231\250\345\255\246\344\271\240/README.md" similarity index 100% rename from "02.\346\234\272\345\231\250\345\255\246\344\271\240/README.md" rename to "02~\346\234\272\345\231\250\345\255\246\344\271\240/README.md" diff --git "a/03.\346\267\261\345\272\246\345\255\246\344\271\240/README.md" "b/03~\346\267\261\345\272\246\345\255\246\344\271\240/README.md" similarity index 100% rename from "03.\346\267\261\345\272\246\345\255\246\344\271\240/README.md" rename to "03~\346\267\261\345\272\246\345\255\246\344\271\240/README.md" diff --git "a/04.\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/README.md" "b/04~\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/README.md" similarity index 100% rename from "04.\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/README.md" rename to "04~\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/README.md" diff --git "a/06.\350\241\214\344\270\232\345\272\224\347\224\250/README.md" "b/06~\350\241\214\344\270\232\345\272\224\347\224\250/README.md" similarity index 100% rename from "06.\350\241\214\344\270\232\345\272\224\347\224\250/README.md" rename to "06~\350\241\214\344\270\232\345\272\224\347\224\250/README.md" diff --git "a/06.\350\241\214\344\270\232\345\272\224\347\224\250/RPA/README.md" "b/06~\350\241\214\344\270\232\345\272\224\347\224\250/RPA/README.md" similarity index 100% rename from "06.\350\241\214\344\270\232\345\272\224\347\224\250/RPA/README.md" rename to "06~\350\241\214\344\270\232\345\272\224\347\224\250/RPA/README.md" diff --git "a/06.\350\241\214\344\270\232\345\272\224\347\224\250/\346\216\250\350\215\220\347\263\273\347\273\237/README.md" "b/06~\350\241\214\344\270\232\345\272\224\347\224\250/\346\216\250\350\215\220\347\263\273\347\273\237/README.md" similarity index 100% rename from "06.\350\241\214\344\270\232\345\272\224\347\224\250/\346\216\250\350\215\220\347\263\273\347\273\237/README.md" rename to "06~\350\241\214\344\270\232\345\272\224\347\224\250/\346\216\250\350\215\220\347\263\273\347\273\237/README.md" diff --git "a/06.\350\241\214\344\270\232\345\272\224\347\224\250/\346\227\240\344\272\272\351\251\276\351\251\266/\346\246\202\350\277\260.md" "b/06~\350\241\214\344\270\232\345\272\224\347\224\250/\346\227\240\344\272\272\351\251\276\351\251\266/\346\246\202\350\277\260.md" similarity index 100% rename from "06.\350\241\214\344\270\232\345\272\224\347\224\250/\346\227\240\344\272\272\351\251\276\351\251\266/\346\246\202\350\277\260.md" rename to "06~\350\241\214\344\270\232\345\272\224\347\224\250/\346\227\240\344\272\272\351\251\276\351\251\266/\346\246\202\350\277\260.md" diff --git "a/06.\350\241\214\344\270\232\345\272\224\347\224\250/\347\244\276\344\274\232\347\275\221\347\273\234/README.md" "b/06~\350\241\214\344\270\232\345\272\224\347\224\250/\347\244\276\344\274\232\347\275\221\347\273\234/README.md" similarity index 100% rename from "06.\350\241\214\344\270\232\345\272\224\347\224\250/\347\244\276\344\274\232\347\275\221\347\273\234/README.md" rename to "06~\350\241\214\344\270\232\345\272\224\347\224\250/\347\244\276\344\274\232\347\275\221\347\273\234/README.md" diff --git "a/06.\350\241\214\344\270\232\345\272\224\347\224\250/\347\244\276\344\274\232\347\275\221\347\273\234/\347\244\276\345\233\242\345\217\221\347\216\260/README.md" "b/06~\350\241\214\344\270\232\345\272\224\347\224\250/\347\244\276\344\274\232\347\275\221\347\273\234/\347\244\276\345\233\242\345\217\221\347\216\260/README.md" similarity index 100% rename from "06.\350\241\214\344\270\232\345\272\224\347\224\250/\347\244\276\344\274\232\347\275\221\347\273\234/\347\244\276\345\233\242\345\217\221\347\216\260/README.md" rename to "06~\350\241\214\344\270\232\345\272\224\347\224\250/\347\244\276\344\274\232\347\275\221\347\273\234/\347\244\276\345\233\242\345\217\221\347\216\260/README.md" diff --git "a/99~\345\217\202\350\200\203\350\265\204\346\226\231/AI \347\240\224\346\212\245/2021~\344\270\255\351\207\221~AI \345\215\201\345\271\264\345\261\225\346\234\233/01~\345\272\225\345\261\202\346\250\241\346\213\237\344\272\272\350\204\221\357\274\214\347\256\227\345\212\233\345\206\263\345\256\232\344\270\212\351\231\220.md" "b/99~\345\217\202\350\200\203\350\265\204\346\226\231/AI \347\240\224\346\212\245/2021~\344\270\255\351\207\221~AI \345\215\201\345\271\264\345\261\225\346\234\233/01~\345\272\225\345\261\202\346\250\241\346\213\237\344\272\272\350\204\221\357\274\214\347\256\227\345\212\233\345\206\263\345\256\232\344\270\212\351\231\220.md" new file mode 100644 index 0000000..63d6194 --- /dev/null +++ "b/99~\345\217\202\350\200\203\350\265\204\346\226\231/AI \347\240\224\346\212\245/2021~\344\270\255\351\207\221~AI \345\215\201\345\271\264\345\261\225\346\234\233/01~\345\272\225\345\261\202\346\250\241\346\213\237\344\272\272\350\204\221\357\274\214\347\256\227\345\212\233\345\206\263\345\256\232\344\270\212\351\231\220.md" @@ -0,0 +1,29 @@ +> [原文地址](https://research.cicc.com/frontend/recommend/detail?id=2176) + +# AI 十年展望（一）：底层模拟人脑，算力决定上限 + +AI 技术中长期对社会的潜在影响深远，影响几乎所有行业。本文介绍了以深度学习为代表的人工智能理论的基本原理，并指出了由于目前的人工智能具备坚实的数学基础、神经学基础，未来随着底层算力的不断增长，人工智能影响边界将会不断扩宽，行业的发展潜力目前仍处在被市场低估状态。 + +# 摘要 + +AI 能够从底层模拟人脑主要工作机制，基于其理论的模型能够达到的智能水平上限较高。人的神经元近似一个基于阈值的二进制的逻辑门，与数字电路 0/1 的机制相似，深度学习能从底层上模拟人脑神经元工作机制，只要网络层数、神经元个数足够多， AI 将在某些维度接近甚至超过人脑智能。人工神经网络 4 大理论支柱为“阈值逻辑”、“Hebb 学习率”、“梯度下降”、“反向传播”，前 2 个理论解决了单个神经元层面的建模问题，后 2 个理论则解决了多层神经网络训练问题。2006 年 Hinton 首次实现了 5 层神经网络的训练，之后行业迎来爆发式发展，不断验证了该技术的潜力。 + +深度学习具备坚实的数学理论基础支撑。人脑绝大多数活动本质上都是广义计算问题，因此人脑其实是一个复杂的函数，深度学习就是去找到这个函数，万能近似定理则从数学上证明了一定条件下深度神经网络模型能够模拟任意的函数。 + +用于深度学习的算力以 6 年 30 万倍的速度增加，算力是核心瓶颈也是未来提升的关键。从进化角度看，人的智能是一个随着神经元数量提升，从量变到质变的过程，这个量变过程对应人工智能中模型所用算力的提升过程。目前能够实现的 AI 模型中不论从神经元个数还是连接数量看，与真实人类还有较大的差距，未来随着现有芯片技术的不断推进，和突破冯诺依曼架构的类脑芯片等新技术的发展，算力的持续突破将会不断释放人工智能技术的潜力。 + +# 全文概要 + +1、为什么说深度学习技术的潜在上限高？ + +因为深度学习从底层模拟人脑神经元的主要工作机制。智能很大程度是广义计算问题，人工神经网络尽管无法做到完全“复制”人脑，但已经能较好地模拟其主要底层机制，因为神经元可近似为基于阈值的二进制单元，类似数字电路 0/1 机制。 + +从生物进化的角度看，人的智能是量变到质变的过程。在完成单个神经元主要工作机制模型后，只要网络层数、神经元个数足够多， AI 将在某些维度接近甚至超过人脑智能。 + +此外，从数学角度，万能近似定理论证了深度学习有坚实的数学基础。该定理证明了深度学习数学模型能够以任意精度逼近任意的函数，而人的智能很大程度即广义计算问题，进而深度学习模型能够模拟人脑的绝大部分活动，具备很高的上限。 + +![人工神经网络首先从单个神经元维度模拟的人脑主要机制](https://assets.ng-tech.icu/item/20240110184658.png) + +2、为什么直到近几年深度学习才爆发？ + +因为早期都是浅层神经网络，直到 2006 年才首次实现 5 层隐层网络的训练。2006 年 Hinton 首次把 ANN 提升到了 5 层，解决了深度神经网络的训练问题；2012 年 Hinton 在 ImageNet 挑战赛中引进深度学习算法，在随后几年内，深度学习成功地大幅降低了图片识别错误率，随后行业迎来爆发式发展，深度学习的商用进程得以加速。 diff --git "a/99~\345\217\202\350\200\203\350\265\204\346\226\231/AI \347\240\224\346\212\245/2021~\344\270\255\351\207\221~AI \345\215\201\345\271\264\345\261\225\346\234\233/02~\350\276\271\351\231\205\346\210\220\346\234\254\345\206\263\345\256\232\347\253\236\344\272\211\345\212\233\357\274\214\347\256\227\346\263\225\351\276\231\345\244\264\344\270\273\345\257\274\346\240\274\345\261\200\344\274\230\345\214\226.md" "b/99~\345\217\202\350\200\203\350\265\204\346\226\231/AI \347\240\224\346\212\245/2021~\344\270\255\351\207\221~AI \345\215\201\345\271\264\345\261\225\346\234\233/02~\350\276\271\351\231\205\346\210\220\346\234\254\345\206\263\345\256\232\347\253\236\344\272\211\345\212\233\357\274\214\347\256\227\346\263\225\351\276\231\345\244\264\344\270\273\345\257\274\346\240\274\345\261\200\344\274\230\345\214\226.md" new file mode 100644 index 0000000..e69de29 diff --git "a/99~\345\217\202\350\200\203\350\265\204\346\226\231/AI \347\240\224\346\212\245/2021~\344\270\255\351\207\221~AI \345\215\201\345\271\264\345\261\225\346\234\233/03~AI \350\247\206\350\247\222\344\270\213\347\232\204\350\207\252\345\212\250\351\251\276\351\251\266\350\241\214\344\270\232\345\205\250\350\247\243\346\236\220.md" "b/99~\345\217\202\350\200\203\350\265\204\346\226\231/AI \347\240\224\346\212\245/2021~\344\270\255\351\207\221~AI \345\215\201\345\271\264\345\261\225\346\234\233/03~AI \350\247\206\350\247\222\344\270\213\347\232\204\350\207\252\345\212\250\351\251\276\351\251\266\350\241\214\344\270\232\345\205\250\350\247\243\346\236\220.md" new file mode 100644 index 0000000..e69de29 diff --git "a/99~\345\217\202\350\200\203\350\265\204\346\226\231/AI \347\240\224\346\212\245/2021~\344\270\255\351\207\221~AI \345\215\201\345\271\264\345\261\225\346\234\233/README.md" "b/99~\345\217\202\350\200\203\350\265\204\346\226\231/AI \347\240\224\346\212\245/2021~\344\270\255\351\207\221~AI \345\215\201\345\271\264\345\261\225\346\234\233/README.md" new file mode 100644 index 0000000..51a802d --- /dev/null +++ "b/99~\345\217\202\350\200\203\350\265\204\346\226\231/AI \347\240\224\346\212\245/2021~\344\270\255\351\207\221~AI \345\215\201\345\271\264\345\261\225\346\234\233/README.md" @@ -0,0 +1 @@ +> [原文地址](https://mp.weixin.qq.com/s/27MRrC6qlDdbh1cIwDOgrg) diff --git a/_sidebar.md b/_sidebar.md index bff9794..a2932eb 100644 --- a/_sidebar.md +++ b/_sidebar.md @@ -1,38 +1,43 @@ - - [1 01.数理统计](/01.数理统计/README.md) + - [1 01~数理统计](/01~数理统计/README.md) - - [2 02.机器学习](/02.机器学习/README.md) + - [2 02~机器学习](/02~机器学习/README.md) - - [3 03.深度学习](/03.深度学习/README.md) + - [3 03~深度学习](/03~深度学习/README.md) - - [4 04.自然语言处理](/04.自然语言处理/README.md) + - [4 04~自然语言处理](/04~自然语言处理/README.md) - [5 05~工具与工程化](/05~工具与工程化/README.md) - - [6 06.行业应用 [4]](/06.行业应用/README.md) - - [6.1 RPA](/06.行业应用/RPA/README.md) + - [6 06~行业应用 [4]](/06~行业应用/README.md) + - [6.1 RPA](/06~行业应用/RPA/README.md) - - [6.2 推荐系统](/06.行业应用/推荐系统/README.md) + - [6.2 推荐系统](/06~行业应用/推荐系统/README.md) - 6.3 无人驾驶 [1] - - [6.3.1 概述](/06.行业应用/无人驾驶/概述.md) - - [6.4 社会网络 [1]](/06.行业应用/社会网络/README.md) - - [6.4.1 社团发现](/06.行业应用/社会网络/社团发现/README.md) + - [6.3.1 概述](/06~行业应用/无人驾驶/概述.md) + - [6.4 社会网络 [1]](/06~行业应用/社会网络/README.md) + - [6.4.1 社团发现](/06~行业应用/社会网络/社团发现/README.md) - - 7 99~参考资料 [5] - - [7.1 DeepLearning Specialization [1]](/99~参考资料/DeepLearning-Specialization/README.md) - - 7.1.1 NeuralNetworks And DeepLearning [1] - - 7.1.1.1 Week1 [6] - - [7.1.1.1.1 二元分类与 Logistic 回归](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/二元分类与%20Logistic%20回归.md) - - [7.1.1.1.2 基于 Logistic 回归的图像分类实践](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/基于%20Logistic%20回归的图像分类实践.md) - - [7.1.1.1.3 基于 Numpy 的 Python 向量操作](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/基于%20Numpy%20的%20Python%20向量操作.md) - - [7.1.1.1.4 梯度下降与向量化操作](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/梯度下降与向量化操作.md) - - [7.1.1.1.5 浅层神经网络](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/浅层神经网络.md) - - [7.1.1.1.6 神经网络、有监督学习与深度学习](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/神经网络、有监督学习与深度学习.md) - - [7.2 FastAI](/99~参考资料/FastAI/README.md) + - 7 99~参考资料 [6] + - 7.1 AI 研报 [1] + - [7.1.1 2021~中金~AI 十年展望 [3]](/99~参考资料/AI%20研报/2021~中金~AI%20十年展望/README.md) + - [7.1.1.1 01~底层模拟人脑，算力决定上限](/99~参考资料/AI%20研报/2021~中金~AI%20十年展望/01~底层模拟人脑，算力决定上限.md) + - [7.1.1.2 02~边际成本决定竞争力，算法龙头主导格局优化](/99~参考资料/AI%20研报/2021~中金~AI%20十年展望/02~边际成本决定竞争力，算法龙头主导格局优化.md) + - [7.1.1.3 03~AI 视角下的自动驾驶行业全解析](/99~参考资料/AI%20研报/2021~中金~AI%20十年展望/03~AI%20视角下的自动驾驶行业全解析.md) + - [7.2 DeepLearning Specialization [1]](/99~参考资料/DeepLearning-Specialization/README.md) + - 7.2.1 NeuralNetworks And DeepLearning [1] + - 7.2.1.1 Week1 [6] + - [7.2.1.1.1 二元分类与 Logistic 回归](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/二元分类与%20Logistic%20回归.md) + - [7.2.1.1.2 基于 Logistic 回归的图像分类实践](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/基于%20Logistic%20回归的图像分类实践.md) + - [7.2.1.1.3 基于 Numpy 的 Python 向量操作](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/基于%20Numpy%20的%20Python%20向量操作.md) + - [7.2.1.1.4 梯度下降与向量化操作](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/梯度下降与向量化操作.md) + - [7.2.1.1.5 浅层神经网络](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/浅层神经网络.md) + - [7.2.1.1.6 神经网络、有监督学习与深度学习](/99~参考资料/DeepLearning-Specialization/NeuralNetworks-And-DeepLearning/Week1/神经网络、有监督学习与深度学习.md) + - [7.3 FastAI](/99~参考资料/FastAI/README.md) - - [7.3 TensorFlow in Practice](/99~参考资料/TensorFlow-in-Practice/README.md) + - [7.4 TensorFlow in Practice](/99~参考资料/TensorFlow-in-Practice/README.md) - - [7.4 d2l.ai](/99~参考资料/d2l.ai/README.md) + - [7.5 d2l.ai](/99~参考资料/d2l.ai/README.md) - - [7.5 周志华 机器学习](/99~参考资料/周志华-机器学习/README.md) + - [7.6 周志华 机器学习](/99~参考资料/周志华-机器学习/README.md) \ No newline at end of file