机器学习在安全攻防场景的应用与分析.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 安全攻防场景应用\n",
    "\n",
    "* 身份识别与认证\n",
    "    * 身份认证——验证码破解，使用神经网络进行验证码识别\n",
    "    * 行为分析——恶意用户识别，使用孤立森林进行恶意用户行为识别\n",
    "        * 独立森林是专门用于异常识别的，诸如异常用户盗号、LBS/加好友、欺诈等行为都可以识别\n",
    "* 社会工程学\n",
    "    * 反钓鱼——鱼叉式网络钓鱼，主要是垃圾邮件和网络钓鱼邮件的识别\n",
    "        * 加强网站数据保护，防爬虫\n",
    "        * 采用机器学习进行垃圾/钓鱼邮件的检测过滤\n",
    "        * 提高自身安全意识，注意个人隐私泄露\n",
    "    * 反欺诈——欺诈电话识别，利用机器学习实时发现诈骗电话，并立即发出实时告警\n",
    "        * 从号码活跃特征数据、号码的社交网络、号码的行为事件流、号码的行为特征、号码信用度、号码异常度等方面来进行特征抽取，根据机器学习架构检测。\n",
    "        * 再结合事件模型与行为模式的关联分析，能更准确地对欺诈电话进行监测。\n",
    "* 网络安全\n",
    "    * 抗DDoS——大数据DDoS检测\n",
    "        * 基于IP流序列谱分析的泛洪攻击与低速率拒绝服务方法进行感知。\n",
    "        * 从概率点判别角度，基于多特征并行隐马尔科夫模型的DDoS攻击检测方法，利用 HMM隐状态序列与特征观测序列的对应关系，将攻击引起的多维特征异常变化转化为离散型随机变量，通过概率计算来刻画当前滑动窗口序列与正常行为轮廓的偏离程度。\n",
    "        * 从分类超平面判别角度，基于最小二乘孪生支持向量机的DDoS攻击分类超平面检测方法，采用 IP包五元组熵、 IP标识、TCP头标志和包速率等作为LSTSVM 模型的多维检测特征向量，以体现DDoS攻击存在的流分布特性。\n",
    "        * 不要求各个特征量必须满足独立同分布的假设条件，融合多种判别规则的条件随机场DDoS攻击检测方法充分利用条件随机场综合处理多特征优势的基础上，将基于特征匹配与异常检测的方法有效地统一起来，实现高检测率与低误报率。\n",
    "    * 无线网络攻击——伪基站短信识别\n",
    "        * 伪基站诈骗短信识别功能，依托海量的数据、高效的数据分析处理和数据可视化\n",
    "        * 垃圾和诈骗短信的识别和分类涉及到自然语言处理技术与机器学习模型\n",
    "        * 使用语言学规则与统计学方法相结合的方式来定义伪基站短信特征，可从海量数据中精确识别出伪基站短信\n",
    "* Web安全\n",
    "    * 安全网站检测——恶意URL检测\n",
    "        * GOOGLE的Chrome已将检测模型与机器学习相结合，支持安全浏览，向用户警示潜在的恶意网址。结合成千上万的垃圾邮件、恶意软件、有启发式信号的含勒索软件的附件和发送者的签名（已被标识为恶意的），对新的威胁进行识别和分类。\n",
    "        * 基于机器学习，从 URL特征，域名特征， Web特征的关联分析\n",
    "    * 注入攻击检测——webshell检测\n",
    "        * 攻击过程：踩点、组装、投送、攻击、植入、控制、行动\n",
    "        * 常见传统的webshell检测方法主要有静态检测、动态检测、语法检测、统计学检测等\n",
    "        * 通过词袋 &TF-IDF模型、 opcode&n-gram模型、opcode调用序列模型等特征抽取方式，采用合适的模型，如朴素贝叶斯和深度学习的MLP、 CNN等，实现webshell的检测\n",
    "        * 类似地，也可进行SQL注入、 XSS攻击检测等\n",
    "* 安全漏洞与恶意代码\n",
    "    * 代码安全——恶意代码分类\n",
    "        * 早期反病毒软件无论是特征码扫描、查找广谱特征、启发式扫描\n",
    "        * 随着反恶意代码技术的逐步发展，主动防御技术、云查杀技术已越来越多的被安全厂商使用，但恶意代码静态检测的方法仍是效率最高，被运用最广泛的恶意代码查杀技术。\n",
    "    * 漏洞修复——系统自动化漏洞修补\n",
    "        * DARPA在 DEFCON黑客大会上举办Cyber Grand Challenge 挑战赛，要求参赛者在比赛中构建一套智能化的系统，不仅要检测漏洞，还要能自动写补丁、并且完成部署\n",
    "        * 创世纪是第一个自动推理补丁生成转换或根据先前成功的补丁搜索候选补丁空间的系统，它修复的 bug几乎是最好的手编模板系统的两倍，同时也更精确\n",
    "* 入侵检测与防御\n",
    "    * 高级攻击入侵检测——APT检测与防范\n",
    "        * 进行APT攻击的攻击者从侦查目标，制作攻击工具，传递攻击工具，利用漏洞或者弱点来进行突防，拿下全线运行工具，后期远端的维护这个工具，到最后达到了长期控制目标的目的\n",
    "        * 威胁情报是基于证据的描述威胁的一组关联的信息，包括威胁相关的环境信息，如具体的攻击组织，恶意域名。恶意域名又包括远控的IOC，恶意文件的HASH和 URL以及威胁指标之间的关联性，时间纬度上攻击手法的变化。这些信息汇总在一起形成高级威胁情报\n",
    "        * 所关注的情报，还包括传统威胁种类的扩充，包括木马远控，僵尸网络，间谍软件， Web后门等\n",
    "        * 利用机器学习来处理威胁情报，检测并识别出APT攻击中的恶意载荷，提高APT攻击威胁感知系统的效率与精确性，让安全研究人员能更快实现 APT攻击的发现和溯源\n",
    "    * DGA域名检测——C2链接分析\n",
    "        * DGA（域名生成算法）是一种利用随机字符来生成C2域名，从而逃避域名黑名单检测的技术手段。\n",
    "        * 攻击者就可以利用它来生成用作域名的伪随机字符串，这样就可以有效的避开黑名单列表的检测。伪随机意味着字符串序列似乎是随机的，但由于其结构可以预先确定，因此可以重复产生和复制\n",
    "        * 首先攻击者运行算法并随机选择少量的域（可能只有一个），然后攻击者将该域注册并指向其C2服务器。在受害者端恶意软件运行DGA并检查输出的域是否存在，如果检测为该域已注册，那么恶意软件将选择使用该域作为其命令和控制（ C2）服务器。如果当前域检测为未注册，那么程序将继续检查其它域。（僵尸网络中的部分运行机理）\n",
    "        * 安全人员可以通过收集样本以及对DGA进行逆向，来预测哪些域将来会被生成和预注册并将它们列入黑名单中"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 机器学习应用分析\n",
    "\n",
    "* 机器学习的应用特点\n",
    "    * 机器学习在安全攻防最常应用于在于恶意代码识别、社工安全防范，入侵攻击检测这三大方向\n",
    "    * 在恶意代码识别方面，区别传统的黑白名单库、特征检测、启发式等方法机器学习的安全应用从反病毒的代码分类、恶意文件检测、恶意URL的网页代码识别等\n",
    "    * 在社工安全防范方面，区别传统的技术与业务经验分析、安全宣传、金融模型等评估方法，机器学习的安全应用从鱼叉式网络钓鱼检测，恶意用户点击流识别，欺诈电话与短信分析，到金融信用欺诈等\n",
    "    * 在入侵攻击检测方面，区别传统的基于规则与策略、正则匹配等，机器学习的安全应用从DDoS防御，webshell检测， DGA防范到APT检测等等。\n",
    "    \n",
    "* 机器学习的建模难点\n",
    "    * 机器学习在安全与风控方面应用难点主要包括如下3点：\n",
    "    1）机器学习需要尽可能平衡的高质量数据集，而在安全领域，无论是风险欺诈、网络钓鱼、恶意软件等，通常包含大量的正常样本与极少量的安全隐患，因此恶意访问、攻击样本的不充分，导致模型训练后的检测准确率有待提高。\n",
    "    2）不像其他AI应用（如商品推荐系统），在应用安全领域的模型分类错误具有极高的成本，并且在面对网络威胁与隐患时，安全分析人员希望在网络对抗中取得对形势的了解与情报的掌握，以作出相应的人工干预。然而机器学习的模型一般均为黑盒分析，无法得到足够的信息。\n",
    "    3）现阶段所有需监督学习的机器学习模型，均需要输入合理且高相关的特征集，即需要从源数据到特征空间映射的特征工程。在安全领域，会产生网络监控到实际的检测对象之间的抽象成本，如软件缺陷与底层实现代码与结构之间的对应关系有一个抽象、翻译的难度。（正因为需要高可靠的特征支持，那这种特征跟使用特征码等规则库是同等性质的，在数据中加入噪声，也很容易被绕过）\n",
    "    \n",
    "* 机器学习的技术盲点\n",
    "    * 无法采用机器学习算法进行安全攻防的盲点：\n",
    "    1）无法发现未知模式的恶意行为。传统的检测技术可以发现已知模式的已知行为，当前的机器学习技术可以发现已知模式的未知行为，但对于未知模式的未知行为，目前还无法进行有效针对。例如，合法软件的恶意滥用，在ML建模时，从静态代码分析时，该软件的分类标记是正常的。在正常使用时，该软件所表现的特征也是合法的。但如果有攻击者对于该软件进行某些功能的滥用从而导致安全隐患或威胁时，目前的机器学习算法是无法进行有效判别的。\n",
    "    2）误报大量测试异常的正常行为。当进行一般的机器学习算法训练后，该模型通常是不变的，在模型内部有关于对每条数据的特征分析与判别，即已经形成了对数据特征的“思考”，当大部分与已知类别相似或相近时，分类器均能作出很好的反馈。例如，在流量分析时，ML模型通过各流量特征进行分析，正常流量波峰波谷一般介于安全阈值，攻击流量可能呈现不一样的分布。但是，在实际生产环境中，由于系统故障，路由延迟，网络丢包等不稳定因素，或者因为误操作等特殊情况，也同样会产生非正常的大流量，这些异常特征的数据极可能被 ML模型判别为攻击流量而进行告警，便会出现大量误报情况。\n",
    "    3）对数据数量与质量有强依赖性。机器学习的底层需要有大数据的支持，一方面，需要TB乃至PB级的数据量支撑，从而器学习有足够的样本进行学习，数据数量不仅是整体训练的样本空间，同时也指每个标签的样本量需要充足，另一方面，在注重数量的同时，需要保证数据的质量，无论是从数据真实性完整性，还是从数据的价值性。例如，在分析欺诈交易的风险时，不仅要基于大数据平台获取尽可能多的数据量，而且，要从用户、商户、收单机构多方面数据，在每一方如用户，同样也采集交易时间，金额，用途等参数，只有数据本身存在建立起一个完整场景，机器学习模型才能真实的应用中起到最佳的识别效果。\n",
    "  \n",
    "* 机器学习自身的安全问题\n",
    "    * 对抗样本\n",
    "        * 建立在“对抗模型”中的攻击者可以试图寻找对抗样本来误导分类器\n",
    "        * 重要的是，并不是某个机器学习（包括深度学习）算法对于对抗样本的脆弱性，而是机器学习的模型普遍都具有该缺陷，其具体原因在于模型的高度非线性、均化不足或正则不足等\n",
    "        * 对于对抗样本的攻击，一方面，从数据的角度，将对抗样本加入训练集中，提高模型的抗干扰能力；另一方面，从模型的角度，可主动生成一个生成模型，用于生成对抗样本，与本身分类模型交互监督训练，以提高效果\n",
    "    * 隐私保护\n",
    "        * 利用拼音输入法进行文本输入时（这里假设该输入法使用机器学习进行文本预测），通常输入法会自动提示联想词汇。如果攻击者通过联想词汇，可计算得到部分输入法进行训练的值，即用户曾经输入过的词汇，便可从根据这些训练集从事非法活动（例如营销广告）\n",
    "        * 对于这种攻击，目前最常用的方法是采用改进后的差分隐私保护，可在机器学习模型训练时，在不影响预测效果的情况下，增加一些算法随机性，从而有效缓解隐私泄露的问题。\n",
    "        \n",
    "\n",
    "#### 总结\n",
    "\n",
    "人工智能并非单独的一种算法、模型、技术，而是通过多种智能方法结合而来，每一种特定的模型可能只在当前场景下适用，针对具体的安全威胁或问题，如同第三章的应用案例，均是基于机器学习，但具体问题依然要具体分析，没有通用的、完全一致的解决方案\n",
    "\n",
    "文章来源：http://www.freebuf.com/articles/neopoints/152457.html\n",
    "https://juejin.im/entry/5a39fa956fb9a0451c3a89e3"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}