Begin.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Python语言简介\n",
    "\n",
    "Python诞生于1991年，已经有接近30年的历史了。最初创始人Guido van Rossum是为了创造一门脚本语言，仅仅用来处理简单的任务。随着Python的逐步发展，由于Python可以方便的与其他语言如C\\C++等进行交互，因而很快Python成为了「胶水语言」。随后随着Python的逐步完善，特别是进入大数据时代以来，由于Python丰富的API和包，其简单易用性和丰富的扩展性使得越来越多的编程人员开始使用这门语言。\n",
    "\n",
    "Python作为一门编程语言具有如下特点：\n",
    "* 解释型语言，不需要编译（compile）为机器码，Python**解释器（interpreter）**边解释边运行。\n",
    "* 动态类型，程序运行时检查变量的类型，如有必要进行类型转换\n",
    "* 支持多种编程范式，包括：\n",
    "    - 面向对象，使用类和对象进行抽象\n",
    "    - 部分支持函数式编程\n",
    "    - 过程式编程\n",
    "* 全局锁（global interpreter lock, GIL），由于Python的内存管理不是线程安全（thread-safe）的，为了防止线程间数据一致性和状态同步的困难，Python解释器在执行多个线程时，实际并非同时在执行多个线程，而是同一时间只执行多个线程中的某一个线程。\n",
    "\n",
    "由于以上特点，Python非常容易学习，且开发非常简单，可以大量节省开发时间。但是同时，也因为以上的特点，Python的执行速度是比较慢的。特别是对于数值计算而言，由于GIL的存在，单纯Python无法充分发挥多核CPU的多核性能，劣势更加明显。不过，由于Python的“胶水语言”特征，Python中的数值计算往往通过Numpy、Scipy等包进行，这些包的底层都是使用Fortran、C等语言编写并编译好，因而不受以上Python语言特点的影响，速度是很快的。\n",
    "\n",
    "Python几乎是一门全能的语言，在各个领域，包括网络编程、数值计算、机器学习等，都有广泛应用。然而，Python也有运行速度慢的致命缺点，基于以上特点，Python比较适合：\n",
    "\n",
    "* 探索性编程或者数据分析\n",
    "* 对计算性能不高的任务\n",
    "* 性能瓶颈不在计算，而在I/O的任务，如爬虫等\n",
    "* 胶水语言，结合不同语言的特点进行开发\n",
    "\n",
    "虽然Python执行效率相对较低，但是一般情况下可以大大节省程序员编程的时间，因而对于不同的任务，需要*权衡开发人员的时间与程序运行的时间*。大多数情况下，往往人的时间比机器的时间更加宝贵。当然，如果程序过于复杂，可以将计算最为复杂的部分使用其他高性能语言，如C、Java、Julia代替，计算简单的部分使用Python，并使用Python进行调用其他高性能语言。\n",
    "\n",
    "此外，Python的流行与其设计哲学密不可分。Python的设计哲学是**优雅（beautiful）、明确（explicit）、简单（simple）**。Python开发者的哲学是“用一种方法，最好是只有一种方法来做一件事”。在设计Python语言时，如果面临多种选择，Python开发者一般会拒绝花俏的语法，而选择明确没有或者很少有歧义的语法。这些准则被称为“Python之禅（The Zen of Python）”。\n",
    "\n",
    "\n",
    "# Python安装之前：版本与工具\n",
    "\n",
    "Python作为一门脚本语言，在\\*nix系统下通常具有原生的支持。在这里，我们分别介绍Python在不同环境下的安装。\n",
    "\n",
    "在安装之前，我们必须首先搞清楚，我么到底要安装什么。\n",
    "\n",
    "## Python语言的版本\n",
    "首先，我们需要区分Python的版本。由于某些历史遗留问题，Python目前有不兼容的两个版本：\n",
    "\n",
    "* Python 2.7+\n",
    "* Python 3+\n",
    "\n",
    "截至目前，Python最高的版本为3.11。值得注意的是，Python2和Python3之间语法很大程度上市不能够互通的，比如在Python2中，输出一个字符串的语法是：\n",
    "\n",
    "```python\n",
    "print \"hello world\"\n",
    "```\n",
    "而在Python3中，输出一个字符串的语法是：\n",
    "\n",
    "```python\n",
    "print(\"hello world\")\n",
    "```\n",
    "\n",
    "由于Python官方将在不久的将来停止对Python2的支持和更新，而且绝大多数的库都已经迁移到了Python3中，因而我们**强烈建议未来不要继续学习和使用Python2，而是直接使用Python3**。\n",
    "\n",
    "## Python解释器的版本\n",
    "\n",
    "其次，我们需要注意我们是，Python本身只是一门脚本语言，而其运行需要一个**解释器（interpreter）**。解释器的作用是解释并执行Python语言，而Python的解释器也有不同的版本，比如：\n",
    "\n",
    "* CPython：最流行的也是默认的Python解释器，我们通常的Python指的就是CPython\n",
    "* PyPy：一个JIT的解释器，速度比CPython更快\n",
    "\n",
    "此外，Python本身作为一门脚本语言，以上的解释器是不对程序进行编译（compile）的，也有将Python首先编译为其他语言的解决方案，比如：\n",
    "\n",
    "* Cython：Python编译成C\n",
    "* Jython：Python编译成Java\n",
    "* Pyjs：Python编译成JavaScript\n",
    "* Numba：使用LLVM把Python直接编译为机器码\n",
    "* ......\n",
    "\n",
    "理论上将Python进行编译后运行速度会大幅提升，然而以上编译方案通常不能完全支持Python的所有特性，因而用途有限。\n",
    "\n",
    "此外，值得一提的是，Python的运行速度通常比较慢， Intel®针对Python的数值运算包（包括NumPy、SciPy、scikit-learn等）使用MKL等Intel的数值运算库进行了优化和加速，在进行一些数值密集型的任务时可以考虑使用。\n",
    "\n",
    "接下来，我们所有的讲解都基于CPython以及Python 3。\n",
    "\n",
    "## 开发环境\n",
    "\n",
    "工欲善其事，必先利其器。虽然我们可以只是用“笔记本”就可以写Python程序，并使用Python解释器运行，但是这样做的效率非常低下。一个好的开发环境可以使得开发效率事半功倍。\n",
    "\n",
    "实际上，任何能够编辑文本文件的文本编辑器都可以写Python程序，但是有一些文本编辑器提供了诸如自动补全、自动缩进等功能，可以使得写Python代码更加简单，比如：\n",
    "\n",
    "* VSCode\n",
    "* Atom\n",
    "* Sublime\n",
    "\n",
    "等。\n",
    "\n",
    "以上是通用的代码编辑器。除以上，Python还有专门的编写工具：\n",
    "\n",
    "* 在Windows以及Mac中，Python自带了IDLE可以用于编写Python程序\n",
    "* Spyder，一个Python的集成开发环境，包含于Anaconda中\n",
    "* PyCharm，同样是功能强大的集成开发环境\n",
    "\n",
    "对于初学者而言，从Python的解释器开始，想要快速搭建一个包括各种常用的Python包、库以及常用开发环境不是一件简单的事情，这就诞生了Anaconda，一个集成了Python解释器、Spyder、VSCode（可选）、Jupyter、IPython以及NumPy、SciPy、Pandas、scikit-learn等常用数值计算、机器学习包的套装。**对于初学者而言，可以先直接安装Anaconda**。\n",
    "\n",
    "\n",
    "# Windows下的安装\n",
    "\n",
    "在Windows下安装Python的第一种方法是首先安装Python的解释器，再分别安装所需要的其他组件，比如各种包以及开发环境。或者，也可以直接安装如Anaconda，其中包含了Python解释器以及常用的包、开发环境等。一般初学者可以考虑直接安装Anaconda。**Anaconda和Python解释器一般只安装一个就可以**，如无特殊需求，不要重复安装。\n",
    "\n",
    "## Python解释器的安装\n",
    "\n",
    "Python解释器可以从官方网站：https://www.python.org/downloads/windows/ 中进行下载，一般默认选择最新版本（目前为3.11.5）。此外，对于64位的Windows操作系统，尽量选择带有“x86-64”标志的版本，一般情况下，我们会选择：\n",
    "\n",
    "* Windows x86-64 executable installer\n",
    "\n",
    "进行安装。\n",
    "\n",
    "下载之后，按照Windows程序的正常安装过程即可安装。在这里需要注意的是，为了能够在cmd或者Powershell里面方便的使用Python，需要勾选“Add Python 3.7 to PATH”选项：\n",
    "\n",
    "![](pic/install_py.png \"安装Python解释器\")\n",
    "\n",
    "安装之后（有时可能需要重启计算机以激活环境变量），就可以在cmd或者Powershell中，键入“python”命令进入到Python的交互环境中：\n",
    "\n",
    "## Anaconda的安装\n",
    "\n",
    "Anaconda可以从 https://www.anaconda.com/download 下载，同样，对于64位机器，尽量选择64位版本。\n",
    "\n",
    "安装完成后，可以看到开始菜单中出现了新的项目：\n",
    "\n",
    "![](pic/start_menu.png \"安装Anaconda\")\n",
    "\n",
    "### Anaconda Prompt\n",
    "\n",
    "首先，我们可以点击Anaconda Prompt，会弹出一个交互式对话框，可以输入：\n",
    "\n",
    "```shell\n",
    "python\n",
    "```\n",
    "\n",
    "后回车，即进入了Python的交互式Shell，输入：\n",
    "```python\n",
    "import this\n",
    "```\n",
    "会弹出所谓的“Python之禅”：\n",
    "\n",
    "![](pic/anaconda_prompt.png \"Anaconda Navigator\")\n",
    "\n",
    "按下“ctrl+d”键，就可以退出Python Shell。\n",
    "\n",
    "Anaconda Prompt最有用的地方在于安装一些其他的包，比如，如果我们需要安装用于解析HTML的包“bs4”，可以直接键入：\n",
    "```shell\n",
    "pip install bs4\n",
    "```\n",
    "\n",
    "或者，如果需要更新已安装的Web框架“flask”到新的版本，可以键入：\n",
    "```shell\n",
    "pip install flask --upgrade\n",
    "```\n",
    "如下图所示：\n",
    "![](pic/pip_install.png \"Anaconda Navigator\")\n",
    "\n",
    "\n",
    "### Anaconda Navigator\n",
    "\n",
    "如果点击Anaconda Navigator，会出现如下界面：\n",
    "\n",
    "![](pic/anaconda_navi.png \"Anaconda Navigator\")\n",
    "\n",
    "其中我们会用到的有：\n",
    "\n",
    "* Jupyter Notebook：也就是写本教程的工具，提供了一个网页版的可以运行Python的交互环境，通常可以用来写用以展示、备忘的Python代码等。\n",
    "* IPython：一个交互式的Python Shell，但是功能比Python原生的Shell强大。\n",
    "* Spyder：一个Python的集成开发环境，提供比较强大的编辑、查看变量、debug等综合工具。\n",
    "* VS Code：一个轻量而又强大的文本编辑器，适用于进阶的Python编程。\n",
    "\n",
    "\n",
    "### Jupyter Notebook\n",
    "\n",
    "Jupyter Notebook是一个展示代码、为代码做记录的强大工具。此教程就是以Jupyter Notebook写作而成。虽然Jupyter Notebook不适于工业级的大规模使用，但是在进行探索式的程序设计、数据分析时是非常有用且方便的工具，我们在这里也初步介绍一下Jupyter Notebook的使用。\n",
    "\n",
    "启动Jupyter Notebook有如下几种方法：\n",
    "\n",
    "* 点击开始菜单中的「Jupyter Notebook」\n",
    "* 在Anaconda Navigator中点击「Jupyter Notebook」\n",
    "* 在Anaconda Prompt中输入「jupyter-notebook」并回车\n",
    "\n",
    "开启Jupyter Notebook后，会打开一个网页（一般域名是localhost:8888，如果没有打开，需要按照提示手动在浏览器输入网址），界面如下所示：\n",
    "\n",
    "![](pic/jupyter_notebook.png \"Jupyter Notebook\")\n",
    "\n",
    "各主要按钮功能如下：\n",
    "\n",
    "* Files：当前目录的文件，可以进行简单的文件操作\n",
    "* Running：显示正在运行中的terminal以及notebook，可以进行关闭等操作\n",
    "* Upload：上传文件\n",
    "* New：新建文件或者terminal：\n",
    "    * Python3：新建一个Python的Notebook\n",
    "    * Terminal：新建一个命令行终端\n",
    "\n",
    "新建Notebook后，就可以在Notebook中边写Python代码、Markdown等。\n",
    "\n",
    "### VSCode\n",
    "\n",
    "VSCode是一款非常强大的文本编辑工具，提供了自动补全、自动缩进、缩略图以及debug等多种强大的工具。VSCode可以从其官网：https://code.visualstudio.com 中免费下载得到。\n",
    "\n",
    "在安装结束之后，还需要为Python安装插件，可以点击左边的「extensions」按钮，从弹出的输入框中输入「python」，点击「install」即可，如下图所示：\n",
    "\n",
    "![](pic/vscode_python.png \"Installing Python extension in VSCode\")\n",
    "\n",
    "## 使用WSL（Strongly Recommended）\n",
    "\n",
    "WSL，即Windows Subsystem for Linux，是一个嵌入在Windows 10系统中的一个Linux子系统。由于Linux原生支持Python，因而可以在WSL中直接使用Python，用法与Linux一样。\n",
    "\n",
    "最近，微软对于WSL有了很大幅度的更新升级，并且支持VSCode远程使用WSL的Python，整个使用更加方便了。限于时间关系，我们不再详细介绍WSL的安装，可以参考： https://docs.microsoft.com/en-us/windows/wsl/install-win10 安装WSL。当然，使用WSL的基础是需要对Linux有一定的使用经验。\n",
    "\n",
    "\n",
    "# Linux下的安装\n",
    "\n",
    "一般情况下，Linux的发行版中都包含了Python，比如在最流行的Linux发行版Ubuntu中，包含了Python2以及Python3两个版本。值得注意的是，一般而言如果在Linux的Terminal中使用「python」命令：\n",
    "```shell\n",
    "python\n",
    "```\n",
    "将会运行Python2而非Python3，为了运行Python3，需要使用「python3」命令：\n",
    "```shell\n",
    "python3\n",
    "```\n",
    "与此类似，用于安装Python包的「pip」命令，也需要使用「pip3」来代替「pip」。\n",
    "\n",
    "此外，如果系统找不到「pip3」命令，可能需要使用：\n",
    "```shell\n",
    "sudo apt install python3-pip\n",
    "```\n",
    "先安装pip。\n",
    "\n",
    "有时系统中安装了不止一个Python，比如可能会同时存在Python2、Python3、Intel的Python以及Anaconda的Python，为了区分某一条命令具体使用的哪一个Python，可以使用「which」命令。比如如果我们不知道Python3究竟使用的是哪个版本，可以使用：\n",
    "```shell\n",
    "which python3\n",
    "which pip3\n",
    "```\n",
    "以上命令将会分别返回「python3」命令的路径以及「pip3」命令的路径，便于区分。\n",
    "\n",
    "如果Ubuntu的版本比较老，可能Python3没有默认安装，需要使用：\n",
    "```shell\n",
    "sudo apt-get install python3\n",
    "```\n",
    "进行安装。\n",
    "\n",
    "当然，在Linux中也可以安装Anaconda、VSCode等，我们相信Linux用户不会困惑于这些工具的安装，在此不再赘述。\n",
    "\n",
    "最后需要提示的是，由于大数据平台的迅猛发展，很多现代化的大数据的计算、运维等工具，都是在Linux基础上，或者使用Linux可以更方便搭建、使用的，比如大型的集群（包括HPC等）、Docker容器、Hadoop等工具，很多都是在Linux上开发、运行的，移植到Windows甚至Mac上都略显折腾，因而如果需要更加深入学习，学有余力的条件下可以学习一点Linux的知识。\n",
    "\n",
    "\n",
    "# Mac下的安装\n",
    "\n",
    "在Mac中通常也包含了Python2，但是没有包含Python3，像Windows中一样，需要手动安装Python3的解释器，或者直接安装Mac版的Anaconda。\n",
    "\n",
    "## Python解释器的安装\n",
    "\n",
    "如果仅仅想安装Python3的解释器，可以从： https://www.python.org/downloads/mac-osx/ 中下载「macOS 64-bit installer」，接着打开「python-3.****.pkg」，按照提示安装即可。安装好后，查看Applications文件夹可以看到Python：\n",
    "![](pic/python_inter_mac.png \"Python IDLE in Mac\")\n",
    "\n",
    "值得注意的是，如果需要在terminal中执行「python3」或者「pip3」命令，需要手动修改用户的home文件夹（「~/」）下的「.bash_profile」文件（如果没有则创建），加入一行：\n",
    "\n",
    "```shell\n",
    "PATH=\"/Library/Frameworks/Python.framework/Versions/3.7/bin:${PATH}\"\n",
    "export PATH\n",
    "```\n",
    "\n",
    "注意以上路径「/Library/Frameworks/Python.framework/Versions/3.7/bin」为Python默认的安装路径，针对不同版本可能不同，需要在terminal中进行确认。\n",
    "\n",
    "## Anaconda的安装\n",
    "\n",
    "如果需要安装Anaconda，同样可以从 https://www.anaconda.com/distribution/ 中下载，其安装过程与以上类似，安装好之后同样需要寻找Anaconda的路径，并将其添加到「.bash_profile」中。\n",
    "\n",
    "# 使用pip安装Python模块\n",
    "\n",
    "大部分的Python模块都可以使用pip安装，如果在Mac或者Linux下，需要使用「sudo pip3」替代。如果是Windows，后面可能还要加--user。\n",
    "\n",
    "安装过程如果比较慢，主要原因是因为source服务器在国外，可以换国内的source，比如清华大学的，命令后面加入  -i https://pypi.tuna.tsinghua.edu.cn/simple  即可。\n",
    "\n",
    "如果需要一劳永逸的制定清华的源，对于Linux/Mac，在目录「~/.pip（别忘了点，如果没有则创建。）」下新建一个文件「pip.conf」，里面输入：\n",
    "\n",
    "[global]\n",
    "timeout = 6000\n",
    "index-url = https://pypi.tuna.tsinghua.edu.cn/simple\n",
    "trusted-host = pypi.tuna.tsinghua.edu.cn\n",
    "\n",
    "即可。\n",
    "\n",
    "如果是Windows，可以在资源管理器的地址栏输入\\%appdata\\%后回车，然后在pip文件夹（没有则创建），新建一个pip.ini文件，输入上面的内容即可。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "# GitHub简介\n",
    "\n",
    "为了介绍GitHub，我们需要先从Git说起。\n",
    "\n",
    "Git是一个版本控制软件，使用Git，可以方便地进行多人团队的合作开发以及代码的版本控制，在中大型的软件项目上，是非常强大的开发工具。比如，使用Git，我们可以方便地解决如下问题：\n",
    "\n",
    "* 版本控制，可以方便地回溯软件项目之前的版本，并方便地比较修改历史。\n",
    "* 分支（branch）功能，一个项目可以有不同的分支，每个分支有不同的功能。也可以方便地比较不同分支上代码的差别。\n",
    "* 合并（merge），可以方便的将不同的分支进行合并。\n",
    "* 多人协作，每个人负责一个项目中的一小部分内容，或者在一个分支上进行开发，最终可以将所有人的贡献合并。\n",
    "\n",
    "限于时间所限，我们在这里将不系统介绍Git工具的用法，感兴趣的读者可以自行参阅相关资料。\n",
    "\n",
    "而GitHub，作为一个网站，是建立在Git工具上的一个开源平台和代码托管平台，因为只支持Git作为管理工具，故取名GitHub。\n",
    "\n",
    "GitHub（ https://github.com/ ）目前已经成为全球最大、最被广泛使用的~~同性交友~~开源和代码托管平台。在GitHub上，可以方便的浏览、使用其他人的代码，或者为其他人的代码做出修改和改进。\n",
    "\n",
    "当然，也可以在GitHub上公布自己的代码，一方面为社区贡献，其他人可以使用自己的代码；另一方面好的项目也可以吸引其他人一起开发和完善这个项目。\n",
    "\n",
    "在GitHub上，我们可以很方便地搜索我们需要的代码，这往往可以大量节省我们的开发时间。比如，如果我们希望找有关中文分词的工具或者代码，可以直接在GitHub的搜索栏上搜索：“分词”，就会有很多已经有的工具供我们选择使用：\n",
    "![](pic/github_search.png \"Search in GitHub\")\n",
    "\n",
    "\n",
    "如果我们点进某一个仓库（repository），会有如下界面：\n",
    "\n",
    "![](pic/github.png \"GitHub\")\n",
    "\n",
    "其中：\n",
    "* 最左上角显示了作者以及该仓库的名称\n",
    "* 右上角的三个按钮分别有不同的作用，不能混淆：\n",
    "    * Watch：关注这个仓库，有动态时在timeline上提醒\n",
    "    * Star：收藏\n",
    "    * Fork：意思是把别人的仓库复制一份成为自己的仓库，从而可以自己修改并发布到GitHub上，一般除非能够对这个仓库做出重大修改或者贡献，很少使用\n",
    "* Clone or Download也有不同的作用：\n",
    "    * Clone是使用“git clone”命令将该仓库完全下载到本地，包含分支信息、历史修改信息等，从而可以在本地修改，并可以通过“commit”以及“push”的方式提交修改\n",
    "    * Download是直接下载，一般如果不需要对这些代码做出修改而是直接使用，可以直接下载\n",
    "* README.md：一般所有的仓库都含有这个文件，用以对仓库和代码做出一些必要的说明，如代码结构、如何使用等。\n",
    "\n",
    "出于“不要重复造轮子”的原则，一般而言我们都推荐在需要完成某一功能时，可以优先从GitHub上查找一下，是否有已经有比较成熟的实现，再来决定是否要自己重新实现这个功能。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# git的安装和初始设置\n",
    "\n",
    "git工具是开源的重要工具，所以在一般的Linux上获取git非常方便，有一些发行版自带了git，或者直接通过apt/yum等工具安装，比如在Ubuntu上：\n",
    "```shell\n",
    "sudo apt install git\n",
    "```\n",
    "就可以直接按照了。\n",
    "\n",
    "对于MacOS，有两种方法安装：\n",
    "\n",
    "1、 通过brew安装，首先安装homebrew：\n",
    "```shell\n",
    "/usr/bin/ruby -e \"$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)\"\n",
    "brew install git\n",
    "```\n",
    "\n",
    "2、通过Xcode安装：\n",
    "\n",
    "直接从AppStore安装Xcode，运行Xcode，选择菜单“Xcode”->“Preferences”，在弹出窗口中找到“Downloads”，选择“Command Line Tools”，点“Install”。\n",
    "\n",
    "对于Windows，从网站 https://git-scm.com/downloads 上下载进行安装，安装完成后开始菜单里点击git->git bash即可。\n",
    "\n",
    "安装完成后还需要配置个人的名字和Email：\n",
    "\n",
    "```shell\n",
    "git config --global user.name \"your name\"\n",
    "git config --global user.email \"sombody@somesite.com\"\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Git的常用命令\n",
    "\n",
    "## 创建Git仓库\n",
    "\n",
    "在这里需要区分在本地创建Git仓库和在GitHub上创建仓库。实际上Git仅仅是一个版本管理工具，完全可以脱离GitHub使用，GitHub仅仅是用于代码托管的网站，除了GitHub之外还有GitLab以及国内的一些其他平台可以使用。\n",
    "\n",
    "**如果需要在GitHub等平台上创建一个仓库**，可以在GitHub的个人主页->Repositories页面中，点击「New」，会显示如下界面：\n",
    "\n",
    "![](pic/github_new_repo.png \"GitHub New Repo\")\n",
    "\n",
    "点击创建，既可以创建一个新的Repository。之后会显示诸如：\n",
    "\n",
    "```\n",
    "https://github.com/sijichun/example.git\n",
    "```\n",
    "\n",
    "类似的地址，这个地址就是仓库的地址。\n",
    "\n",
    "之后打开terminal，cd到你想要存放这个仓库的文件夹，输入：\n",
    "\n",
    "```shell\n",
    "git clone https://github.com/sijichun/example.git\n",
    "```\n",
    "\n",
    "就会创建一个新的名称为「example」的文件夹，之后就可以在这个文件夹下面进行工作了。\n",
    "\n",
    "或者，**如果仅仅想要使用git工具，不想放在平台上**，可以在任何文件夹下面输入：\n",
    "\n",
    "```shell\n",
    "git init\n",
    "```\n",
    "\n",
    "就可以将这个文件夹设置为一个git文件夹，并用git工具进行管理。\n",
    "\n",
    "**如果希望将一个git文件夹上传到GitHub等平台的仓库上**， 可以输入：\n",
    "\n",
    "```shell\n",
    "git remote add origin https://github.com/sijichun/example.git\n",
    "git push -u origin master\n",
    "```\n",
    "\n",
    "就可以将现在文件夹下面的内容推送到远程的平台上了。\n",
    "\n",
    "## Git的工作机制\n",
    "\n",
    "Git强大之处建立在对文件的处理机制上。在Git中，一个文件从修改到最终推送到远程仓库需要经历四个阶段：\n",
    "\n",
    "* 工作区\n",
    "* 暂存区\n",
    "* 本地仓库\n",
    "* 远程仓库\n",
    "\n",
    "比如，我们在刚刚建立的example文件夹中建立一个文件：poem.txt：\n",
    "\n",
    "```\n",
    "闲居少邻并，草径入荒园。\n",
    "鸟宿池边树，僧推月下门。\n",
    "过桥分野色，移石动云根。\n",
    "暂去还来此，幽期不负言。\n",
    "```\n",
    "\n",
    "此时，在命令窗口中输入：\n",
    "```shell\n",
    "git status\n",
    "```\n",
    "\n",
    "此时，git会告诉你有没有追踪的文件（Untracked files），此时poem.txt这个文件在工作区。\n",
    "\n",
    "为了将这个文件放入暂存区，可以执行：\n",
    "```shell\n",
    "git add .\n",
    "```\n",
    "\n",
    "此时，文件就放入了暂存区，再次执行\n",
    "```shell\n",
    "git status\n",
    "```\n",
    "\n",
    "此时git会告诉你有一个新的文件poem.txt，这个文件有待提交（commit）。\n",
    "\n",
    "此时的文件还是暂存，为了将这个变动固定下来，需要使用提交，执行：\n",
    "```shell\n",
    "git commit -a -m \"init poem\"\n",
    "```\n",
    "\n",
    "其中-m选项是为这次提交加一个注释。经过提交之后，以上的修改就被固定下来，也就是加入了本地仓库。\n",
    "\n",
    "最后，为了将这个修改提交到远程仓库，需要执行：\n",
    "```shell\n",
    "git push\n",
    "```\n",
    "\n",
    "此时所有修改才会被提交至远程仓库（GitHub）。\n",
    "\n",
    "之所以划分如此严格的工作区，是为了对代码进行严格的版本控制。\n",
    "\n",
    "### 工作区操作\n",
    "\n",
    "比如，我们现在已经有了一个poem.txt，但是如果我们希望将其进行修改，比如将「僧推月下门」修改为「僧敲月下门」，此时在命令行输入：\n",
    "```shell\n",
    "git diff\n",
    "```\n",
    "\n",
    "可以发现git忠实的记录了我们的修改。git是对行进行记录的，因而刚刚的修改实际上等价于删除了「僧推月下门」这一行，同时加入了「僧敲月下门」这一行。此时执行\n",
    "```shell\n",
    "git status\n",
    "```\n",
    "\n",
    "会发现git提示我们这个修改没有被暂存（not stagged）。\n",
    "\n",
    "此时，如果我们后悔了，可以执行：\n",
    "```shell\n",
    "git checkout .\n",
    "```\n",
    "\n",
    "我们会发现刚刚所执行的修改被撤回到上一次commit之后的状态了。\n",
    "\n",
    "### 暂存区操作\n",
    "\n",
    "如果希望将修改暂存，那么可以执行：\n",
    "```shell\n",
    "git add poem.txt\n",
    "```\n",
    "\n",
    "此时再次执行\n",
    "```shell\n",
    "git status\n",
    "```\n",
    "\n",
    "会发现git提示我们有修改需要提交（commit），不提示没有暂存（stag）了。\n",
    "\n",
    "此时如果在命令行输入：\n",
    "```shell\n",
    "git diff\n",
    "```\n",
    "\n",
    "会发现没有任何结果，因为git diff仅仅比较工作区和暂存区，已经放入暂存区的和本地仓库之间的差别不进行比较。如果需要比较，那么应该是用：\n",
    "```shell\n",
    "git diff --cached\n",
    "```\n",
    "\n",
    "此时，如果后悔了，需要撤销暂存这个动作，可以执行：\n",
    "```shell\n",
    "git reset\n",
    "```\n",
    "\n",
    "就可以撤销暂存动作，恢复到git add之前的状态（有修改，未暂存）。\n",
    "\n",
    "如果希望恢复到上一次commit之后的状态，可以分两步做：\n",
    "```shell\n",
    "git reset\n",
    "git checkout .\n",
    "```\n",
    "\n",
    "或者直接：\n",
    "```shell\n",
    "git reset --hard\n",
    "```\n",
    "\n",
    "### 本地仓库操作\n",
    "\n",
    "如果希望将修改提交到本地仓库，有两种方法：\n",
    "\n",
    "首先，如果修改已经被暂存，那么可以直接执行：\n",
    "```shell\n",
    "git commit -m \"推敲\"\n",
    "```\n",
    "即可。\n",
    "\n",
    "不过，每次都是用git add暂存然后提交很麻烦，如果希望直接将修改提交到本地仓库，可以使用：\n",
    "```shell\n",
    "git commit -a -m \"推敲\"\n",
    "```\n",
    "\n",
    "经过commit之后所有的结果就都提交到本地仓库了。但是此时远程仓库仍然没有被修改，我们可以使用：\n",
    "```shell\n",
    "git diff master origin/master\n",
    "```\n",
    "来比较本地仓库和远程仓库之间的差别。其中origin代表远程仓库，master为当前的分支（branch）。\n",
    "\n",
    "此时如果后悔了，但是还没有推送至远程仓库，希望恢复到远程仓库的状态，可以：\n",
    "```shell\n",
    "git reset --hard origin/master\n",
    "```\n",
    "\n",
    "就可以了。\n",
    "\n",
    "### 远程仓库\n",
    "\n",
    "如果希望推送至远程仓库，同样执行：\n",
    "```shell\n",
    "git push\n",
    "```\n",
    "\n",
    "就可以了。\n",
    "\n",
    "此时，如果后悔修改，同样可以撤回。\n",
    "\n",
    "由于我们所有的commit的历史版本实际上在本地都有保留，我们可以通过：\n",
    "```shell\n",
    "git log\n",
    "```\n",
    "来查看历史上每一次的提交历史，比如：\n",
    "```\n",
    "commit ea36e684af36cf68c92843e7a30efd4b03984897 (HEAD -> master, origin/master)\n",
    "Author: Jichun Si <aragorn_sjc@163.com>\n",
    "Date:   Fri Mar 13 15:50:02 2020 +0800\n",
    "\n",
    "    推敲\n",
    "\n",
    "commit dfff0431d864b05ff20f8af0d86436e038a671cd\n",
    "Author: Jichun Si <aragorn_sjc@163.com>\n",
    "Date:   Fri Mar 13 15:26:34 2020 +0800\n",
    "\n",
    "    init poem\n",
    "```\n",
    "\n",
    "注意commit的注释都会显示在上面，此外还有一个commit的hash值，我们可以使用这个hash值恢复到相应的commit版本：\n",
    "```shell\n",
    "git reset --hard dfff0431d864b05ff20f8af0d86436e038a671cd\n",
    "```\n",
    "\n",
    "就可以将本地仓库恢复到相应的提交。\n",
    "\n",
    "在git中，HEAD代表当前提交的版本，HEAD^代表上一个提交的版本，因而如果仅仅需要回到上一个版本，也可以直接：\n",
    "```shell\n",
    "git reset --hard HEAD^\n",
    "```\n",
    "即可。\n",
    "\n",
    "此时如果希望远程仓库也恢复到相应版本，直接进行git push会报错（因为你reset后的本地仓库版本比远程仓库老），此时需要：\n",
    "```shell\n",
    "git push -f\n",
    "```\n",
    "\n",
    "## 拉取与冲突\n",
    "\n",
    "由于git是由开源而生，因而天然支持多人协同开发。有可能远程的代码已经被修改，因而经常需要将远程的修改拉取回来。此时，只要执行：\n",
    "```shell\n",
    "git pull\n",
    "```\n",
    "\n",
    "就可以将远程的修改拉取过来。此时如果需要查看远程做了哪些修改，可以使用HEAD^：\n",
    "```shell\n",
    "git diff HEAD^\n",
    "```\n",
    "\n",
    "但是，有的时候我们在远程和本地都进行了修改，并且本地修改也进行了提交，此时有可能会引发冲突（conflict）。此时需要手动解决冲突。\n",
    "\n",
    "## 分支\n",
    "\n",
    "在git中还支持分支（branch）。我们上面已经碰到了master，这是git的默认分支。有时我们希望额外找一个地方修改代码，而不影响现在已有的代码，此时我们可以新建一个分支。输入：\n",
    "```shell\n",
    "git branch title\n",
    "```\n",
    "就可以新建一个名为title的分支。如果需要查看当前文件夹的分支，可以输入：\n",
    "```shell\n",
    "git branch\n",
    "```\n",
    "就会显示当前分支和其他所有分支。如果需要转换分支，可以输入：\n",
    "```shell\n",
    "git checkout title\n",
    "```\n",
    "就可以转换到title分支。\n",
    "\n",
    "需要注意的是，对于一个新建的分支，因为远程仓库并没有这个分支，因而如果进行了修改，需要在push的时候制定远程的分支：\n",
    "```shell\n",
    "git push origin title\n",
    "```\n",
    "\n",
    "或者通过：\n",
    "```shell\n",
    "git push --set-upstream origin title\n",
    "```\n",
    "来设定这个分支默认的远程分支，之后直接使用git push就可以了。\n",
    "\n",
    "## clone与fork\n",
    "\n",
    "到这里我们已经学习了git clone的用法。在GitHub里面除了clone，还有一个for的操作。两者的区别是：\n",
    "\n",
    "* clone 仅仅复制代码到本地\n",
    "* fork 的意思是将其他人的仓库『据为己有』，自己可以自由的修改这些代码并展示在自己的github中，还可以将修改推送给原主人。\n",
    "\n",
    "因而使用github的正确方法：\n",
    "\n",
    "* 如果只是需要软件本身，查看「release」中是否提供下载，或者README.md中是否有安装方法\n",
    "* 如果需要从源码安装，clone就可以\n",
    "* 如果需要修改他人的代码供自己使用，可以clone或者fork\n",
    "* 如果需要修改他人的代码，并且还会帮助原主人优化代码，可以fork\n",
    "\n",
    "## 几个特殊的文件\n",
    "\n",
    "有几个文件在git中有特殊的含义：\n",
    "\n",
    "* README.md：帮助文档，显示在GitHub的页面中，markdown格式\n",
    "* .gitignore：git忽略的文档，默认git不会追踪这个文件中所列出的文件，支持通配符（比如可以将*.pdf加入到这个文件中，那么git命令自动忽略所有pdf文件）\n",
    "* LICENSE：授权文件，不同的授权文件有不同的授权，如是否可以自由使用、自由修改、商业使用，以及如果使用了项目中的文件是否必须开源等等。一般来说MIT License最自由。使用开源代码时需要注意。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Python的学习方法\n",
    "\n",
    "Python是一门非常容易学习、上手的语言，而且由于其强大的包库，大大减轻了编写程序人员的负担。当然，容易学习不代表容易学好，在这里我们给出几个学习Python，或者其他编程语言的一些学习方法：\n",
    "\n",
    "* 无论在任何阶段，动手的学习效率是最高的。编程不是看书就能看懂的，一定是写代码训练出来的。\n",
    "* 有条件可以多阅读其他人的代码。比如可以在GitHub上找一些自己能够理解的仓库，并阅读其源代码，比如：\n",
    "    * https://github.com/vinta/awesome-python 这个仓库分门别类展示了很多Python代码仓库，可以当做索引使用。\n",
    "    * https://github.com/Alfred1984/interesting-python 这个仓库收集了Python实现的有趣的小项目，包括爬虫、数据分析等。\n",
    "    * https://github.com/facert/awesome-spider 这个仓库收集了各种爬虫的实现\n",
    "* 从原理学起。比如学习爬虫，可以在很短的时间内上手，但是如果不懂http的原理、JavaScript甚至一些深度学习的方法、数据库、内存数据库等，就无法写出快速、高效、稳定的爬虫。\n",
    "* 适时重复造轮子。虽然在工作中重复造轮子显得有些多余且低效，但是在学习阶段，很多时候重复造轮子可以加深理解，在以后碰到问题的时候能够游刃有余。这里重复造轮子并不一定是亲手写，有时阅读其他人的代码也是不错的学习方法。\n",
    "* 尽早适应英文文档和英文技术社区。\n",
    "\n",
    "此外，推荐一些学习资料：\n",
    "\n",
    "**书籍**\n",
    "\n",
    "* Python基础教程（第三版）：基础教程\n",
    "    ![](pic/beginning_python.jpg \"Python基础教程\")\n",
    "* Python Cookbook：高阶应用手册\n",
    "    ![](pic/python_cookbook.jpg \"Python Cookbook\")\n",
    "* Python数据科学手册：数据科学相关\n",
    "    ![](pic/python_data_science.jpg \"Python数据科学手册\")\n",
    "    \n",
    "**文档**：最权威的Python学习材料和手册\n",
    "\n",
    "* 英文文档：https://docs.python.org/3/\n",
    "* 中文文档：https://docs.python.org/zh-cn/3/\n",
    "* 其他第三方包的文档。\n",
    "\n",
    "**网站**\n",
    "\n",
    "* Google/bing\n",
    "* Stack Overflow\n",
    "* Stack Exchange\n",
    "* CSDN"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Python程序的执行：Hello, Python\n",
    "\n",
    "接下来我们以一个最简单的Python程序展示Python程序的执行方式。\n",
    "\n",
    "首先，可以使用任何文本编辑器，写入以下代码：\n",
    "\n",
    "```python\n",
    "print(\"Hello, Python!\")\n",
    "```\n",
    "\n",
    "将其保存为“hello.py”，打开terminal，并在terminal中输入：\n",
    "\n",
    "```bash\n",
    "python3 hello.py\n",
    "```\n",
    "\n",
    "就可以看到程序的输出结果。\n",
    "\n",
    "Python程序就是一个文本文件，实际上也不一定必须使用“.py”作为后缀名，只要使用命令“python3 程序文件”，Python的解释器就会读取这个文本文件并执行。\n",
    "\n",
    "如果使用的时VSCode，写完代码后，直接按F5键，选择“Python File”就可以直接执行了。如果使用Spyder，可以直接点击“Run”按钮。\n",
    "\n",
    "此外，在Linux下，还可以加入一行：\n",
    "\n",
    "```python\n",
    "#!/usr/bin/python3\n",
    "print(\"Hello, Python!\")\n",
    "```\n",
    "\n",
    "然后在terminal中输入：\n",
    "```bash\n",
    "chmod +x hello.py\n",
    "./hello.py\n",
    "```\n",
    "\n",
    "也可以直接执行。其中print语句前面一行用于告诉Linux shell，使用哪个解释器执行该文件，而chmod +x命令代表将hello.py这个文件加上可执行的属性。\n",
    "\n",
    "此外还要注意的是，以上“#!/usr/bin/python3”这一行是以“#”号开头的，在Python中，不管在任何位置，“#”符号代表注释的开始，Python解释器在碰到#号之后，一直到这一行的最后，都将不再解释和执行。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 从GitHub中获取Python程序并使用\n",
    "\n",
    "GitHub中有大量的开源Python代码可供使用。这其中，大量的软件功能都会以「包」的形式提供，而这些包大部分可以通过pip或者conda安装。\n",
    "\n",
    "\n",
    "比如有一些数据分析常用的必备基础包：\n",
    "\n",
    "* numpy: 用于处理向量、矩阵\n",
    "* scipy: 用于科学计算\n",
    "* pandas: 用于处理数据\n",
    "* matplotlib: 用于画图\n",
    "* scikit-learn: 常用的机器学习算法\n",
    "* torch: PyTorch，神经网络工具箱\n",
    "* jupyter: 笔记本，比如这个文档就是用jupyter写的\n",
    "\n",
    "以及一些用于文本处理的包：\n",
    "\n",
    "* nltk: python自然语言处理\n",
    "* spaCy: 与NLTK类似的包\n",
    "* jieba: 中文分词\n",
    "* ...\n",
    "\n",
    "爬虫有关：\n",
    "\n",
    "* httplib2\n",
    "* requests\n",
    "* scrapy\n",
    "* ...\n",
    "\n",
    "网站有关：\n",
    "\n",
    "* flask\n",
    "* Django\n",
    "* fastapi\n",
    "* ...\n",
    "\n",
    "此外还有很多实用工具，比如：\n",
    "\n",
    "* OCRmyPDF: OCR软件，把图片形式的pdf转换成文字\n",
    "* pdfminer.six: 与OCRmyPDF类似，实际上OCRmyPDF基于这个包\n",
    "* you-get: 从网站上（特别是youtube）下载视频的神器\n",
    "* tushare: 下载金融数据\n",
    "* ...\n",
    "\n",
    "如果不知道有什么包可以用，可以直接从GitHub上搜索。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 例子：获取金融数据\n",
    "\n",
    "一个比较简单的例子，使用Python从TuShare中下载金融数据，并保存（ http://tushare.org ）。可以直接使用pip 安装：\n",
    "```shell\n",
    "pip3 install tushare\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "ename": "ModuleNotFoundError",
     "evalue": "No module named 'tushare'",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mModuleNotFoundError\u001b[0m                       Traceback (most recent call last)",
      "Cell \u001b[0;32mIn[1], line 1\u001b[0m\n\u001b[0;32m----> 1\u001b[0m \u001b[39mimport\u001b[39;00m \u001b[39mtushare\u001b[39;00m \u001b[39mas\u001b[39;00m \u001b[39mts\u001b[39;00m\n\u001b[1;32m      3\u001b[0m data\u001b[39m=\u001b[39mts\u001b[39m.\u001b[39mget_gdp_year()\n\u001b[1;32m      4\u001b[0m data\u001b[39m.\u001b[39mhead()\n",
      "\u001b[0;31mModuleNotFoundError\u001b[0m: No module named 'tushare'"
     ]
    }
   ],
   "source": [
    "import tushare as ts\n",
    "\n",
    "data=ts.get_gdp_year()\n",
    "data.head()\n",
    "##保存至csv文件\n",
    "data.to_csv(\"GDP.csv\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 例子：OCR转换图像到文字\n",
    "\n",
    "OCRmyPDF（ https://github.com/jbarlow83/OCRmyPDF ）包可以将图片格式的pdf转换为文字。在Linux下安装非常简单，比如对于Ubuntu 18.04：\n",
    "```shell\n",
    "sudo apt install ocrmypdf\n",
    "```\n",
    "\n",
    "此外安装中文语言包：\n",
    "\n",
    "```shell\n",
    "sudo apt install tesseract-ocr-chi-sim\n",
    "```\n",
    "\n",
    "如果需要转换，使用：\n",
    "```shell\n",
    "ocrmypdf pdf_from.pdf pdf_to.pdf -l chi-sim\n",
    "```\n",
    "稍等片刻就可以完成转换。\n",
    "\n",
    "在Windows下安装比较复杂，可以参考  https://ocrmypdf.readthedocs.io/en/latest/installation.html \n",
    "\n",
    "在Mac下可以使用brew安装。\n",
    "\n",
    "如果希望将pdf中的文字字符串提取出来，可以使用pdfminer.six包，使用pip安装即可：\n",
    "```shell\n",
    "pip install pdfminer.six\n",
    "```\n",
    "\n",
    "比如，我们希望将pdf文件example_ocr.pdf中的字符串提取出来，首先使用OCRmyPDF：\n",
    "```shell\n",
    "ocrmypdf example_ocr.pdf example_ocr_trans.pdf -l chi-smi\n",
    "```\n",
    "\n",
    "然后使用python程序提取字符串：\n",
    "```pyhton\n",
    "from pdfminer.high_level import extract_text\n",
    "\n",
    "text=extract_text(\"example_ocr_trans.pdf\")\n",
    "print(text)\n",
    "```\n",
    "即可。"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Anaconda",
   "language": "python",
   "name": "anaconda"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.16"
  },
  "latex_envs": {
   "LaTeX_envs_menu_present": true,
   "autocomplete": true,
   "bibliofile": "biblio.bib",
   "cite_by": "apalike",
   "current_citInitial": 1,
   "eqLabelWithNumbers": true,
   "eqNumInitial": 1,
   "hotkeys": {
    "equation": "Ctrl-E",
    "itemize": "Ctrl-I"
   },
   "labels_anchors": false,
   "latex_user_defs": false,
   "report_style_numbering": false,
   "user_envs_cfg": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}