robot.txt是一个被搜索引擎爬虫遵循的标准，它告诉爬虫哪些页面可以被抓取，哪些页面禁止抓取。它通常位于网站的根目录下，作为一个纯文本文件存在。
这个文件对网站的SEO影响非常大。如果网站上的页面比较多，而且这些页面并不是有意义的内容，那么如何让搜索引擎尽可能的抓取有价值的内容呢？这时候就需要使用robot.txt文件来规避搜索引擎，让其对无关页面进行快速过滤，只抓取有价值的内容。长此以往，网站的SEO排名自然会随之提高。
在编写robot.txt文件时，有几个注意点：1）路径必须以/开头；2）只支持*和$两个通配符，*代表任意字符串，$表示必须以指定字符结尾；3）一定要仔细检查文件的写法，因为错误的写法会导致整个网站被禁止抓取，影响异常严重。
现在，我们已经了解了robot.txt的作用，还等什么呢？赶紧去编写吧！
