## 本站robots.txt ##

User-agent: *
Disallow: /目录/

User-agent: Mediapartners-Google
Allow: /

禁止抓取整个网站,但允许在这些网页上显示 AdSense 广告(禁止使用除 Mediapartners-Google 以外的所有网页抓取工具)。这种方法会阻止您的网页显示在搜索结果中,但 Mediapartners-Google 网页抓取工具仍能分析这些网页,以确定要向您网站上的访问者显示哪些广告。

robots目的

由于某些目录是抓取的别人文章,只是对别人写的文章的一种赞同,放在这里,但是不希望谷歌或者百度收录。因为毕竟不是自己文章,所以针对所有的用户代理会屏蔽一些目录,但是不排除在这些文章上放adsense广告,如果原作者觉得不合适,可以联系博主。博主会第一时间删除有版权问题文章。

robots规则

https://support.google.com/webmasters/answer/6062596?hl=zh-Hans
https://www.google.com/robots.txt
https://www.google.com/robots.txt