Robots.txt 设置与站长平台提交 - 阳光文体-点滴回忆

当前状态：允许搜索引擎索引

一、本站目前情况

本站目前没有允许搜索引擎索引

设置-阅读-对搜索引擎的可见性：建议搜索引擎不索引本站点（打勾）

Robots.txt 内容如下，意思是禁止抓取整个网站。

User-agent: *
Disallow: /

二、以后发展

等待基本稳定运行后会允许搜索引擎索引，会修改相关设置。

1、WordPress 相关设置修改

设置-阅读-对搜索引擎的可见性：建议搜索引擎不索引本站点（不勾选）

2、Robots.txt 内容修改

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /category/*/page/
Disallow: /tag/*/page/

Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /attachment/
Disallow: /comments/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /wp-*.php
Sitemap: https://ygwt.lengchangying.cn/sitemap.html

sitemap 的具体内容在下面的代码中。

三、站长平台提交

1、使用 Google XML Sitemaps 插件生成网站地图

【注意】网站的移动端适配

2、提交网站地图链接到百度、360、Bing

【注意】要提交网站地图链接和打开网站地图之后显示的链接。

【注意】xml、html、txt 格式都要提交。

我的网站提交的是下面的链接

https://ygwt.lengchangying.cn/sitemap.xml
https://ygwt.lengchangying.cn/sitemap.html
Sitemap:https://ygwt.lengchangying.cn/allpage.txt

https://ygwt.lengchangying.cn/sitemap-misc.xml
https://ygwt.lengchangying.cn/sitemap-tax-category.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-04.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-03.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-02.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-01.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-11.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-10.xml
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-03.xml
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-01.xml
https://ygwt.lengchangying.cn/sitemap-archives.xml
https://ygwt.lengchangying.cn/sitemap-misc.html

https://ygwt.lengchangying.cn/sitemap-tax-category.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-04.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-03.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-02.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-01.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-11.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-10.html
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-03.html
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-01.html
https://ygwt.lengchangying.cn/sitemap-archives.html

3、提交文章链接到搜狗（百度、360、Bing）

获取 wordpress 网站所有文章链接

相关平台链接如下

四、提交的网站地图

除 xml 和 html 格式的网站地图外（上面代码部分），还提交了

https://ygwt.lengchangying.cn/allpage.txt

https://ygwt.lengchangying.cn/sitemap.txt

用于生成本站全部文章链接的网址为