当前状态:允许搜索引擎索引
一、本站目前情况
本站目前没有允许搜索引擎索引
设置-阅读-对搜索引擎的可见性:建议搜索引擎不索引本站点(打勾)
Robots.txt 内容如下,意思是禁止抓取整个网站。
User-agent: *
Disallow: /
二、以后发展
等待基本稳定运行后会允许搜索引擎索引,会修改相关设置。
1、WordPress 相关设置修改
设置-阅读-对搜索引擎的可见性:建议搜索引擎不索引本站点(不勾选)
2、Robots.txt 内容修改
User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /attachment/
Disallow: /comments/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /wp-*.php
Sitemap: https://ygwt.lengchangying.cn/sitemap.html
sitemap 的具体内容在下面的代码中。
三、站长平台提交
1、使用 Google XML Sitemaps 插件生成网站地图
【注意】网站的移动端适配
2、提交网站地图链接到百度、360、Bing
【注意】要提交网站地图链接和打开网站地图之后显示的链接。
【注意】xml、html、txt 格式都要提交。
我的网站提交的是下面的链接
https://ygwt.lengchangying.cn/sitemap.xml
https://ygwt.lengchangying.cn/sitemap.html
Sitemap:https://ygwt.lengchangying.cn/allpage.txt
https://ygwt.lengchangying.cn/sitemap-misc.xml
https://ygwt.lengchangying.cn/sitemap-tax-category.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-04.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-03.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-02.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-01.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-11.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-10.xml
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-03.xml
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-01.xml
https://ygwt.lengchangying.cn/sitemap-archives.xml
https://ygwt.lengchangying.cn/sitemap-misc.html
https://ygwt.lengchangying.cn/sitemap-tax-category.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-04.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-03.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-02.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-01.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-11.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-10.html
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-03.html
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-01.html
https://ygwt.lengchangying.cn/sitemap-archives.html
3、提交文章链接到搜狗(百度、360、Bing)
相关平台链接如下
四、提交的网站地图
除 xml 和 html 格式的网站地图外(上面代码部分),还提交了
https://ygwt.lengchangying.cn/allpage.txt
https://ygwt.lengchangying.cn/sitemap.txt
用于生成本站全部文章链接的网址为
https://ygwt.lengchangying.cn/1158746770.php
五、模拟搜索引擎蜘蛛