Robots.txt 设置与站长平台提交

                           
2020年04月06日

当前状态:允许搜索引擎索引

一、本站目前情况

本站目前没有允许搜索引擎索引

设置-阅读-对搜索引擎的可见性:建议搜索引擎不索引本站点(打勾)

Robots.txt 内容如下,意思是禁止抓取整个网站。

User-agent: *
Disallow: /

二、以后发展

等待基本稳定运行后会允许搜索引擎索引,会修改相关设置。

1、WordPress 相关设置修改

设置-阅读-对搜索引擎的可见性:建议搜索引擎不索引本站点(不勾选)

2、Robots.txt 内容修改

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /category/*/page/
Disallow: /tag/*/page/

Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /attachment/
Disallow: /comments/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /wp-*.php
Sitemap: https://ygwt.lengchangying.cn/sitemap.html

sitemap 的具体内容在下面的代码中。

三、站长平台提交

1、使用 Google XML Sitemaps 插件生成网站地图

【注意】网站的移动端适配

2、提交网站地图链接到百度、360、Bing

【注意】要提交网站地图链接和打开网站地图之后显示的链接。

【注意】xml、html、txt 格式都要提交。

我的网站提交的是下面的链接

https://ygwt.lengchangying.cn/sitemap.xml
https://ygwt.lengchangying.cn/sitemap.html
Sitemap:https://ygwt.lengchangying.cn/allpage.txt

https://ygwt.lengchangying.cn/sitemap-misc.xml
https://ygwt.lengchangying.cn/sitemap-tax-category.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-04.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-03.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-02.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-01.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-11.xml
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-10.xml
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-03.xml
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-01.xml
https://ygwt.lengchangying.cn/sitemap-archives.xml
https://ygwt.lengchangying.cn/sitemap-misc.html

https://ygwt.lengchangying.cn/sitemap-tax-category.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-04.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-03.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-02.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2020-01.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-11.html
https://ygwt.lengchangying.cn/sitemap-pt-post-2019-10.html
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-03.html
https://ygwt.lengchangying.cn/sitemap-pt-page-2020-01.html
https://ygwt.lengchangying.cn/sitemap-archives.html

3、提交文章链接到搜狗(百度、360、Bing)

获取 wordpress 网站所有文章链接

相关平台链接如下

站点管理_站长工具_百度搜索资源平台

搜狗站长平台_公平开放的交流平台

360站长平台-站长平台

必应Bing - 网站管理员工具

四、提交的网站地图

除 xml 和 html 格式的网站地图外(上面代码部分),还提交了

https://ygwt.lengchangying.cn/allpage.txt

https://ygwt.lengchangying.cn/sitemap.txt

用于生成本站全部文章链接的网址为

https://ygwt.lengchangying.cn/1158746770.php

五、模拟搜索引擎蜘蛛

抓取诊断_模拟百度蜘蛛抓取工具

搜索蜘蛛、机器人模拟抓取-站长工具

模拟蜘蛛爬行_爱站网

模拟抓取_爱站网

模拟蜘蛛抓取百度搜狗360谷歌spider蜘蛛模拟器爱写稿

爬虫模拟抓取工具,可模拟百度、Google等网络蜘蛛 … - 在线工具

网页蜘蛛模拟抓取测试工具超级蜘蛛工具超级蜘蛛池

冷场莹