海诗网 SEO新手入门系列2022(四):搜索引擎相关知识

SEO新手入门系列2022(四):搜索引擎相关知识

这是《SEO新手入门系列2021系列》的第四篇内容,前面一篇已经把搜索引擎的工作原理作了简单的介绍,可能看过SEO小也以前文章的朋友会发现,有些内容其实是已经写过的,但是为什么还要再写呢?其实SEO小

这是《SEO新手入门系列2021系列》的第四篇内容,前面一篇已经把搜索引擎的工作原理作了简单的介绍,可能看过SEO小也以前文章的朋友会发现,有些内容其实是已经写过的,但是为什么还要再写呢?其实SEO小也也有想过这个问题,有时一篇文章写一个知识点的时候,并不会很全面,即使很多篇文章写相同的知识点,也不一定会有重复,可以用不同的角度去写,有时候写着写着就会发现新的想法,这篇文章又继续写到搜索引擎爬虫,但是SEO小也尽量用不同角度去描述,如果有相似的内容就会少写点,直接附上链接,可以自己去看看。

如果要说到搜索引擎蜘蛛,那肯定不能不提robots.txt,因为 Search Engine Spider (搜索引擎爬虫)来到网站第一件事就是去访问这个文件,下面有几点需要注意的地方:

  • robots.txt文件是大小写敏感的,不要写成Robots.txt或者robots.TXT,这样都是不行的
  • 这个文件必须放在网站根目录
  • 不要把一些后台管理登录界面放在这个文件内,因为这个文件是谁都可以访问的
  • 可以把sitemap的地址放在这个文件内最底部的位置
  • 不是所有搜索引擎爬虫都会遵守这个“君子协定的”
  • 二级域名如http://subdomain.example.com都需要放置自己独立的robots.txt文件

使用robots.txt文件对于SEO来说是最基础的一步,也是最重要的一步,怎么重要?要是设置不好真的会让搜索引擎不收录你的网站的,不信的可以看看SEO小也前一段时间写的《错误的robots文件设置对SEO的影响》,就是因为错误设置了robots规则,导致搜索引擎收录下降,还好只是设置错了一个规则,如果搜索引擎读取了错误的robots.txt文件,那很有可能整个网站就不收录了,可以看看《robots.txt文件介绍》学习下robots文件的书写规则。

sitemap.xml和robots.txt是直接和搜索引擎蜘蛛打交道的两个文件,sitemap主要告诉搜索引擎网站有哪些页面,robots主要告诉搜索引擎哪些网页不能访问,可以看看《Sitemap的作用是什么-SEO基础》学习下怎么写sitemap文件,SEO小也比较懒,使用的是wordpress插件生成的,再配合搜索引擎自动提交代码。

前面已经说过robots.txt文件的重要性,下面SEO小也给大家分析下蜘蛛的行为,搜索引擎的蜘蛛和现实的蜘蛛很像,他们都是顺着自己的网爬,而搜索引擎蜘蛛的网就是URL地址,我们的网站内部,就是要把这个网做好,让蜘蛛能顺利的抓取每一个重要的网页,SEO小也在很多文章中提过,蜘蛛来到我们网站,都会有一个固定的时间,不可能无限制的爬取,我们要尽量把网页结构安排合理,像SEO小也这种个人博客,从内容页到主页,一般就是3层结构,目录树太深,蜘蛛很难一次爬完,现在市面上的网站大多都是这种层级,只要经过鼠标的两次点击,一般就能找到内容页。

其实还有很多琐碎的内容,但是不打算写在这篇文章,以后会专门写一篇来介绍一些其它细节。

本文来自网络,不代表海诗网立场,转载请注明出处:https://www.hallse.com/n/23803.html

真空玉米用微波炉加热要加水吗(真空玉米用微波炉加热会爆炸吗)

中古包买了会不会不好(中古包买了还可以再转手吗)

发表回复

联系我们

联系我们

在线咨询: QQ交谈

邮箱: 3587015498@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部