--- url: /blog/dl5b3l1q/index.md description: >- 搜索引擎的妙用，打开新世界的大门，强烈建议阅读新手理解新手阅读理解搜索引擎原理（Principle of Search Engine），搜索引擎，通常指的是收集了万维网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建… --- ## 搜索引擎的妙用，打开新世界的大门，强烈建议阅读新手理解 ## 新手阅读理解 * 搜索引擎原理（Principle of Search Engine），搜索引擎，通常指的是收集了万维网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。再经过复杂的算法进行排序(或者包含商业化的竞价排名、商业推广或者广告)后，这些结果将按照与搜索关键词的相关度高低（或与相关度毫无关系），依次排列。 ### 它的整个工作过程大体分为信息采集、信息分析、信息查询和用户接口四部分。 * 信息采集是网络机器人扫描一定IP地址范围内的网站，通过链接遍历Web空间，来进行采集网页资料，为保证采集的资料最新，网络机器人还会回访已抓取过的网页； * 信息分析是通过分析程序，从采集的信息中提取索引项，用索引项表示文档并生成文档库的索引表，从而建立索引数据库； * 信息查询是指用户以关键词查找信息时，搜索引擎会根据用户的查询条件在索引库中快速检索文档，然后对检出的文档与查询条件的相关度进行评价， * 最后根据相关度对检索结果进行排序并输出 ## 知识点 * 信息采集，分析，查询，接口四个部分 * 问我们当在google随意输入一个查询的内容的时候，其实只是返回一个内容相关性在数据库的返回，通过模糊搜索的方法很难高效的找到我们要的结果，所以我们要进行对用户搜索接口进行学习和了解 ## 常见的搜索引擎入口,看了原理所以你懂了，每家的搜索引擎基本就是一个巨大的索引数据库，每家爬虫爬取和存储的内容都不一样，所以多用不同的搜索引擎入口也能带来不同的效果 ### 国内 * [https://baidu.com](https://baidu.com/) * [https://so.com](https://so.com/) * [https://soso.com](https://soso.com/) * [https://sogou.com](https://sogou.com/) * [https://youdao.com](https://youdao.com/) * [https://bing.com](https://bing.com/) * [https://weixin.sogou.com](https://weixin.sogou.com/) ### 国外 * [https://sg.search.yahoo.com](https://sg.search.yahoo.com/) * [https://google.com](https://google.com/) * [https://duckduckgo.com](https://duckduckgo.com/) * [http://www.ask.com](http://www.ask.com/) * [http://www.search.aol.com](http://www.search.aol.com/) * [http://www.wolframalpha.com](http://www.wolframalpha.com/) * [http://www.yandex.com](http://www.yandex.com/) * [http://www.webcrawler.com](http://www.webcrawler.com/) ### 搜索引擎的高级用法语法学习\[每家的搜索语法都大差不差，自行搜索解决语法问题] ```markdown 1. 完全匹配搜索 查询词外加上 双引号" " 不会被拆开成词分别搜索 2. 标题含有关键词,网页标题搜索 intitle:参数, 如intitle: pornhub 3. 指定文档格式 加上filetype: 参数, 如filetype: pdf则可以指定过滤结果为pdf 4. 去除不想要的结果 sbsbsb -百度文库 5. 运算 OR AND | 图片|视频就会返回"图片"的搜索结果和"视频"的搜索结果 6. *通配符 *擎 就可以搜索出搜索引擎 7. 括号运算，多命令 (site:pornhub.com And aa) 8 define 查词汇的定义 define: anime 9. Cache 缓存快照 Cache:sina.com 10. related: 类似网站 related: coursera.com 11. allintitle: 网页标题包含以下所有关键词 allintitle:诸葛亮 王司徒（冒号后面不能有空格） 12. inurl: 网址中包含特定的词 inurl:iphone（冒号后面不能有空格） 13. allinurl: 网址中包含以下所有词 allinurl:apple iphone 14. intext: 只找网页里的文字（不搜索标题、网址等其他部分） intext:apple iphone（冒号后面不能有空格） 15. allintext: 只找网页里的文字，包含以下所有关键词 allintext:apple iphone 16. AROUND(X)：两个词距离在X之内 apple AROUND(4) iphone（搜到的是apple和iphone两个词距离不超过4的结果） ``` ## 如何检索想要的内容 * 实战下如何快速获取信息 * 来源V1佬突然有一天问了我怎么快速获取空投的订阅信息，那我就举个例子进行实践\ 首先翻译下空投【Airdrop】这个单词，然后我要的是汇总订阅信息，那么我先进行全局搜索，看下一般空投项目都是在哪里发布，然后发现Twitter.com上有很多发空投项目的信息，最后去Twitter上找到一些telegram的频道，那么我可以确定基本就是，Twitter + Airdrop + telegram的网站 * 通过上面的分析和总结，那么我们打开 输入学习到的语法 [站点限定为Twitter.com](http://xn--twitter-e73k670h3e8bvjxax86e.com/) 关键字为Airdrop，限定内容为 [https://t.me](https://t.me/) 那么下面的搜索语法就产生了 ```bash site:"twitter.com" Airdrop "https://t.me" ``` [![image](./assets/搜索引擎的妙用/e1aff07e4f87785b635b4550932945ccef44f872_2_690x425.png)](https://cdn3.linux.do/original/3X/e/1/e1aff07e4f87785b635b4550932945ccef44f872.png "image") ## 实战2，例如我想找下Combo List的论坛，我怎么做呢？ BBS，海外，地下论坛，带TXT内容，带Crack [![image](./assets/搜索引擎的妙用/42c9456c70a0fc450339ecca147e46bb57f9c903_2_690x464.png)](https://cdn3.linux.do/original/3X/4/2/42c9456c70a0fc450339ecca147e46bb57f9c903.png "image")