यदि आप designer, developer, small business owner या marketing professional है, तो आपको यह सीखना चाहिए कि search engines कैसे काम करते है।
Search कैसे काम करता है इसकी स्पष्ट समझ है आप में तो आपको एक ऐसी वेबसाइट बनाने में मदद मिल सकती है जिसे search engines पूरी तरह से access, index और rank कर सकते है, जिसके कई benefits है।
यह पहला कदम है जिसे आपको Search Engine Optimization (SEO) या किसी अन्य SEM (Search Engine Marketing) कार्यों से निपटने से पहले उठाना होगा।
इस post में आप सीखेंगे कि users को जानकारी खोजने, व्यवस्थित करने और प्रस्तुत करने के लिए search engines कैसे काम करते है।
Search Engine क्या है?
Search engine एक complex software system है जो web पर खोज करके ऐसे web pages ढूंढता है जो users की search query का जवाब देते है।
खोज परिणाम (SERPs) users जो खोज रहा है उसके importance और relevance के क्रम में प्रस्तुत किए जाते है।
Modern search engines अपने परिणामों में विभिन्न प्रकार के content शामिल करते है, जिनमें articles, images, videos, social media post और forum postings शामिल है।
सबसे popular search engine Google है, जिसकी internet पर हिस्सेदारी 90% से अधिक है, इसके बाद Bing, DuckDuckGo और अन्य का स्थान आता है।
Search Engines कैसे काम करते है?
Search engines उनके web crawlers का उपयोग करके सार्वजनिक रूप से उपलब्ध pages को crawl करके काम करते है।
Web crawlers (spiders या bots) विशेष programs होते है जो नए pages या updated content खोजने के लिए web को crawl करते है और इस जानकारी को search index में add करते है।
यह प्रक्रिया तीन main stages में विभाजित है:
- पहला Stage – जानकारी की खोजने की प्रक्रिया है।
- दूसरा Stage – Information को organize करना है।
- तीसरा Stage – यह तय करना है कि search query के परिणामों में कौन से pages दिखाए जाएं और किस क्रम में दिखाए जाएं।
इसे आम तौर पर Crawling, Indexing और Ranking के रूप में जाना जाता है।
1. Crawling
Crawling प्रक्रिया के दौरान, search engines का लक्ष्य internet पर सार्वजनिक रूप से उपलब्ध जानकारी को खोजना होता है। इसमें नए content या मौजूदा content में किए गए update शामिल है। वे crawlers नामक कई software programs का उपयोग करके ऐसा करते है।
एक complicated process को सरल बनाने के लिए, आपके लिए यह जानना जरूरी है कि crawler का काम internet को scan करना और websites को host करने वाले servers (webservers) को ढूंढना है।
Crawler सभी web servers और प्रत्येक server द्वारा host की गई websites की list बनाते है।
Crawler प्रत्येक website पर जाते है और विभिन्न techniques का उपयोग करके यह पता लगाते है कि उनमें कितने pages है और प्रत्येक page पर content का प्रकार क्या है।
किसी webpage पर जाते समय, वे अधिक से अधिक pages को खोजने के लिए किसी भी link (internal या external) को follow करते है।
वे ऐसा लगातार करते है और वेबसाइट में किए गए परिवर्तनों पर नज़र रखते है, ताकि उन्हें पता रहे कि कब नए pages जोड़े या हटाए गए, कब links update किए गए है।
यदि आप इस बात पर विचार करें कि आज internet पर 130 trillion से अधिक individual pages है, तो आप कल्पना कर सकते है कि यह कितना बड़ा काम है।
Crawling Process की value क्यो करे?
Search engines के लिए website को optimize करते समय आपको पहले यह सुनिश्चित करना है कि वे इसे सही ढंग से access कर सके, अगर वे आपकी website को read नहीं कर सकते है, तो आपको high ranking या search engine traffic के संदर्भ में ज्यादा उम्मीद नहीं करनी चाहिए।
जैसा कि अभी अपने पढ़ा crawlers के पास, करने के लिए बहुत सारा काम होता है और आपको उनका काम आसान बनाने का प्रयास करना चाहिए।
यह सुनिश्चित करने के लिए कई चीजें है कि crawlers बिना किसी समस्या के सबसे तेज तरीके से आपकी website को search और access कर सके।
- Robots.txt का उपयोग करके यह specify करें कि आपकी वेबसाइट के कौन से page पर आप crawler को access नहीं करना देना चाहते है।
- Google और Bing जैसे बड़े search engines के पास ऐसे tools (webmaster tools) होते है, जिनका उपयोग करके आप उन्हें अपनी वेबसाइट के बारे में अधिक जानकारी दे सकते है, ताकि उन्हें इसे self search की आवश्यकता न पड़े।
- अपनी वेबसाइट के सभी important pages को list करने के लिए XML sitemap का उपयोग करे ताकि crawlers यह जान सकें कि changes के लिए किन pages पर नज़र रखनी है।
- Search engine crawlers को किसी particular page को index न करने का निर्देश देने के लिए “noindex” tag का उपयोग करे।
अधिक जानकारी के लिए आप technical SEO पोस्ट को पढ़े, ताकि आप सही से जान सके।
2. Indexing
Search engine बनाने के लिए सिर्फ़ crawling ही काफ़ी नहीं है, Crawlers द्वारा पहचानी गई जानकारी को organize, sort और store किया जाना चाहिए ताकि search engine algorithms इसे users को उपलब्ध कराने से पहले process कर सके। इस process को Indexing कहा जाता है।
Search engines किसी page पर पाई जाने वाली सभी जानकारी को store नहीं करते है, लेकिन वे कुछ चीजें रखते है जैसे कि वह कब created/updated किया गया है, page title और description, content का प्रकार, संबंधित keywords, incoming और outgoing link तथा कई अन्य parameters जो उनके algorithms के लिए आवश्यक है।
Google अपने index को एक बहुत बड़ी किताब के पिछले हिस्से के रूप में describe करना पसंद करता है।
Indexing Process की value क्यो करे?
यह बहुत सरल है, यदि आपकी website उनके index में नहीं है, तो यह किसी भी search में दिखाई नहीं देगी।
इसका यह भी अर्थ है कि search engine indexes में आपके जितने अधिक pages होंगे, उतना ही किसी के द्वारा question type करने पर आपकी search results में आने की संभावना उतनी ही अधिक होगी।
ध्यान दें कि यहाँ ‘Search results में दिखाई देना’ शब्द का उल्लेख किया है, जिसका अर्थ है किसी भी स्थिति में, तथा जरूरी नहीं कि वह top positions या pages पर हो।
SERPs (search engine results pages) के पहले 5 positions पर प्रदर्शित होने के लिए, आपको search engine optimization (SEO) process का उपयोग करके अपनी वेबसाइट को search engines के लिए optimize करना होगा।
कैसे पता करें कि वेबसाइट के कितने pages Google index में शामिल है?
आपकी वेबसाइट Google में index है या नहीं उसे पता करने के दो तरीके है।
Google open करे और site operator के बाद अपने domain नाम का उपयोग करे। उदाहरण के लिए, site:absehindi.in आपको पता चल जाएगा कि किसी विशेष domain से संबंधित कितने pages Google index में शामिल है।
दूसरा तरीका यह है कि आप एक Google Search Console account बनाएं और उसमें अपनी वेबसाइट add करे। फिर indexing > pages के अंतर्गत स्थित Indexed Pages report देखे।
3. Ranking
प्रक्रिया का अंतिम stage, Search engines के लिए यह तय करना है कि SERPs में कौन से pages दिखाए जाएँ और जब कोई व्यक्ति कोई query type करे तो उसे किस क्रम में दिखाया जाए।
इसे ranking प्रक्रिया कहा जाता है और इसे search engine ranking algorithms के उपयोग के माध्यम से प्राप्त किया जाता है।
सरल शब्दों में कहे तो ये software के ऐसे हिस्से है जो कई नियमों का उपयोग करके यह तय करते है कि किसी search query के लिए कौन से परिणाम best होंगे।
ये rules और decisions उनके index में उपलब्ध जानकारी के आधार पर बनाए जाते है।
Search Engine Algorithms कैसे काम करते है?
Search engine algorithms सभी internet users की queries के लिए सबसे अच्छा match content खोजने के लिए कई factors और signals की जांच करते है।
इसमें users द्वारा type किए गए शब्दों के लिए relevance content, page की उपयोगिता, users का location, अन्य users को particular query के लिए क्या उपयोगी लगा और उसके आलावा कई factors शामिल है।
यह mention करना important है कि पिछले कुछ वर्षों में search engine ranking algorithms वास्तव में जटिल हो गए है। आज से 20-25 साल पहले यह users की queries को page के title से match करके results दिखा देते थे, लेकिन अब ऐसा नहीं है।
Google का ranking algorithms कोई निर्णय लेने से पहले उसके 255 से अधिक नियमों पर विचार करता है, लेकिन कोई भी निश्चित रूप से नहीं जानता कि ये नियम क्या है।
Search engines सभी web pages पर मौजूद content की सीमाओं के अंदर और बाहर के parameters के आधार पर निर्णय लेने के लिए machine learning और AI का उपयोग करते है।
इसे समझना आसान बनाने के लिए, यहां search engine ranking factors कैसे काम करते है, इसकी एक सरल process दी गई है:
Step1: User की Query का विश्लेषण करे
Search engines के लिए पहला कदम यह समझना है कि users किस प्रकार की information search कर रहा है।
ऐसा करने के लिए वे user की query (यानि की search term) को कई several meaningful keywords में विभाजित करके उसका विश्लेषण करते है।
Keyword एक ऐसा शब्द है जिसका एक specific purpose और meaning होता है।
उदाहरण के लिए, जब आप “user-friendly theme कैसे बनाएं” type करते हैं, तो सर्च इंजन को ” कैसे करें” शब्दों से पता चल जाता है कि आप user-friendly theme बनाने के instructions की तलाश कर रहे है, और इस प्रकार results में themes बनाने वाली websites की list मिल जाती है।
यदि आप “Buy refurbished products” खोजते है, तो वे buy और refurbished शब्दों से जान जाते है कि आप कुछ खरीदना चाहते है और results में e-commerce website का list आ जाती है।
Machine learning ने उन्हें संबंधित keywords को एक साथ जोड़ने में मदद की है। उदाहरण के लिए, वे जानते है कि “WordPress में theme कैसे change करे” query का अर्थ इस “WordPress में theme कैसे change करे” के समान है।
वे spelling mistakes, plural words तथा natural languages (written या voice search) से प्रश्न का अर्थ निकालने में भी काफी smart होते है।
Step 2: Matching Pages को ढूंढना
दूसरे step में उनके index को देखना और यह तय करना है कि कौन से pages किसी question का best answer दे सकते है।
यह search engines और webmasters दोनों के लिए पूरी प्रक्रिया में एक बहुत ही important step है।
Search engine को fastest possible way से result देने की आवश्यकता होती है ताकि वे अपने users को खुश रख सके। Webmasters चाहते है कि उनकी website को चुना जाए ताकि उन्हें traffic और visits मिले।
यह वह step भी है जहां अच्छी SEO techniques जो algorithms द्वारा लिए गए decisions को प्रभावित कर सकती है।
आपको यह अंदाज़ा देने के लिए कि matching कैसे काम करता है, उसे समझने के लिए यहां important factors दिए गए है:
Title और content relevance: Page का title और content किसी भी user की query के लिए कितना relevance है?
Content का प्रकार: यदि users किसी images के लिए पूछता है, तो results मे content नहीं, बल्कि images होंगी।
Content की Quality: Content संपूर्ण, useful और informative, unbiased और विषय के संबधित सभी पहलुओं को कवर करनी चाहिए।
Website की Quality: Website की overall quality मायने रखती है। Google उन websites के pages नहीं दिखाएगा जो उनके quality standards को पूरा नहीं करते है।
Publication Date: News से संबंधित प्रश्नों के लिए, Google latest results दिखाना चाहता है, इसलिए publication date पर भी विचार किया जाता है।
Page की Popularity: इसका संबंध इस बात से नहीं है कि किसी website पर कितना traffic है, बल्कि इस बात से है कि दूसरी websites उस खास page को कैसे देखती है। जिस page पर दूसरी websites से बहुत सारे references (backlinks) है, उसे बिना links वाले pages से ज़्यादा popular माना जाता है।
Page की भाषा: Users को pages उनकी भाषा में दिखाए जाते है, यानि की content ढूंढने के लिए सिर्फ English पर निर्भर नहीं रहना है।
Web Page Speed: Website की loading speed अच्छी होनी चाहिए जिससे फायदा हो, Page लगभग 2-3 second में load हो जाना चाहिए।
Device का प्रकार: Mobile पर search करने वाले users को mobile-friendly pages दिखाए जाते है।
Location: अपने area में search करने वाले users को उनके location से संबंधित results दिखाए जाएंगे।
जैसा कि पहले बताया गया है, Google अपने algorithms में 255 से ज़्यादा factors का इस्तेमाल करता है ताकि यह सुनिश्चित किया जा सके कि उसके users अपने results से खुश है।
Step 3: Users के समक्ष Results प्रस्तुत करे
Search results जिन्हें आमतौर पर search engine results pages (SERPs) के रूप में जाना जाता है, जो एक ordered list में प्रस्तुत किए जाते है।
SERPs के layout में अक्सर विभिन्न elements शामिल होते है जैसे कि organic listings, featured snippets, people also asked, people also search, paid advertisements, rich snippets, knowledge graphs और बहुत कुछ, जो query की प्रकृति पर निर्भर करता है।
उदाहरण के लिए, किसी specific news की खोज करने पर हाल ही के news articles सामने आ सकते है, जबकि किसी local food court की खोज करने पर आस-पास के स्थानों वाला map प्रदर्शित हो सकता है।
Search engine ranking algorithms कैसे काम करता है, इसकी value क्यों करे?
Search engine से traffic प्राप्त करने के लिए, आपकी website को results के first page पर top positions पर दिखाई देना चाहिए।
यह statistically proven है कि ज्यादातर users हमेशा top 5 results (mobile और desktop दोनों) में से एक पर click करते है।
Results के दूसरे या तीसरे page पर प्रदर्शित होने से आपको कोई traffic नहीं मिलेगा।
अगर आप search engines कैसे काम करते है यह अच्छी तरह से समझ गए तो website को adjust करने में, ranking और traffic बढ़ाने मे मदद मिल सकती है।
आखिर में
Search engines बहुत जटिल computer programs बन गए है। उनका interface सरल हो सकता है लेकिन जिस तरह से वे काम करते है और निर्णय लेते है वह कठिन है।
यह प्रक्रिया crawling और indexing से शुरू होती है। इस phase के दौरान search engine crawlers, internet पर उपलब्ध सभी websites से अधिक से अधिक information collect करते है।
वे इस information को खोजते है, sorting करते है और ऐसे format में store करते है जिसका search engine algorithms निर्णय लेने और users को best possible results लौटाने के लिए कर सकते है।
उन्हें बहुत ज़्यादा data store करना पड़ता है और यह प्रक्रिया पूरी तरह से automated है। Human intervention केवल विभिन्न algorithms द्वारा उपयोग किए जाने वाले नियमों को design करने की process में किया जाता है, लेकिन यह कदम भी धीरे-धीरे artificial intelligence की मदद से computer द्वारा replace किया जा रहा है।
एक webmaster के रूप में आपका काम simple और straightforward structure website बनाकर उनके crawling और indexing कार्य को आसान बनाना है।
जब वे बिना किसी समस्या के आपकी वेबसाइट को read कर सकते है, तो आपको यह सुनिश्चित करने की आवश्यकता है कि आप उन्हें उनकी search ranking algorithms में मदद करने के लिए सही संकेत दे।
और जब कोई users कोई relevant query type करता है तो वह सीधा आपकी वेबसाइट को चुने, इसीको तो SEO कहते है।
उम्मीद करता हु की इस पोस्ट में आपको search engines के काम के बारे में पता चला होगा। Blogging की शुरुआत इन सारी information को जानकर ही हो सकती है।