Нестандартний метод для розбудови спільноти навколо сайту запропонував проект Hacker News, який належить відомому венчурному фонду Y Combinator. Сайт заблокував доступ до індексації свого контенту усім пошуковим машинам.
В чому ж перевага в блокуванні контенту від пошуковиків? Адже всім прекрасно відомо, що переважна більшість сайтів боряться за зовсім іншу мету – зробити все можливе для того, щоб пошуковики їх максимально глибоко проіндексували. Все це потім виллється в додаткових відвідувачів сайту.
Але на думку власників Hacker News, випадкові відвідувачі сайту більше шкодять йому, ніж приносять користі. На сьогоднішній день навколо проекту сформовано доволі потужну і численну спільноту, яка має свої внутрішні правила, свої звички, своїх лідерів, свої смаки. Розбудова та ріст цієї спільноти є завданням №1. А трафік з пошуковиків не сприяє виконанню цього завдання, а лише шкодить. Велика кількість чужаків розчиняють ядро спільноти і шкодять їй.
Закритись від пошуковиків сьогодні не складно. Hacker News для цього у файлі robots.txt, який відповідає саме за “роботу з пошуковими системами”, додав рядок User-Agent: * Disallow, що блокує доступ пошуковим ботам до інформації, яка знаходиться на сайті. Тобто відтепер з індексу Google та інших пошуковиків зникне контент цього сайту.
