На прошлой неделе компания «Поисковые технологии» официально представила новый сервис Флексум. Флексум – это продолжение «Персональных поисковиков» Новотеки: новый красивый интерфейс, новые настройки, а самое главное – возможность совместной работы над поиском, то есть создание коммьюнити вокруг тематического поиска. Сегодня на Флексуме уже более 2000 пользователей и более 600 созданных поисковиков.
Подробнее прочитать про открытие Флексума можно на Вебпланете, в Коммерсанте или на TelNews. Специально для рассылки я задал несколько вопросов Андрею Калинину, руководителю проекта Флексум. Публикуем его ответы.
1) Как ведет себя поисковый робот Флексума? Соблюдает ли он инструкции файла robots.txt, понимает ли тег noindex?
Робот выкачивает сайты по тем определениям, которые дал ему пользователь. То есть, он начинает с указанных точек входа, скачивает их и, если глубина выкачки позволяет, выделяет оттуда ссылки. Проверяет ссылки на соответствие параметрам выкачки, указанным автором (ограничивающие и обеляющие маски, выход за пределы каталога), добавляет подходящие ссылки в очередь выкачки, после чего выкачивает страницы из очереди и т.п.
Робот соблюдает robots.txt и не качает лишнего, а индексатор понимает тег noindex и не добавляет в поисковый индекс данные внутри этого тега.
2) Что такое квота? Для чего она может пригодиться?
У нас есть две квоты: общая для пользователя и квота для сайта. Общая квота это ограничение на суммарный объем всех html-ных страниц, который может быть выкачан роботом для поисковиков пользователя. Сейчас для каждого нового пользователя выделяется общая квота в 200МБ, которая при заполнении может быть доведена шагами по 200МБ до 1ГБ.
Квота для сайта - это назначаемый пользователем параметр, позволяющий ограничить объем выкачки с данного сайта, то есть если для некоторого сайта указано ограничение выкачки в 100МБ, то с него не будет выкачано более 100МБ. Нужно понимать, что если сайт прекратил выкачиваться именно из-за использованной квоты, то это ошибка, которую автор поисковика должен исправить. Ведь нельзя же считать сайт полноценно выкачанным, если от него в поиске участвует только половина его страниц, причем какая конкретно половина используется, определяется не желанием пользователя, а алгоритмом обхода сайта нашим роботом.
Если квота под один сайт была выбрана, то нужно либо увеличить квоту, либо попытаться оценить, какие документы были проиндексированы и не попало ли в результаты поиска лишнего. В этом случае нужно воспользоваться механизмом создания нескольких точек выкачки, попробовать указать ограничивающие маски.
Вообще, несмотря на то, что квоты являются ограничением нашего сервиса, они заставляют автора более точно описывать сайт и, как следствие, получить лучший поиск за счет лучшего отбора страниц.
3) Если увеличить квоту у одного сайта (скажем до 40 мегабайт), то у других будет индексироваться меньший объем?
Не обязательно. Если суммарная квота всех сайтов меньше общей квоты авторов, то все сайты будут индексироваться в пределах своей квоты. В противном случае, первый сайт, на котором будет выбрана общая квота, выкачается частично, а следующие за ним сайты не выкачаются совсем.
Мы думаем над тем, как уйти от фиксированных квот в мегабайтах, попытаться вычислять квоты динамически в зависимости от важности сайтов и общей квоты, но пока что не очень получается сформулировать понятный для автора алгоритм распределения мегабайтов его общей квоты по сайтам.
4) Как долго индексируются сайты?
Вообще, один сайт индексируется недолго; однако, я думаю, что вопрос скорее подразумевает как скоро будут проиндексированы сайты после добавления автором. Могу гарантировано сказать, что новые сайты будут проиндексированы в течение 12 часов, обычно значительно быстрее.
5) Сможет ли автор поиска влиять на релевантность результатов созданного поиска?
Да, автору доступны для этого два инструмента. Во-первых, возможность назначения рейтинга сайтам в поиске; во-вторых, возможность написания собственных статей под определенные автором запросы к поисковику. Тогда первым результатом соответствующего запроса всегда будет написанная автором статья.
6) По какому принципу строится рейтинг участников Флексума?
Рейтинг символизирует качество поисковиков, созданных автором, их востребованность, социальную активность самого автора. Алгоритм расчета рейтинга мы не публикуем. Со временем, кстати, он может меняться.
7) Какое развитие ждет Флексум в ближайшее время?
В ближайшее время появится:
- возможность задавать маски индексации. То есть, сейчас все что выкачал робот попадает в индекс, включая индексные страницы, вся ценность которых в навигационных ссылках, дающих доступ к информационным документам. Маски индексации позволят выкачать навигационные страницы, но исключить их из индексации и тем самым улучшить качество поиска
- выкачка RSS-потоков
- прием webmoney и биллинг, соответственно авторам будет проще воспользоваться нашими платными услугами
- увеличение общей квоты автора, снижение тарифов
- возможность импорта большого количества сайтов из XML или CSV форматов
- особый интерфейс для опытных авторов, позволяющий проще работать с большим количеством сайтов
Кроме того, мы постоянно работаем над улучшением качества самого поиска и построением рефератов поисковой выдачи.
8) Будет ли в будущем возможность устанавливать приоритеты сайтам в зависимости от географии пользователя?
Если будет востребованность в такой функциональности, то мы можем ее добавить. Пока что таких запросов от пользователей еще не было.
| 
