Показывает связь оценки результатов измеряемого конструкта с внешним критерием релевантность что

Измерения релевантности и корреляция пунктов опросника с внешними критериями

В основе исследования лежало предположение, что психометрические свойства пунктов опросников (например, то, насколько высоко эти пункты будут коррелировать с внешними критериями – с тестами интеллекта и креативности) будут зависеть от их культурной релевантности. Для проверки этой гипотезы был проведен множественный регрессионный анализ (для интеллекта и креативности отдельно), в котором зависимой переменной выступала корреляция каждого из пунктов опросника с соответствующим внешним критерием (интеллектом и креативностью), а предикторами – средние по всей выборке оценки релевантности каждого из пунктов, полученные на 2-м этапе. Результаты регрессионного анализа представлены в табл. 1.10. Они говорят о том, что как для интеллекта, так и для креативности значимыми предикторами корреляции опросников с внешними критериями являются прототипичность (связь положительная) и ценность (связь отрицательная). В случае двух опросников два значимых предиктора объясняют сходный процент дисперсии – 30% для интеллекта и 34% для креативности, а также имеют одинаковую для интеллекта и креативности направленность связей с зависимой переменной. Таким образом, можно говорить об универсальности выявленной зависимости для двух конструктов.

Табл. 1.10. Результаты множественного регрессионного анализа (ЗП – корреляция пунктов с интеллектом, НП – оценки релевантности пунктов опросника)

Измерения релевантности и высота самооценки

Для того чтобы выяснить, как зависит высота самооценки по опроснику от ценности, частотности и прототипичности входящих в него баллов был проведен множественный регрессионный анализ, в котором зависимой переменной являлись высота самооценок испытуемых по каждому из пунктов опросника, а предикторами – оценки релевантности. Результаты анализа представлены в табл. 1.11, из которой следует, что уровень самооценки интеллекта и креативности положительно предсказывается такими измерениями релевантности как ценность и частотность. Как и в случае с корреляцией пунктов опросника с внешними критериями, данная зависимость является универсальной для двух конструктов.

Табл. 1.11. Результаты множественного регрессионного анализа (ЗП – средний балл по пункту, НП – оценки релевантности пунктов опросника)

II. Межкультурное сравнение: сходства и различия

Этап: сравнение оценок частотности, ценности и прототипичности в двух выборках.

Табл. 1.12. Коэффициенты корреляции между оценками релевантности пунктов опросников, данными русской и немецкой выборками (Spearman’s rho)

Этап: Оценки релевантности как предикторы уровня корреляции пунктов опросника с внешними критериями: различия между культурами в процентах объясняемой дисперсии

В первом разделе, касающемся результатов проведенного исследования, были приведены обобщающие для всей выборки данные, свидетельствующие о том, что связь пункта опросника с внешними критериями тем выше, чем выше его прототипичность и ниже ценность.

Источник

SEO-термин: Релевантность

Показатель релевантности определяет качество и эффективность работы поисковой системы. Существует специальный поисковый алгоритм, определяющий, насколько информация релевантна запросу пользователя. Выражаясь проще, соотношение количества ключевых слов, имеющихся в поисковом запросе и употребленных в тексте, к общему объему текстового контента, определяет релевантность страницы. Оптимальный процент вхождений ключевых словосочетаний, указывающий на высокую релевантность сайта, задан у каждой поисковой системы индивидуально. Если поисковых фраз меньше, чем нужно, то поисковик их просто не заметит. Увеличенное вхождение ключевых слов грозит попаданием в спам-фильтр, что ведет к неприятным последствиям и ограничениям. Средний процент вхождений ключевых слов рассчитан на уровне 2-5 %.

Определение релевантности

Поисковые системы имеют важнейшее значение в виртуальном пространстве, с их помощью пользователю быстро и просто предоставляется любая интересующая информация. Но регулярное увеличение количества сайтов в геометрической прогрессии привело к тому, что на один запрос посетителя выдавалось десятки тысяч различных сайтов. Представленные ресурсы могли быть как с добросовестным, уникальным контентом, так и некачественными, бесполезными и не уникальными. Сложившаяся ситуация вынудила поисковые системы разработать методику отбора сайтов по принципу релевантности, эта мера позволила подбирать для пользователей ресурсы, наиболее соответствующие их запросам.

Сначала поисковые системы определяли релевантность страницы по характеристикам и качеству содержания. Имели значение следующие критерии:

R=PR*(T+L)

где R – показатель релевантности;

PR (авторитетность сайта) – значение внешних характеристик ресурса, не зависящих от ключевых слов;

T (текстовая релевантность) – показатель того, насколько содержание сайта согласовывается с запросом пользователя;

L (ссылочная релевантность) – показатель того, насколько входящие ссылки на документ соответствуют поисковому запросу.

Представленная формула лишь примерно отражает суть использования поисковиками алгоритма ранжирования и дает представление об отборе ресурсов по принципу релевантности. Однако, имея общее представление, заниматься оптимизацией намного удобнее.

Внутренние критерии релевантности

Основным качественным показателем внутренней релевантности являются ключевые фразы и слова, а точнее частота их использования на странице. Частое применение какого-либо словосочетания определяется системами как ключевое слово. Если при поиске пользователь введет запрос с найденными фразами, которые являются в тексте ключевыми и соответствуют форме запроса, то ресурс будет признан релевантным.

Расположение ключевых фраз или слов также имеет существенное значение. Например, если запрос совпадает с заголовком документа, то поисковик будет рассматривать данный ресурс, как наиболее релевантный.

Также при определении релевантности значение имеют следующие факторы:

Внешние критерии релевантности

Внешние параметры релевантности зависят от цитируемости ресурса и определяются ссылочной популярностью. То есть в данном случае релевантность сайта определяется ее востребованностью и популярностью среди пользователей Интернета. Когда остальные ресурсы ссылаются на конкретный сайт, у него увеличивается авторитетность. Этот фактор характеризует сайт как качественный и полезный ресурс с уникальной информацией.

Поисковые службы по-разному определяют уровень и степень цитируемости, но при этом используют алгоритмы со схожими механизмами действия. На основе этих алгоритмов была создана первая система оценки и ранжирования интернет-ресурсов PageRank. Авторами алгоритма стали основатели крупнейшего поисковика Google – американские студенты Ларри Пейдж и Сергей Брин.

Яндекс тоже не отстает от конкурентов и аналоговой системой оценки в нем является ВИЦ, созданный в 2001 году. Аббревиатура расшифровывается как взвешенный индекс цитирования. По словам авторов проекта, при расчете индекса используется алгоритм, аналогичный PageRank. Такой показатель цитируемости присваивается для каждой конкретной страницы отдельно. В течение года после создания сервиса с показателем индекса можно было ознакомиться в «Яндекс-Баре». Но оптимизаторы стали искать способ фиктивного повышения данного показателя, и значения стали скрытыми. В распоряжении мастеров по оптимизации остались лишь значения тематического индекса цитируемости (ТИЦ), которые можно найти в каталоге Яндекса.

С 2002 года поисковая системы Рамблер также стала применять коэффициент популярности. Для расчёта коэффициента поисковик использует информацию о количестве ссылок на ресурс и данные о посещаемости, основание на показателях счетчика Top100.

Но все же самым первым испытателем данного алгоритма была поисковая система «Апорт», которая начала использовать для расчета авторитетный вес ресурса с 1999 года.

Источник

Как измерить релевантность контента

Оценка контента одна из главных составляющих формулы релевантности. Знание текстовых признаков и вклад каждого из них в оценку сайта позволит приблизиться к более профессиональной работе с ресурсом. В данной статье будет рассмотрена модель, позволяющая восстановить формулу ранжирования по каждому конкретному запросу, указана значимость определение тематики сайта при продвижении по определенному запросу, а также проработан вопрос, связанного с определением неестественного текста.

Восстановление формулы ранжирования

Если переводить данную задачу в область математики, то входные данные можно представить набором векторов, где каждый вектор – множество характеристик каждого сайта, а координаты в векторе – параметр, по которым оценивается сайт. В описанном векторном пространстве обязательно должна быть задана функция, определяющая отношение порядка двух объектов между собой. Эта функция позволяет ранжировать объекты между собой по принципу «больше — меньше», однако при этом сказать, насколько именно одно больше или меньше другого – нельзя. Такого вида задачи относятся к задачам оценки порядковой регрессии.
Наши сотрудники разработали алгоритм на основе модели линейной регрессии с регулируемой селективностью, который позволил с определенной долей погрешности восстановить ранги сайтов и спрогнозировать изменение выдачи при соответствующих корректировках параметров сайта. Первым шагом алгоритма является обучение модели. В данном случае обучающая выборка представляет собой результаты ранжирования сайтов в рамках одного поискового запроса. Упорядоченность сайтов в рамках поискового запроса фактически означает, что в признаковом пространстве существует некоторое направление, на которое объекты обучающей выборки должны проектироваться в нужном порядке. Это направление и является искомым в задаче восстановления формулы ранжирования. Однако судя по рис.1, таких направлений может быть много.

Рис. 1. Выбор направляющего вектора

Для решения данного вопроса был рассмотрен подход, лежащий в основе метода опорных точек, а именно – выбор такого направления, которое будет обеспечивать максимальное удаление объектов друг от друга.
Следующая задача, которая была решена — выбор стратегии обучения. Рассматривалось два варианта – сокращенная стратегия обучения, при которой учитывается порядок двух соответствующих элементов, и полная стратегия, которая учитывает весь порядок объектов. В результате экспериментов была выбрана сокращенная стратегия, которая заключается в решении следующего уравнения:(1)
, где — решение стандартной задачи квадратичного программирования при линейных ограничениях: , где
— симметричная матрица
— вектор коэффициента
— разница векторов характеристик

Данный подход на различных выборках (100 признаков и 500 признаков на 20 различных множествах поисковых запросов) показал хорошие результаты (см. табл. 1).

Таблица 1. Результаты сокращенной модели

Рис. 2. Восстановленные коэффициенты регрессии при n=100

Рис. 3. Восстановленные коэффициенты регрессии при n=500
Если говорить о результатах на конкретных запросах, то проведенные эксперименты дают следующий показатель ошибка

Таблица 2. Ошибки вычислений

При работе над проектом данный подход использовался для прогнозирования позиций при конкретном изменении на сайте. Подобные эксперименты проводились на базе текстовых признаков. Первоначально были собраны данные по сайтам из ТОП20 по рассматриваемому запросу, затем данные подвергались стандартизации с помощью соответствующего алгоритма. После чего выполнялся алгоритм непосредственно по вычислению «релевантности» с помощью метода квадратичного программирования.
Полученные значения релевантности сайта сортируются и делается вывод о восстановленных позициях.

Таблица 3. Восстановление позиций

Было выявлено, что наибольшее влияние на позиции при ранжировании запроса «шиномонтажное оборудование» вносят признаки: наличие в Яндекс каталоге, вхождение первого слова из запроса «шиномонтажное», вхождение в h1 первого слова запроса «шиномонтажное», вхождение в title страницы второго слова запроса «оборудование».
Были произведены соответствующие корректировки в параметрах сайта и запущена программа. В результате был дан прогноз на соответствующую позицию.

Рис. 4. Программа, восстанавливающая формулу ранжирования

На сайте были произведены все эти изменения, после очередного апдейта сайт занял позиции, близкие к прогнозируемым. Первоначальная позиция была 50, после указанных изменений она составила ТОП20.

Рис.5. Результаты продвижения запроса «шиномонтажное оборудование»

Измерение тематики текста

В работе с восстановлением формулы ранжирования была подтверждена значимость измерения тематической близости тематики текста по отношению к тематике всего сайта. Подобную метрику можно построить на базе расчета косинуса между векторами соответствующих тематики страницы, релевантной запросу, и всего сайта: (2)

где и соответственно обозначение вектора тематичности сайта и рассматриваемого документа.
N – число слов в словаре коллекции. Вес каждого слова j в документе Di рассчитывается по формуле:(3)

где countij – число вхождений слова в документ, IDFwj — обратная частота слова в коллекции. После расчета веса каждого слова в документе, вектор нормируется:(4)

Аналогичным образом строится вектор и для всего сайта, при этом текст сайта получается объединением текстов всех входящих в него документов.
Таким образом, алгоритм определения тематической ценности документа можно представить в следующем виде:
1) Определяется словарь, в котором отсутствуют редкие и стоп-слова, т.е. IDF слов, формирующих словарь, лежит в диапазоне значимых слов.
2) Строится N-мерный вектор тематичности для рассматриваемого документа , используя формулы 3 и 4.
3) Строится N-мерный вектор тематичности для всего сайта , используя формулы 3 и 4.
4) С помощью (2) устанавливается близость векторов и . Чем ближе вектора, тем тематическая ценность документа выше.

На основе данной модели была написана программа, позволяющая определить тематическую схожесть рассматриваемого документа и текстовой составляющей самого сайта. Эксперименты проводились на базе 3 групп сайтов: с одинаковой тематикой, с близкой тематикой, с разной тематикой. Всего было обработано 200 статей. В результате обработки были получены следующие данные по 20 группам «1 тестовый документ / 9 обучающих документов», представленные в таблице.

Таблица 4. Результаты проверки тематической полноты

Из таблицы видно, что предложенный метод определения тематической полноты информационного ресурса работает на практике: проверяемые документы, расположенные на сайтах с более полно раскрывающейся тематикой, имеют более высокие показатели. Однако были выявлены и недочеты разработанной системы. Во-первых, на сайтах часто находятся неинформативные или малоинформативные страницы (формы заказов, обратной связи, контакты и т.п.). Во-вторых, при выборе случайно заданного количества обучающих текстов можно отобрать нетематические страницы. В-третьих, в качестве тестовых текстов могут попасться неспецифический контент, но близкие по тематике, например – правописание того или иного слова. В-четвертых, существуют сайты, которые охватывают разные тематические направления, при этом пересекающихся по смыслу (интернет-магазины, новостные сайты, банки рефератов).
При перечисленных недочетах общая картина позволяет оценить тематическую полноту ресурса. В качестве примера рассмотрим сайт тематики «логистика» с запросами, касающимися оборудования (на сайте присутствует каталог, помимо информации о логистике). Сайт зарегистрирован в Яндекс.Каталоге и имеет рубрику «экспедирование и перевозка грузов»:

Рис. 6. Рубрика, присвоенная в Каталоге.Яндекса

При использовании рассмотренного выше метода был сделан вывод, что тематическая полнота продвигаемых страниц не полная по отношению к запросам тематики «перевозка и доставка из Китая», но достаточная большая по отношению к тематике «оборудование». Соотношение страниц «логистика: оборудование» составляло соответственно «30:200». Соответственно, и позиции, и трафик был лишь у запросов, связанных с оборудованием. При этом приоритетна была «логистика». Для решения проблемы было написано письмо в Яндекс с целью получения развернутой информации. Однако был получен стандартный ответ «Платона» об улучшении и развитии сайта, но в целом все в порядке.
В качестве решения стоял выбор между развитием требуемой тематике на сайте и разнесением двух тематик на разные поддомены. Выиграла необходимость получить быстрый результат. Были составлены ТЗ на перенос направления «оборудование» на поддомен, а на основном сайте сохранена информация по «логистике», а так же на развитие ресурса путем добавления новых релевантных тематике страниц. Результат изменений представлен на рис. Запросы по оборудованию успешно перешли на поддомен и заняли положительные позиции. А после добавления тематических страниц по логистике и запросы по перевозкам, стали показывать положительную динамику.

Рис. 6. Результаты продвижения, после разведения тематик

Таким образом, за счет схемы «поддомен + домен» получилось без потерь разнести тематики и за счет этого повысить релевантность каждой из тематик по-отдельности и добиться положительную динамику по запросам.

Измерение естественности текста

Требования попадания в Яндекс.Каталог ужесточаются. В последнее время приходится сталкиваться с тем, что при проверки сайта, сотрудники яндекса сообщают о некачественном контенте. Выявить данный факт вручную на большом сайте представляется проблемой. Поэтому в настоящий момент ведутся работы по анализу признаков данных текстов. Расскажу о некоторых из них. Можно выделить два основных подхода в получении спам-текста: замена русских букв латинскими и генерация контента, лишенного смысла.
Первый подход вскрывается путем выявления измененных слов с помощью инвертированной частоты и сравнением с установленной эмпирическим путем критической величиной. Слова, образованные заменой русских букв аналогичными латинскими, являются редкими словами с точки зрения статистики употребления. С помощью инвертированной частоты по общей коллекции можно выявить такие слова. Каждому элементу текстового узла , ставится в соответствие значение с помощью функции инвертированной частоты fh:(5)

В качестве функции инвертированной частоты были рассмотрены:(6), (7), (8).

Здесь D – число документов в коллекции, DF – количество документов, в которых встречается лемма, CF – число вхождений леммы в коллекцию, TotalLemms – общее число вхождений всех лемм в коллекции. Из этих вариантов лучший результат в эксперименте, также как и в исследовании Гулина А. показал ICF (7), поэтому где – число вхождений леммы в рассматриваемом тексте, – общее число вхождений всех лемм во множестве.
Чем больше значение функции fh, тем реже слово встречается. Для получения интервала ICF значимых слов была написана программа, на вход которой подавались тексты различного содержания (устранение тематического влияния). Программа обработала порядка 500 МБ текстовой информации. В результате обработки был получен словарь обратных частот слов ICF в нормальной форме. Лемматизация слов была осуществлена с помощью парсера mystem, компании Яндекс. Все элементы словаря были отсортированы в порядке увеличения обратной частоты. В результате анализа данного словаря был получен интервал значимых слов: [500; 191703].
Для установления критерия выявления спам-текстов, также вводится критическая величина Hкрит и производится подсчет Hp процента слов, чья характеристика превышает установленную эмпирическим путем критическую величину Hкрит :(9)

В качестве критической отметки используется процент незначащих слов – 50% (наибольший показатель частоты служебных слов — 37.60%, а придуманных слов автором в среднем — 5.63%). Большой процент употребления в одном тексте таких словообразований Hp будет свидетельствовать о том, что документ является сгенерированным.
Однако сайтов с такими спам-текстами достаточно мало. Второй подход более распространен. Существует класс неестественных текстов, порожденных с помощью генераторов на основе цепей Маркова. На основе исследований Павлова А.С. была предложена модель, позволяющая выявлять такие тексты.
Вся текстовая составляющая B документа D имеет ряд признаков , трудно контролируемых автором. Для построения автоматического классификатора неестественных текстов используются выделенные признаки в машинном обучении. В качестве разрабатываемого подхода лежит алгоритм на основе деревьев решений C4.5. Сам алгоритм определения неестественного текста выглядит следующим образом:

Рис. 7. Алгоритм определения сгенерированного контента

Для получения дерева решений была подготовлена база естественных текстов в размере 2000 и база неестественных текстов объемом также 2000, часть найдена в интернете, часть сгенерирована, остальные получены путем синонимизации документов-образцов или путем перевода с иностранных языков. Исходной коллекцией стала коллекция ROMIP By.Web. Инструменты генерации и синонимизации были найдены в интернете (TextoGEN, Generating The Web 2.2, SeoGenerator и другие).
Полученный набор текстов делился на две равные части. Первая группа использовалась в качестве обучающей выборки, а вторая часть – тестовый набор. Обе выборки имели равное количество документов-образцов и порожденных текстов.
Для процесса обучения была написана программа, которая по каждому тексту строила вектор, оценивающий параметры, влияющие на определение естественности текста. Согласно исследованию Павлова А.С. наибольший вклад в обучение вносит список параметров, определяющих текстовое разнообразие и частоту использования частей речи. В таблице представлен список наиболее ценных признаков для классификации русскоязычных текстов, для каждого признака указана F-мера и тип признака.

Таблица 5. Наиболее ценные признаки для классификации текстов

По полученным векторам P каждого из документа D строилось дерево решений. Данная процедура проводилась с помощью аналитической платформы Deductor Studio Academic версии 5.2. В Deductor в основе обработчика «Дерево решений» лежит модифицированный алгоритм C4.5, решающий задачи классификации. В результате было построено дерево со 157 узлами и 79 правилами. На рис. представлена часть полученного дерева. Полученные правила использовались в основной программе при определении спам-текстов сайта.

Рис. 8. Дерево решений. Аналитическая платформа Deductor 5.2.

Рис. 9. Результат работы программы по анализу текстов

На практике данный подход помог обнаружить причину отсутствия динамики по запросам. Программа обнаружила сгенерированные тексты на всех страницах категорий сайта. При расследовании было выяснено, что они представляют контент машинного перевода этого же сайта, но английской версии.

Рис. 10. Тексты на страницах категорий

После редактирования данных текстов даже только на продвигаемых страницах, была получена хорошая динамику: запросы из ТОП500 сразу попали в ТОП10 за 9 недель.

Рис. 11. Пример измененного текста.

Рис. 12. Изменение позиций по неделям после выкладки.

В заключение необходимо отметить, что разработка рассмотренных функционалов — не обязательна! Она полезна при глобальных исследованиях поисковых машин. При продвижении сайта достаточно выработать подход, позволяющий точечно работать с запросами на основе анализа ТОПа. Для этого существует много естественных инструментов:
1) Проверьте, сколько по запросу релевантных страниц на сайте и сравните с конкурентами – сможете оценить текстовую полноту сайта
2) Обратите внимание на подсвеченные слова в многословных запросам в сохраненной копии – помощь при составлении текстов, на сколько далеко могут стоять друг от друга слова
3) Используйте язык запросов. Например, анализируя выдачу по точному запросу и без кавычек, можно выявить проблемы с текстовой составляющей
4) Через расширенный поиск ищите запрос по конкретным сайтам и анализируйте, какие страницы и почему выше продвигаемой
5) Результаты Вебмастера.Яндекса и Вебмастера.Гугл, данные метрики и GA также помогут выявить проблемы и провести работу с ними.
Целенаправленная деятельность по запросам всегда дает положительный результат.

Авторы статьи: Неелова Н.В. (к.т.н., руководитель отдела ПП Ingate), Поленова Е.А. (руководитель группы ПП Ingate).

Источник