Изменения от предыдущего снапшота:

• добавлено задание таймаута чтения для сокета на основе значения таймаута чтения документа
• добавлена поддержка библиотек wolfssl и mbedtls
• добавлено отслеживание таймаутов для https
• убрана поправка на вес сервера перед записью URL PopRank в данные об URL
• исправлена компиляция без openssl
• улучшено определение OpenSSL
• добавлен ключ --enable-mcmodel для configure
• исправлены флаги компиляции свободной от нитей версии libdpsearch в случае сборки без модуля Apache
• переход на CRYPTO_THREADID для OpenSSL 1.0.0 и выше
• небольшие исправления и обновления

Изменения от предыдущего снапшота:

• Исправлена схема SQL для MySQL5
• Исправлено падение при обработке ссылок без указанной схемы
• Новое определение версии Apache
• Исправлено построение crossword секции
• HTML тэги p, option и input теперь могут быть секциями
• Более тонкая спячька для нитей при невозможности залочить мютекс
• Исправлена компиляция на FreeBSD 10
• Добавлена команда Robots collect
• Исправлено падение при задании лимита dt:minute
• Выключена обработка карт-сайтов для Server/Realm/Subnet с указанным аттрибутом nofollow
• Ряд незначительных исправлений

Я планирую прекратить поддержку Apache 1.3 в будущем, дайте мне знать, если вы все еще его используете.

Исходный код доступен на GitHub: github.com/Maxime2/cooccurrences

Когда вы выполните команду make, вы должны увидеть такой вывод:

cc -O3 -funsigned-char cooccur.c -o cooccur -lm

Example 1
./cooccur a.txt 2 < a.in | tee a.out

Checking pair d e
Count:3  cocount:3
Relative frequency: 1.00

Checking pair a b
Count:3  cocount:1
Relative frequency: 0.33


Example 2
./cooccur b.txt 3 < b.in | tee b.out

Checking pair a penny
Count:3  cocount:3
Relative frequency: 1.00

Checking pair penny earned
Count:4  cocount:1
Relative frequency: 0.25

Программа cooccur принимает два аргумента: имя файла для обработки и размер окна слов, в котором считаются частоты совместного появления. После обработки текста и заполнения этой структуры данных, программа считывает пары слов со стандартного файла ввода, по одной паре на строку, и подсчитывает частоту появления первого слова пары в текста и частоту совместного появления в тексте указанной пары слов в пределах заданного окна. Если второе слово встречается более одного раза в окне, только первое появление учитывается.

Примеры взяты отсюда:

• linguistics.stackexchange.com/a/3774
• iksinc.wordpress.com/tag/co-occurrence-matrix/

Ниже дан список изменений с момента выпуска предыдущего снапшота:

• Секция Crossword теперб включает значения аттрибута TITLE тэга IMG и значения атрибутов ALT и TITLE тэгов A и LINK, найденных на страницах, ссылающихся на индексируемый документ
• Мета PROPERTY теперь индексируется
• Мета-информация об URL теперь сохраняется для всех документов с HTTP статус-кодом < 400
• configure скрипт теперь понимает ключ --without-libextractor, позволяющий собрать dpsearch без поддержки libextractor даже если эта библиотека установлена
• Включена поддержка robots.txt для сайтов, индексируемых с использованием HTTPS
• Добавлена команда AuthPing, позволяющая посылать авторизационные запросы перед началом индексирования сайта. См. детали ниже.
• Добавлена команда Cookie
• Добавлена поддержка SOCKS5 прокси серверов без авторизации или с использованием авторизации по логину и паролю. См. детали ниже.
• небольшие исправления

Команда AuthPing

Некогторые сайтв могут отдавать немного измененный контент для зарегистрированных пользователей, например, указывать цену товара со специальной скидкой. В большинстве случаев, процесс входа на сайт заключается в отправке POST или GET HTTP-запроса на определенный URL перед тем, как вы станете получать таргетированный контент. Вы можете испольовать команду AuthPing для отправки такого идентификационного запроса перед запросом документов с этого сайта.

Например:

AuthPing "POST https://commercial-site.ext.au/user/login.php u=bot%40user.ext.au&p=super%40pass"

Эта команда задает отправку POST запроса на URL адрес https://commercial-site.ext.au/user/login.php со следующими данными CGI: u=bot%40user.ext.au&p=super%40pass

Команда AuthPing должна быть указана перед каждой командой Server/Realm/Subnet, на которую она должна воздействовать. И указанный в ней запрос будет посыдаться всякий раз, когда индексирующий поток пытается обратиться к сайте впервые с момента запуска indexer.

Использование SOCKS5 прокси

Команда Proxy теперь понимает опцию, задающую тип прокси-сервера, значение которой может быть http или socks5. Если вам нужна идентификация на SOCKS5 прокси при помощи логина и пароля, вы можете использовать команду ProxyAuthBasic для указания логина и пароля.

Например:

Proxy socks5 localhost:9050

В этоим примере задается подключение к SOCKS5 прокси системы Tor, работающей на локальной машине без использования идентификации.

<meta name="viewport" content="width=device-width, initial-scale=1">

И Гугол вас не забудет - намек, что он учитывает дружественность к мобильным при ранжировании.

Проверить дружественность вашего сайта к мобильным устройствам можно здесь: //www.google.com.au/webmasters/tools/mobile-friendly/.

Кульминация традиционного сиднейского полуночного фейерверка, которым город встречает новый год: