Огляд і рейтинг глибоких птахів

DeepCrawl трохи збільшив свою ціну, оскільки ми вперше подивилися на неї. Інструмент зараз починається від 89 доларів на місяць, рахунки щомісяця; 81, 50 дол. США при оплаті щорічно). Це приблизно на 10 доларів більше, ніж коштувало раніше, тому це не повинно бути проблемою для більшості клієнтів інструментів оптимізації пошукових систем (SEO). Однак, що може кинути вас, - це спрямованість на дизайн: цей інструмент призначений лише для однієї речі і лише одного: всередині веб-сайту, сканування зверху вниз. Інструменти SEO зазвичай можна згрупувати у три основні категорії. Спочатку є спеціальне дослідження ключових слів, яке допомагає вам знайти найбільш підходящі сторінки пошуку для вашого вмісту для вищого рейтингу. Далі ведеться постійний моніторинг позицій, завдяки чому ви відстежуєте свої пошукові позиції, щоб визначити, де ви отримуєте та втрачаєте позицію. Нарешті, є сканування, в якому веб-боти розбирають або окремий веб-сайт, або систематично сканують та індексують весь Інтернет. DeepCrawl не виконує Інтернет-сканування, але це дасть вашому веб-сайту приблизно настільки всеосяжний SEO "повний сканування тіла", як ви можете отримати.

Цей вид глибокого сканування сайту корисний для бізнесу різними способами. DeepCrawl - це інструмент для початківців користувачів, які хочуть висвітлити проблеми сайту, так і для досвідчених користувачів, що налаштовують їх сканування, але без обмежень доступу до даних. Сканування також полегшує моніторинг здоров’я сайтів як у режимі реального часу, так і в історичному контексті, надаючи підприємствам можливість порівнювати скани з року в рік та детально вивчати різні тенденції та типи звітів. Зазвичай вам потрібно використовувати комбінацію декількох інструментів у трьох категоріях SEO для найбільш ефективної стратегії, а сканери веб-сайтів - це те, як ви визначаєте сильні та слабкі сторони вашого власного веб-сайту та цільових сторінок.

Інструменти для вибору редакторів SEO Moz Pro, SpyFu та AWR Cloud мають набагато більшу глибину моніторингу ключових слів та позицій, але майже не мають можливості сканування та аудиту сайту. Так, наприклад, якщо ви використовували один із інструментів вибору редакторів або специфічний для ключових слів продукт, такий як KWFinder.com, для ідентифікації цільової сторінки результатів пошуку (SERP) та визначення ідеального місця для вашого вмісту, то ви запускаєте сканування DeepCrawl архітектури вашого сайту, щоб генерувати розбиття сторінки та визначати конкретні проблеми SEO, які ваш сайт потребує вдосконалення та вирішення для ранжування цієї сторінки. Те саме стосується з'ясування того, чому ваш вміст втрачає позиції в рейтингу пошуку, як це відстежується в інструменті моніторингу, такому як AWR Cloud, або проводиться аналіз першопричини щодо того, чому ваш сайт потрапив до штрафу за пошук Google і як ви можете відновити його. Рано чи пізно SEO-стратегія завжди повертається до аудиту власного сайту. Це єдина робота DeepCrawl.

Ціноутворення та плани

Як зазначається, DeepCrawl починається від 81, 50 долара на місяць, щомісяця стягується (89 доларів щомісяця) за свій план Starter, який містить 100 000 активних URL-адрес, п'ять активних проектів, а також повний доступ до інтерфейсу програмування (API). Більшість інструментів SEO резервують доступ API для корпоративних рівнів, що є певним плюсом для користувачів DeepCrawl, які хочуть більш глибокої настройки без цінової цінності підприємства.

Ще одна зміна, яка відбулася з часу останнього перегляду інструменту, - це те, що компанія усунула свої інші цінові плани. Для тих, хто хоче зареєструватися в Інтернеті на послугу, є план старту і все. Більш розширені функції та розширені можливості обслуговування тепер доступні лише для одного іншого плану: Корпоративний план. Тут є не так багато деталей, окрім цін "Bespoke", який, як ми вважаємо, означає дзвінок представнику компанії, щоб вони змогли підібрати план обслуговування та ціноутворення під ваші потреби.

Сканування веб-сайтів

Процес сканування сайту в DeepCrawl починається з швидкого налаштування в чотири кроки. У будь-якому скануванні ви можете включати до п'яти джерел, мапи сайту, веб-сайтів, аналітики, зворотних посилань та списків URL-адрес. Ідея полягає у тому, щоб полегшити ідентифікацію прогалин в архітектурі вашого сайту, за допомогою конкретних показників, яких ви не знайдете в інших інструментах сканування, таких як «Осиротілі сторінки», що сприяють руху трафіку. DeepCrawl призначений для того, щоб надати користувачам повний огляд технічного стану свого веб-сайту, з діючими даними та уявленнями для підвищення видимості SEO та перетворення органічного трафіку на прибуток.

Підписавшись на безкоштовну пробну версію DeepCrawl, інтерфейс спочатку перенесе вас на інформаційну панель проекту. Щоб налаштувати проект PCMag Test, я ввів PCMag.com як основний домен. Крок другий - це підбір джерел даних для сканування, які включають веб-сайт, мапи сайту PCMag та аналітику, до якої можна отримати доступ із активним обліковим записом Google Analytics. Ви також можете додати конкретні параметри цілі зворотної посилання та URL-адреси в межах домену (наприклад, якщо ви визначили цільові сторінки в інструменті дослідження ключових слів), завантаживши файли CSV конкретних зворотних посилань або списків URL-адрес. Також внизу сторінки є спливаюче вікно, щоб переглянути відео-посібник щодо налаштування проектів та сканування DeepCrawl.

Крок третій дозволяє встановити параметри для самого сканування. Мені вдалося переключити швидкість сканування в будь-яку точку від однієї URL до 50 URL в секунду. Звідти у мене була можливість встановити, скільки "рівнів сканування" глибокого сканування повинно пройти з домашньої сторінки PCMag, і встановити максимальну кількість URL-адрес, на яких сканування має зупинятися. Моя безкоштовна пробна версія була призначена для початку програми, тому мої URL-адреси були обмежені 100 000. Останнім кроком є ​​встановлення того, чи буде це одноразове або повторне сканування, яке може бути щогодинним, щоденним, щотижневим, двотижневим, щомісячним або щоквартальним, з можливістю встановити час початку та кінця сканування.

Це важлива функція, яку потрібно встановити, якщо вам потрібно регулярний аудит сайту, але будьте уважні з обмеженнями URL-адреси, залежно від того, який план ви вибрали. Існують також більш вдосконалені налаштування для більш глибоких обмежень сканування, виключених URL-адрес, перезапису URL-адрес та зворотних викликів API, але користувачеві, який не займається технічним SEO, не обов’язково потрібно вступати в них. Звідти я натиснув Почати сканування та отримав електронний лист через кілька хвилин, коли сканування було завершено.

На завершеній інформаційній панелі сканування ви негайно стикаєтеся зі стіною інформації. Якщо ви знаєте, що шукаєте, то вгорі є подвійні панелі пошуку, щоб знайти конкретну URL-адресу або знайти звіт про певну область архітектури сайту; це може бути все, від вмісту тіла та соціальних тегів до невдалих URL-адрес та переспрямувань веб-сайтів. Загалом DeepCrawl запустив 175 звітів за моїми URL-адресами, які в безкоштовній пробній версії виявилися обмеженими на трохи більше 10 000 - і виявили 30 проблем із сайтом та проскакували шість "рівнів" або посилань глибоко від домашньої сторінки.

На головній сторінці інформаційної панелі відображається розбивка списку всіх поточних проблем із сайтом, з якої ви можете перейти до конкретних URL-адрес, де DeepCrawl виділить помилки сторінки, такі як дублюваний вміст, зламані сторінки, надлишки посилань або сторінки із заголовками, описом та метадані, які потребують удосконалення SEO. Поруч із цим списком я виявив інтерактивне розбиття сторінки кругової діаграми найбільш поширених питань серед 10 000+ сканованих сторінок.

DeepCrawl також оновив свій користувальницький інтерфейс (UI) з моменту нашого первинного огляду, додавши сухарі на кожній сторінці, щоб полегшити навігацію до інших частин платформи та додав розділ інформаційної панелі для оцінки всіх запущених сканів в одному місці. Щодо мого домену, я виявив, що, хоча не було великих проблем із 49 відсотками моїх сторінок (більшість з них "первинні" сторінки), 30 відсотків моїх сторінок під поверхнею мали справу з помилками сервера 5xx, п'ять відсотків сторінок мають невдалі URL-адреси, і 16 відсотків сторінок були "неіндекструваними". За словами DeepCrawl, 5xx помилок, ймовірно, сталися через блокування аспектів сканування сайту PCMag або через занадто швидке сканування, щоб сервер міг обробляти. DeepCrawl також уточнив, що сторінки, позначені як основні, не обов'язково є безпроблемними, і все ще можуть бути переглянуті, щоб включити відсутні сторінки, виключати сторінки з низьким значенням та зазначати на сторінці рекомендації щодо SEO.

Деякі з інших інструментів сканування, які я перевірив, включаючи Ahrefs та Majestic, також дають вам такий розрив, включаючи основні проблеми із сайтом, а також індексацію зворотних посилань, що означає вхідні гіперпосилання з інших сайтів на ваш. Що інші не дуже роблять, це заглибитись до того, що робить DeepCrawl, особливо з розбиттями, як сторінки, захищені більш безпечним протоколом HTTPS на відміну від HTTP, що алгоритм Google враховує при ранжуванні сторінок.

DeepCrawl також надає вам інтелігентні групування сторінок (які ви можете знайти в розширених налаштуваннях під час налаштування сканування), тобто вибірка базується на відсотках сторінок, а не на кількості. Групування сторінок таким чином важливо тим, що дає вам послідовну вибірку за допомогою сканування. Подумайте про це як про науковий експеримент: якщо ви веб-сайт електронної комерції сканує 20 відсотків ваших сторінок продукту, у наступному скануванні Deepcrawl сканує ті самі 20 відсотків для сторінок, які були додані, видалені, відсутні або змінені в межах кожен звіт. Це також скорочує час та вартість сканування, оскільки ви орієнтуєтесь на конкретний підмножина сторінок, на яких ви зацікавлені.

Аналогічно, користувацькі витяги DeepCrawl можна використовувати для включення або виключення параметрів на ваш вибір. Це більш вдосконалена функція, розроблена для більш спеціалізованого сканування, щоб відточувати у фокусних місцях. Компанія також додала Preset Custom Extractions для нетехнічних користувачів, оскільки написання користувацьких виписок вимагає знання мови регулярних виразів (Regex).

Розширений звіт

Крім інтеграції GSC, найбільш помітними вдосконаленнями DeepCrawl є його можливості звітування, за які DeepCrawl додав 75 ​​нових звітів за останній рік. Крім основ - обміну та експорту звітів або додавання завдань для цього звіту, ви можете натиснути кнопку "Поділитися", щоб отримати спільне посилання на цей звіт. Потім ви можете надіслати звіт електронною поштою будь-якій кількості одержувачів. Ви також можете завантажити звіт у вигляді файлу CSV або XML-карти та налаштувати звіти за допомогою спеціального брендування.

Особливо корисна функція на основі завдань. DeepCrawl дозволив мені додати завдання для конкретних звітів (в даному випадку - списку помилок сервера 5xx) - вжити заходів щодо цієї вразливості SEO. DeepCrawl дозволяє не тільки планувати та налаштовувати сканування, але за допомогою диспетчера завдань ви можете відстежувати хід та керувати робочими питаннями та термінами. Ознака хорошого інструменту - це не лише виявлення проблеми чи можливості, але допомагає вам діяти на це з цільовими рекомендаціями. Мені було надано можливість встановити відкрите або фіксоване завдання; визначити низький, середній, високий або критичний пріоритет; встановити термін і призначити це завдання конкретним особам моєї команди. DeepCrawl дав мені відчутний шлях до вирішення проблем SEO з моїм сайтом. Тільки цільові рекомендації SpyFu та KWFinder.com надавали однакові можливості діяти на звітуваннях про SEO, і жоден з інших сканерів не включав подібну функцію дії на основі завдань.

DeepCrawl покращив ліву панель пошуку навігації, щоб також знаходити звіти з використанням ключових слів (навіть якщо ключові слова не відображаються у фактичному заголовку звітів) та фільтрувати звіти за будь-якою відповідною URL-адресою чи показником посилання. Існує також ряд нових візуалізацій даних на екранах звітів та категорій, включаючи графіки розбиття, пов’язані з ними графіки, нові графіки трендів та поліпшення UX, такі як прокрутка та перемикання графіків, а також інтерактивні пояснення щодо конкретних показників, що з’являються у даному графіку. Користувацький інтерфейс інформаційної панелі звітів також є гнучким, тобто ви можете перетягувати звіти, які потрібно відображати.

Натиснувши будь-яку URL-адресу в будь-якому звіті, ви отримуєте детальні показники на кожній сторінці. У всіх своїх звітах за URL-адресою DeepCrawl використовує спеціальний показник під назвою DeepRank, який вимірює "внутрішню вагу" посилання, обчислений аналогічно алгоритму PageRank Google. Це показник повноважень URL-адреси DeepCrawl в масштабі 0-10, який показує ваші найважливіші URL-адреси або ті, хто потребує найбільшого вдосконалення. Таким чином, хоча домашня сторінка і головні сторінки PCMag були віднесені до 8-10 діапазону, деякі сторінки, на які випущено проблеми, залишилися з DeepRank, близьким до нуля.

Окрім синхронізації з Google Analytics, DeepCrawl також включає в себе розділ даних, що розбивають сторінки робочого столу та мобільних пристроїв не лише для адаптивного веб-дизайну, але й усіх мобільних конфігурацій, включаючи окремі сторінки для мобільних пристроїв та настільних ПК, динамічні сторінки та сторінки AMP. Такі типи ключових мобільних поломок можна знайти також у SpyFu та SEMrush, але не до глибини показників DeepCrawl, а також не в будь-якому іншому інструменті відстеження сканерів та зворотних посилань, який я перевірив, включаючи LinkResearchTools.

Найбільше оновлення можливостей для DeepCrawl з моменту нашого первинного огляду - це інтеграція з консоллю пошуку Google (GSC) та ще більш просунутою функцією користувальницької роботи за сторінками (UX) та показниками ефективності сайту. Інтеграція дозволяє підключити існуючі дані про ефективність сайту DeepCrawl з органічною інформацією пошуку зі звіту Пошукової аналітики GSC. Додавши властивість Пошукової консолі як джерела URL-адреси у налаштуваннях сканування, DeepCrawl тепер може забезпечити показник показів, кліків, рейтингу кліків (CTR) та середніх показників позицій для кожної індексованої сторінки, що відображається в результатах пошуку. Звіт Google Search Analytics надає обмеження до 1000 URL-адрес в інтерфейсі GSC, але доступ до звіту через DeepCrawl дозволяє вам обійти його.

Інші інструменти SEO, такі як SEMrush та Majestic, також інтегруються з пошуковою консоллю Google, але інтеграція DeepCrawl є єдиним серед інструментів, які ми перевірили, щоб використовувати це для надання конкретних показників SERP. Завдяки інтеграції DeepCrawl випустив 10 нових звітів, два нові графіки та більш глибокі порівняння настільних / мобільних / планшетних ПК. Розбиття на пристроях та порівняння тепер містять дані GSC для кожної країни, результати пошуку та ефективність для сторінок, що підлягають індексуванню та не індексуються, сканують сторінки, отримуючи трафік від пошуку зображень, та показники на сторінках Google AMP Google.

Однією унікальною особливістю тут є показник кількості мобільних / AMP-сторінок, які отримують трафік на робочому столі, і навпаки, тобто DeepCrawl покаже, якщо ваші сторінки розміщені на неправильному пристрої. Це означає, що DeepCrawl сканує всі окремі мобільні URL-адреси або адреси AMP, щоб виділити відмінності та невідповідності між вмістом настільних та мобільних пристроїв. Звіти перевіряють, чи існують високоцінні сторінки на мобільному пристрої.

DeepCrawl також надає дані про теги в соціальних мережах, такі як сторінки з дійсними картками Twitter, а також вкладка, що просто показує ефективність сторінки з точки зору часу завантаження або часу, необхідного для "отримання" сторінки. Нарешті, інструмент надає звіти про міграцію веб-сайтів для аналізу трансляцій веб-сайтів під час міграції та звітування, зокрема на сторінках HTTP та HTTP. Це показники, які ви знайдете в інструментах моніторингу веб-сайтів, але з точки зору SEO, він може бути корисним просто для визначення сторінок, де UX поганий, та забезпечення плавної міграції веб-сайтів.

Під мікроскопом повзання сайту

DeepCrawl - найкращий інструмент для сканування, який ми перевірили з широким запасом. Він забезпечує найбільшу глибину сканування домену та звітування про SEO з надзвичайно деталізованими даними та показниками, які для новачка з SEO можуть чесно бути надзвичайно великими. Більшість зіставлених архітектури сайтів та аналізу домену, можливо, краще підходять розробникам та ІТ. PCMag не переглядає бета-функції, але DeepCrawl також випробовує експериментальний режим провідника сайту, що дозволяє візуально вивчити архітектуру сайту.

Як і у випадку домінування KWFinder.com у спеціальному дослідженні ключових слів, лазерний фокус DeepCrawl на повзанні є і його благом, і прокляттям. Цей вузький спектр його функціональності заважає DeepCrawl заробляти на виборах редактора поряд з більш повноцінними SEO-платформами Moz Pro та SpyFu. Але з точки зору самостійних можливостей сканування для сканування вашого веб-сайту чи сайтів ваших конкурентів зверху вниз, DeepCrawl є потужним SEO-мікроскопом.