Захистіть свій веб-сайт від злодіїв із вмістом

Скажімо, ви онлайн-постачальник використаної електроніки. Ваш бізнес залежить від того хлопця, який хоче, щоб вживаний iPad знаходив ваші чудові ціни. Але ви не були б такі щасливі, якби конкурент захопив весь ваш прайс-лист, щоб просто побити ваші ціни. Як ви можете дозволити користувачам повний доступ, запобігаючи скріншовуванню вашого вмісту? Ну, ви можете використовувати ScrapeDefender, хмарне рішення проти скрабування, яке вийшло сьогодні. Я розмовляв з Робертом Кейн, генеральним директором ScrapeDefender, про те, як саме працює продукт.

Кому це потрібно?

"Ми вже працюємо з авіакомпаніями, побутовою електронікою, фінансовими ринками та іншим, як бета-клієнти", - сказав Кейн. "Будь-який веб-сайт, на якому розміщено багато важливого вмісту, прайс-листів, нерухомості … весь цей вміст може бути заготовлений масово". Кейн зазначив, що хоча одні скребки використовують прості сценарії, інші намагаються маскуватися як люди, захоплюючи сайт повільніше або використовуючи кілька ботів. "Завдання для власників полягає в тому, як я пускаю світ у світ і не допускаю до нього несанкціонованих ботів", - підсумував Кейн.

Ось тут входить ScrapeDefender. "Наш монітор - це пасивний інструмент, як Google Analytics", - сказав Кейн. "Ви вставляєте на свій сайт один рядок коду, який дозволяє нам його контролювати 24/7. Лише один рядок коду у заголовку веб-сторінки. Оскільки він пасивний, це не впливає на вашу виробничу мережу."

Інтернет-інформаційна панель

Клієнт ScrapeDefender може переглянути огляд усіх заблокованих дій по вискоблюванню, але також може викопати глибокі деталі для отримання детальної інформації. Кейн продемонстрував систему, показавши мені види діяльності, які піднімають червоний прапор. Багато хто досить відвертий. IP-адреса скрепера, як правило, робить набагато більше відвідувань сайту та звернень до сторінок, ніж у людей, і, як правило, залишається на будь-якій сторінці дуже короткий час. Навіть коли вони намагаються йти повільно і уникати виявлення, видно візерунок. Відвідування людей зазвичай надходять із полем пересилання; відвідування скребтів ботів ніколи не роблять. Усі ці критерії сприяють загальній оцінці ризику; досить висока оцінка майже завжди визначає активність вискоблювання.

"Витончені скребки використовують кілька IP-адрес", - зазначив Кейн. "Але ми використовуємо цифровий відбиток пальців для відповідних сеансів, навіть коли IP-адреса відрізняється. Це може бути сценарій, що працює на різних машинах, або різні віртуальні машини, але відбиток пальців однаковий.

Шкребок, ні скребків!

Я запитав, що станеться, коли виявиться скрепер. "Ми робимо це двома способами", - сказав Кейн. "Ми пропонуємо модуль захисту, який може блокувати їх, але ми з'ясовуємо, що в організаціях, з якими ми працюємо, встановлений власний брандмауер. Отже, у нас є API, який може надсилати підозрілі IP-адреси на їх брандмауер. "

Отже, що це коштує? Ціноутворення починається від 79 доларів на місяць і збільшується до будь-якого розміру веб-сайту. "Хтось зв’язався з нами минулого тижня, - сказав Кейн, - про веб-сайт з 25 мільйонами переглядів сторінок … в день ! Ми його підтримуємо".

Компанія здійснить сканування приблизно 150 вразливостей, пов’язаних з вискоблюванням, для нового клієнта, але будь-хто може запустити безкоштовне сканування, що перевіряє їх підмножину. Просто відвідайте веб-сайт ScrapeDefender і введіть доменне ім’я. Через кілька хвилин ви отримаєте свою відповідь.

Майбутнє

"На мою думку, " сказав Кейн, "антискриппінг зараз схожий на ранній антивірусний бізнес. Це величезна можливість. Кожен повинен буде це мати". Він зазначив, що Snapchat міг використати цю технологію для запобігання збору даних 4, 6 мільйонів користувачів і тим самим запобігти недавньому зростанню спаму Snapchat.

"CAPTCHA - це не рішення", - сказав Кейн. "Навіть якби це спрацювало, хіба вони не чули про ферми CAPTCHA? Справжнє рішення полягає в тому, щоб подивитися на поведінку та заблокувати вискоблювання поведінки".

Залишається розібратися, чи достатньо власників веб-сайтів вирішать заплатити за рішення проти антискорбування. Я буду дивитися, щоб побачити, як ця грає.