Поиск данных в Сети: как улучшить то, что с каждым годом работает всё хуже

Поиск информации в привычных поисковых системах с годами становится всё менее точным, забивается рекламой и переоптимизированными страницами, отмечают эксперты по OSINT (Open source intelligence – Разведка на основе открытых источников). В этой связи мы решили продолжить начатый нами в 2023 году цикл материалов, посвящённых навыкам работы с источниками, и сделать ещё одну подборку ресурсов, которые способны облегчить поиск нужных данных.

Наш редактор Маргарита Бочарова на основе материалов фактчекера и OSINT-исследователя Павла Банникова, проекта «Проверено.Медиа» и путеводителей Глобальной сети журналистов-расследователей рассказывает, как улучшить результаты поисковой выдачи, где искать открытые базы данных других стран, какие инструменты и сервисы помогут прокачать навыки поиска изображений, и, наконец, что можно использовать для ориентации по Telegram.

Как эффективнее работать с поисковиками

Использовать операторы поиска Google Dorks. Их много, однако тех, которые журналисты, исследователи и фактчекеры используют в ежедневной работе, всего несколько (список тут). Все операторы можно комбинировать в рамках одного запроса. Расширенный поиск в Google работает также на основе целого ряда операторов, поэтому заучивать весь перечень Google Dorks нет смысла.

Обходить ограничения. Это можно сделать, как минимум, двумя способами. Во-первых, прибегнуть к поиску в альтернативных поисковиках, которые не собирают ваши персональные данные (DuckDuckGo, Brave). Во-вторых, использовать специальные сервисы: например, I Search From имитирует запросы с другого местоположения, позволяя получить данные из нужной страны или города.

Использовать программируемые поисковые движки. С их помощью можно настроить поиск ровно по тем ресурсам, которые необходимы для вашей работы. По этой ссылке есть список уже созданных профессионалами движков, которые позволяют, например, искать данные в различных форматах, в разных соцсетях, в статистических базах стран ЕАЭС, в базе WikiLeaks, по русскоязычным фактчекам и пр.

Какие инструменты могут помочь с поиском данных

Search Whisperer. Это ИИ-генератор поисковых запросов. Его основная задача – обойти алгоритмы Google и улучшить качество поиска. Сервис оценит качество вашего изначального запроса, предложит варианты контекста, в котором можно проводить поиск, а затем приведет ещё более детальные уточнения формулировки. О других функциях генератора читайте здесь.

AI Research Pilot. Этот онлайн-инструмент форматирует запросы для чат-ботов, чтобы эффективно искать информацию с помощью искусственного интеллекта. Пользователь указывает, какие сведения ему нужны, а сервис создаёт наилучший промпт под несколько ИИ-моделей. Сейчас доступны Chat GPT, Gemini, Perplexity, You.com, Mistral, Microsoft Copilot и DeepSeek.

Perplexity. Это поисковая система, основанная на обработке естественного языка. Нейросеть обобщает результаты поиска и выдаёт текст со встроенными цитатами и ссылками на первоисточники данных. Кроме этого, она предлагает и готовые уточняющие запросы. Базовая бесплатная версия позволяет делать три премиум-запроса в день, платная (20 долларов в месяц) – более трёхсот.

Information Laundromat. Этот инструмент помогает анализировать распространяющийся в Сети контент и метаданные сайтов. Он анализирует ссылку, заголовок или фрагмент текста и находит веб-сайты с похожим или идентичным содержанием и/или архитектурой. У системы есть свои ограничения, однако она может быть очень полезна при анализе пропаганды или отслеживании мошенников.

WayBack Machine. Это фактически архив интернета, в котором можно найти уже удалённые версии сайтов и отдельных страниц вместе с фото, текстами и контактной информацией, увидеть, как компания или человек поменяли свой сайт или поправили формулировки. Помимо этого, сервис поможет заархивировать все ваши источники данных и не позволит им бесследно пропасть из Сети.

Как находить открытые источники данных в других странах

Специалисты и энтузиасты, работающие с открытыми данными, поступательно собирают перечни источников по странам здесь. Сейчас в списке 28 государств, включая Россию и страны Центральной Азии (кроме Туркменистана). По каждой стране указаны источники статистических, кадастровых, правовых и налоговых данных. Также везде представлены способы поиска граждан страны, автотранспорта, владельцев сайтов, государственных закупок и пр.

Отдельно отметим список ресурсов, позволяющих искать информацию в открытых базах данных США. Воспользовавшись ими, можно, например, выяснить, на что американское правительство тратит деньги в моей стране, кто в США от имени моей страны занимается лоббированием, сколько людей из моей страны получили распоряжение о депортации, какие программы подготовки и военную технику получила моя страна от США, какие компании из моей страны экспортируют в США и т.д.

Какие инструменты улучшают поиск по изображениям

VisualOrigins Detector. Это сервис, который объединяет три инструмента: Google Lens, Google Fact-Check Explorer и EXIF Viewer. С его помощью можно узнать, когда интересующее вас изображение впервые появилось в Сети, становилось ли оно предметом проверки фактчекеров, и, наконец, какие метаданные можно извлечь из проверяемого фото или картинки.

Photo Sherlock. Это мобильное приложение позволяет осуществлять обратный поиск изображений с помощью трёх различных поисковых систем: Google, Yandex и Bing. Также этот инструмент может проверить происхождение постера или фотографии в журнале или газете – пользователю нужно лишь сфотографировать нужную картинку и загрузить её в приложение.

Image Search [BETA]. Заполнив простую форму, журналисты и исследователи могут подать заявку на доступ к новому инструменту, который находит все проверенные факты, касающиеся загруженной картинки. Для проверки подойдут даже скриншоты. Одна из главных функций сервиса позволяет узнать точный день, когда изображение было впервые проиндексировано Google.

Где найти бесплатные спутниковые изображения

В мире существуют как минимум две крупные программы наблюдения – Геологической службы США и Европейского агентства космических исследований. Они используют спутники Landsat и Sentinel, которые позволяют наблюдать изменения на поверхности Земли за длительное время. Управление США по геологическим исследованиям (USGS) поддерживает систему LandsatLook, а изображения с Sentinel можно просматривать на платформе ЕС Copernicus Data Space Ecosystem.

Кроме этого, большие массивы спутниковых данных предлагает Национальное управление США по аэронавтике и исследованию космического пространства (NASA EarthData). Национальное управление США по исследованию океанов и атмосферы  тоже обеспечивает несколько интерфейсов для просмотра аэрофотоснимков по всему миру (NOAA). Подробнее об этих и других сервисах для поиска спутниковых снимков читайте в пособии Глобальной сети журналистов-расследователей.

Какие сервисы облегчают поиск по Telegram

TelepathyDB. Этот сервис собирает и архивирует данные из Telegram, обеспечивая их поиск и анализ. Графики отобразят количество упоминаний о предмете вашего интереса в сообщениях за определённый период времени, общее количество просмотров страниц, уровень вовлечённости пользователей, используемые языки. Кроме того, данные можно скачать для последующего анализа.

Telemetrio. Этот сервис представляет собой обширный каталог Telegram-каналов и групп со всего мира. Созданный для маркетологов с целью отслеживания эффективности рекламы и анализа конкурентов в Telegram, он оказывает неоценимую помощь журналистам и исследователям благодаря своим функциям поиска, статистики каналов и пр.

Lyzem. Это ориентированная на Telegram и Telegraph поисковая система. Пользователь вводит интересующий его запрос, а система выдаёт результаты, которые можно разделить, получив отдельные выборки по каналам, группам, ботам, постам в Telegraph и сообщениям. Аналогично работает и пользовательская поисковая система для Telegram на базе Google Telegago.

Подписаться на @Shishkin_like