Как по сайту найти местонахождение

Методы определения местоположения пользователя

Предисловие

Всем, кто когда-либо занимался написанием систем авторизации/регистрации пользователей, наверняка приходилось задаваться вопросом: «А как узнать о пользователе больше информации?». Для чего это нужно? В большинстве случаев, для идентификации

именно этого

пользователя. Иногда — для предоставления каких-либо дополнительных возможностей и информации, в зависимости от различных социальных параметров, или, быть может, местополжения пользователя или региона проживания. Иногда, например, для проведения какого-либо скоринга. В этой статье речь пойдёт об определении географического положения пользователя.

Эффективные методы определения

Можно придумать массу методов получения георгафического положения пользователя интернета. И все эти методы будут обладать своим набором плюсов и минусов, будут более или менее эффективны, в зависимости от применения. Сейчас я опишу только те методы, которыми на данный момент пользуется проект, в котором я учавствую, т.е. те, которые я непосредственно использую. За время существования проекта по ним уже собралось достаточно статистики, из которой можно сделать некоторые выводы.

1. Данные из соц. сетей

На сегодняшний день крайне популярным стало использовать для авторизации (или в качестве дополнительной информации) аккаунты всевозможных социальных сетей и блогов, что позволяет использовать данные из них. Авторизовав пользователя таким образом, можно получить достаточно много информации о нём. Правда вот о достоверности её говорить не приходится, ведь многие указывают в соц. сетях не «действительное», а «желаемое», либо вообще первое, что пришло в голову. Отсеять подобные вещи обычно и есть основная задача для разработчика. Для этого необходимо получить информацию обо всех друзьях пользователя и сверить общие данные. Можно, например, найти наиболее часто встречаемое место проживания у коллег/однокурсников/одноклассников/друзей пользователя (в синей соц. сети, например, это делать очень удобно), и, на основе этих данных, выяснить настоящий регион, область, город и даже район города, где живёт/работает/учится пользователь.
Также, в некоторых соц. сетях, доступно получение непосредственных координат пользователя, если он онлайн. Точность этих данных, в некоторых случаях, оставляет желать лучшего, но, как минимум, район города, где находится пользователь, определить можно достаточно достоверно.

Плюсы:

• Относительно высокая точность, при использовании моделей скоринга на основе данных друзей
• У большинства пользователей есть аккаунты в соц. сетях
• Можно проверить полученные данные на достоверность, используя данные друзей

Минусы:

• Сложность реализации, т.к. необходимо изучать API нескольких соц. сетей, составлять и реализовывать модели для анализа полученных данных
• Необходимость в наличии действующего аккаунта в соц. сети у пользователя (я считаю, что, несмотря на распространённость, требовать подобные данные от пользователя, всё же, нельзя)
• Низкая скорость работы, если учитывать анализ с использованием данных друзей

Реализацию, к сожалению, предоставить не могу ибо «секрет фирмы».

2. Данные GeoIP

Наверное, самый простой и доступный каждому способ, однако, для РФ на сегодня, зачастую неточный.

Такчто полагаться полностью на данные GeoIP всё-таки можно не всегда, хотя этот способ очень удобен — ведь мы получаем информацию практически мгновенно. Для этого, обычно, используется заранее скачанная локальная база данных.

Плюсы:

• Легко использовать, есть множество реализаций на различных языках
• Высокая точность (за некоторым исключением, см. выше)
• Быстрота работы (практически мгновенное получение результата — ведь это всего 1 запрос к базе)

Минусы:

• Необходимость поддерживать базу IP в актуальном состоянии
• Отсутствие возможности проверить достоверность полученных данных (только запросами к нескольким базам)
• Достаточно большой процент ошибочных данных для РФ на данный момент (см. выше)

Описывать «как это сделать» смыла особого не вижу, ибо в сети, и, в т.ч. на хабре, полно подробных описаний. Для получения данных GeoIP существует множество бесплатных библиотек и инструментов. Например, для PHP можно использовать расширение geoip.

3. Использование JavaScript Geolocation API

Достаточно полезный и эффективный метод, но только для мобильных устройств. В случае же со стационарным компьютером — полезен не более чем GeoIP. Дело в том, что в случае мобильного устройства (современный смартфон, планшет и т.д.) будут использоваться все доступные для этого устройства и разрешённые пользователем средства определения местоположения, включая позиционирование по GPS, Wi-Fi и данным от вышек сотовой связи. А вот в случае с домашним ПК, у которого, в большинстве случаев, нет ни мобильной сети (в случае наличия GSM/3G модема данные от него не используются), ни GPS, мы сможем узнать только данные GeoIP, которые нам радостно и сообщит JS. А по поводу их точности я уже писал выше. Хотя, пренебрегать данным способом я бы не стал — ведь всё большее количество людей используют планшеты и телефоны для выхода в интернет.

В итоге данный способ имеет достаточно узкий спектр применения — мобильные устройства. Или если достаточно примерных данных по GeoIP.

Плюсы:

• Легко реализовать, множество документации и примеров в интернете
• Точный, т.к. может использоваться как позиционирование по сотовым вышкам, Wi-Fi, GPS
• Быстрый, т.к. для определения положения используется ПО со стороны клиента

Минусы:

• На домашних ПК поддерживается не во всех браузерах
• Требует разрешений пользователя
• Фактически, применим только к мобильным устройствам
• Относительно легко подделать данные

Примеры реализации можно посмотреть здесь или здесь.

4. Определение через услуги типа «локатор» от мобильных операторов

Я думаю, некоторые из читающих слышали про эти услуги, кто-то даже пользуется ими, а кому-то приходится их использовать в корпоративной среде. Я говорю об услугах, подобных «Локатор»’у от «яичной» компании и «Координатам» от жёлто-полосатой. Да, эти услуги изначально предназначены для конечных пользователей, но… Что мешает использовать их нам? Положительных моментов при использовании этого способа немного, зато каких — это высокая точность и почти 100% достоверность данных. Зато есть неприятные моменты. Во-первых — эти услуги платные. Во-вторых — необходимость использования номера мобильного телефона при регистрации и требование отправить бесплатную смс на короткий номер… Такое поведение может отпугнуть многих. Да и время получения информации по смс немалое (в рамках веб-приложения). Но, в некоторых случаях, информация подобного рода, да ещё и достоверная, просто необходима. Тем более что этот метод можно использовать как замену подтверждения кодом из смс какого-либо действия. Да и подделать информацию, получаемую таким способом, практически невозможно.

Пример рабочей реализации приводить не буду по тем же соображениям, что и в первом случае, но вкратце опишу как это делается чуть ниже.

Плюсы:

• Высокая достоверность данных, почти 100%
• Высокая точность, вне зависимости от испоьзуемого устройства и способа выхода в интернет
• Автоматически подтверждает номер мобильного телефона

Минусы:

• Сложность в реализации и поддержке
• Низкая скорость, т.к. требуется время на отправку/приём смс и ответ от пользователя
• Не бесплатен (тарифы у операторов на эту услугу весьма «прожорливые»)
• Необходимо согласие пользователя

Как сделать

Нам понадобятся:

1. Старый моб. телефон с кабелем, либо 3G/GSM модем, по одному на каждого оператора
2. Сим карты этих операторов
3. Некий ПК, желательно с *nix на борту (можно и Windows с cygwin), который будет выполнять функцию эдакого «гео-шлюза»
4. Немного терпения и времени
5. smstools3

1) В зависимости от ОС, инструкции могут отличаться, но общий смысл неизменен — необходимо скачать и установить из репозитория ПО пакет SMSTools

На Gentoo это выглядит так:

Если вам нужна статистика отправленных/полученных смс, то:

nogood-work ~ # echo "app-mobilephone/smstools stats" > /etc/portage/package.use/smstools.use

либо (если у вас все USE-флаги в одном файле):

nogood-work ~ # echo "app-mobilephone/smstools stats" >> /etc/portage/package.use

Затем ставим из портажа сам smstools:

nogood-work ~ # emerge -v smstools

These are the packages that would be merged, in order:

Calculating dependencies... done!
[ebuild  N     ~] app-mobilephone/smstools-3.1.15  USE="-stats" 0 kB

...

nogood-work ~ #

На FreeBSD так:

root@kenny:/usr/ports # cd /usr/ports/comms/smstools3
root@kenny:/usr/ports/comms/smstools3 # make install clean

Для статистики в опциях просто выбрать «STATS»

Можно собрать и из исходников, если для вашей системы нет готового пакета:

nogood-work ~ # wget http://smstools3.kekekasvi.com/packages/smstools3-3.1.15.tar.gz
nogood-work ~ # tar -zxvf smstools3-3.1.15.tar.gz -C /usr/local/src
nogood-work ~ # cd /usr/local/src/smstools3
nogood-work ~ # make
nogood-work ~ # make install

2) Подключаем модем(ы) и проверяем появились ли устройства последовательного порта в /dev

Для Gentoo:

nogood-work ~ # ls /dev |grep ttyUSB
ttyUSB0
ttyUSB1
ttyUSB2
nogood-work ~ #

Может появиться несколько портов. Обычно нас интересует ttyUSB0, если модем 1. Если больше — то подключаем по очереди. И вот перый из появившихся портов наш.

Для FreeBSD:

root@kenny:~ # ls /dev |grep cuau
cuau0
cuau0.init
cuau0.lock
cuau1
cuau1.init
cuau1.lock
root@kenny:~ #

Смысл тот же — первый из нескольких появившихся — наш.

3) Настраиваем SMSTools

smsd.conf может находится как в /etc/ так и в /usr/local/etc/ в зависимости от вашего дистрибутива. Приводим его к подобному виду:

#Список активных "модемов". Если вы планируете использовать
#несколько операторов, то, соответственно, перечисляем здесь
#модемы для каждого оператора, у меня только для одного
devices = GSM1
#Куда писать логи. Если закомментировать то по-умолчанию
#пишет в syslog. Но в этом случае не получится использовать
#такую классную вещь, как smart_logging.
logfile = /var/log/smsd/smsd.log
#Уровень ошибок.
loglevel = notice
#Хранить входящие в UTF-8. Работает не со всеми модемами, но лучше включить
incoming_utf8 = yes
#Записывать историю перекодировок в логах. На всякий случай включаем.
log_charconv = yes
#Наличие даты в имени файла. Вообще кому как удобно,
#но с этой опцией файлы легче находить по времени
date_filename = 1
#Приоритет получения смс перед отправкой
receive_before_send = yes
#Очень полезная, на мой взгляд, функция. Суть в том, что в лог
#по-умолчанию пишутся сообщения с уровнем, указанным выше.
#А вот в случае ошибки создаётся файлик с изменённым именем
#из logfile вида <name>_trouble.log в который пишется всё с уровнем debug
smart_logging = yes
#Ну и настройка каталогов спулера
failed = /var/spool/sms/failed
sent = /var/spool/sms/sent
phonecalls = /var/spool/sms/calls
stats = /var/spool/sms/stats

#А вот настройка для модема. Лучше искать под конкретную модель.
[GSM1]
#Имя COM-порта
device = /dev/ttyUSB0
#Использовать ли для приёма СМС
incoming = yes
#Способ проверки памяти СМС. Подробности лучше глянуть на оф. сайте.
check_memory_method = 2
#Обязательно закомментить, т.к. иначе не видать нам русского языка
#decode_unicode_text = yes
#Могут понадобится для вашего модема. Вот это лучше погуглить.
#init = AT+CSCS="UCS2"
#init2 = AT+CSCS="UCS2"
#Автоматически собирать смс из нескольких частей. Крайне рекомендую.
internal_combine = yes
#Сбрасывать входящие звонки. А зачем они нам?
hangup_incoming_call = yes
#Скрипт для обработки событий. Содержимое будет ниже.
eventhandler = /etc/smsd/trsms.sh
#Скрипт для обработки USSD команд. Я не использовал, но можно
#использовать для получения остатка на балансе.
#eventhandler_ussd =
#Номер. Если будете использовать несколько модемов указывать надо.
#По нему определяется через какой модем отправлять смс.
number = 79185568942
#Что делать со входящими звонками - определять номер. Необязательно.
phonecalls = clip
#Отчёт о доставке. Нам не нужен.
#report = yes
#Для моего модема нужно было включить, чтобы небыло ошибок в логе.
signal_quality_ber_ignore = yes

4) Создаём файлик trsms.sh (обработчик событий)

#!/bin/bash
status="$1"
file="$2"

case "$1" in
  RECEIVED)

    header=`head -12 $file | grep -e "^From: " -e "^Sent: " -e "^Received: "`
    from=`head -12 $file | grep -e "^From: " | awk '{print $2}'`

    if grep "Alphabet: UCS2" $file > /dev/null > /dev/null; then
        message=`tail -n +14 $file | iconv -f UCS-2BE -t UTF-8`
    else
        message=`tail -n +14 $file`
    fi
    #echo -e "$message" | mail -s "Incoming SMS from +$from" admin@yourhost.ru
    echo -e "$headern$messagen" >> /var/log/smsd/sms.log

    if echo $message | grep "Запрос на авторизацию отправлен абоненту" > /dev/null > /dev/null; then
        abon=`echo $message | awk 'BEGIN{ FS = "абоненту " } $2 { print substr($2, 2, 11) }'`
        echo -e "n> Запросt$abon" >> /var/log/smsd/location.log
    fi

    if echo $message | grep " находится по адресу " > /dev/null > /dev/null; then
        abon=`echo $message | awk 'BEGIN{ FS = "Абонент " } $2 { print substr($2, 2, 11) }'`
        adres=`echo $message | awk 'BEGIN{ FS = "адресу " } $2 { print substr($2,0,index($2, " в радиусе")) }'`
        region=`echo $adres | awk 'BEGIN{ FS = ", " } $1 {print $1}'`
        echo -e "n> Ответt$abont$adrestРЕГИОН: $region" >> /var/log/smsd/location.log
    fi
    ;;
esac

Это пример с минимальным функционалом. Пишет в лог запросы и полученные ответы для «яичного» оператора. По-хорошему ещё надо добавить условие по номеру, с которого пришло сообщение, на основе переменной from. В нём же можно будет определять и оператора. Номера у разных операторов, как правило, разные.
Не забываем дать права на запуск пользователю, из под которого будет работать smsd.

5) Запускаем демон smsd и добавляем его в автозагрузку

Для Gentoo:

nogood-work ~ # /etc/init.d/smsd start
nogood-work ~ # rc-update add smsd default

Для FreeBSD:

root@kenny:~ # echo "smsd_enable="YES"" >> rc.conf
root@kenny:~ # service smsd start

Смотрим логи. Если всё хорошо и нет сообщений об ошибках, то переходим к следующему шагу.

6) Пробуем отправить смс на свой телефон

nogood-work ~ # sendsms 79xxxxxxxxx 'текст'

Если смс прошло успешно — можно пробовать отправить смс на заветный номер услуги с соответствующим текстом, а затем проверить логи.
Далее можно будет просто вызывать из вашего скрипта команду sendsms <номер> "<текст>" и проверять, например, по крону наличие ответа по нужному номеру в файле с логами смс.

Заключение

Каждый из этих способов подходит для каких-то определённых целей и условий, и вам решать, что именно использовать. Конечно, здесь рассмотрены далеко не все способы определения местоположения. Я описал только те, что опробовал сам и считаю наиболее эффективными. Также, для достижения большей эффективности, я бы рекомендовал комбинировать их. Так это делается в нашем проекте. На этом всё. Надеюсь кому-нибудь данная информация окажется полезной.

От определения региона до получения точного адреса.

Люди могут врать. Говорить, что пошли в гости к маме, а сами в это время едут на «Сапсане» в Питер по личным делам. Или «официально» быть в командировке, а на самом деле отсиживаться в соседнем доме. Также бывают ситуации, когда хорошо бы знать, где находится человек (к примеру, дома он или нет), а спрашивать его об этом как-то неудобно.

Чтобы узнать, где находится человек надо послать ему ссылку (письмом, по Skype, через Telegram) и сделать так, чтобы он по ней перешел (дополнить ее убеждающим текстом). Ведь когда мы заходим на некий сайт, то автоматически даем владельцу данные о своем IP-адресе (по которому вычисляется город) или точные географические координаты, если по неосторожности дадим разрешение на сбор информации о местоположении.

Разберем подробнее, как это работает.

Создаем сайт

Чтобы создать сайт для «разведки» не нужно платить деньги за хостинг. Подойдет любая блог-платформа, на которой можно редактировать html-код. Например:

• WordPress.com
• livejournal.com
• Blogger

Или бесплатный конструктор сайтов:

• Wix
• Yola
• Weebly.com

Естественно, если у вас уже есть сайт, то вы можете использовать его.

Вставляем на страницу код счетчика

1. Идем на metrika.yandex.ru и нажимаем на кнопку Добавить счетчик.
2. Придумываем имя для счетчика и указываем ссылку на сайт.
3. Проверяем настройки и следим, чтобы часовой пояс совпадал с нашим.
4. Проверяем включен ли Вебвизор.
5. Копируем html-код счетчика и вставляем его на страницу, ссылку на которую будем посылать в письме.

Как заинтересовать жертву?

У каждого человека есть индивидуальный круг предметов, которые трогают его за душу и не дают пройти мимо. Это могут быть котики, Звездные войны, автоматизирующие скрипты, ретроспективы или что-то другое. Но есть некоторые темы, которые интересуют всех:

• Собственная персона («Я тут в блоге про тебя написал, почитай пожалуйста»)
• Секс («Как думаешь интимные подробности в этом тексте не слишком шокирующие?»)
• Pokemon GO

Если привязать к ним ссылку, то скорее всего человек не поленится перейти по ней.

Что покажет Вебвизор?

Теперь на вкладке «Вебвизор» в Метрике нам доступна информация о каждом посетителе, который заходил на страницы, в которые встроен код. Для нашей ситуации лучше, если кроме жертвы на них никто ходить не будет и мы сможем с уверенностью утверждать, что это именно ее посещение. Если щелкнуть на кнопочку i в самом правом конце строки c отметками о конкретном заходе на сайт, то можно узнать:

• Операционную систему посетителя;
• Браузер посетителя;
• Страну и регион посетителя.

Метрика часто ошибается с городом. К примеру, я точно знаю, что посетитель из Чусового, а Вебвизор показывает, что он из Соликамска. Также данные бывают неверными, если жертва использует VPN.

Более точный способ

C помощью HTML 5 Geolocation API можно узнать точные координаты человека, если на его гаджете включен GPS. Чтобы посмотреть как это работает, перейдите по этой ссылке и разрешите сайту узнать ваше текущее местоположение:
тест

Проверить правильность координат, можно набрав их через запятую в поиске Яндекс.Карт. В моем случае (GPS MacBook) местоположение определилось с ошибкой в 5 метров.

Проблема в том, что эти координаты видны только самой жертве. Можно сделать так, чтобы они ajax-запросом записывались в базу данных или файл на сервере. Но для этого нужен платный хостинг с поддержкой PHP (на рельсах и ноде это тоже, наверное, получится) и немного опыта.

Любой владелец сайта может собирать данные об адресах посетителей (которые привыкли на все просьбы нажимать да), если достаточно сильно захочет. Автоматически преобразовывать координаты в реальные адреса можно с помощью Яндекс.Геокодера.

Но Такой способ выходит за рамки этой статьи. Нам нужно, чтобы владелец любой страницы на бесплатном хостинге мог узнать чужие координаты.

Поэтому применим социнженерию. Перейдите по этой ссылке и полюбуйтесь на феечек Винкс. Обратите внимание на то, что в левом нижнем углу мелким шрифтом написаны ваши координаты (если вы разрешили сайту узнать свое местоположение):

На снимке экрана, при приближении их можно легко прочитать. А человек, который делал этот снимок, скорее всего, их не заметит (на картинках иногда встречаются непонятные номера и это нормально).

Как получить от жертвы принтскрин?

Можно попросить показать, как в ее браузере смотрится сайт: «Представляешь, вставил в блог форму для проведения опроса, а у меня она не отображается, все проверил, должна работать. Скажи, ты ее видишь?» «Да? Cерьезно, не верю. Пришли принсткрин» или наоборот «Как не видишь? Да ты прикалываешься?». Или попросить показать «Как смотрится верстка при твоем разрешении экрана». Готовый рецепт дать сложно, все зависит от тематики сайта, текущей ситуации и ваших отношений с жертвой.

Есть шанс, что человек почует неладное, когда картинка с феечками попросит данные о местоположении. Лучше посылать человеку для создания принтскрина страницу «Обо мне» или «О компании», на которой будет карта с вашим адресом (ее можно создать с помощью конструктора карт). Нормально, когда Яндекс.Карты спрашивают о местоположении и всплывающее окно не вызовет подозрений.

Страницу на основе которой будет создан принсткрин с координатами можно создать на основе исходного кода этого примера. Посмотреть его можно нажав сочетания клавиш Command+U/Ctrl+U

Статьи на тему любительской разведки и сбора данных:

• Как извлечь максимум информации из детализации звонков
• Что интересного можно собрать, получив доступ к чужому браузеру на 5 минут
• Что интересного можно собрать, получив доступ к чужому Mac на минуту
• 12 способов разыскать владельца сайта и узнать все про него
• 9 сервисов для поиска информации в соцсетях
• 10 веб-сервисов для анализа фотографий
• 20 фишек, как узнать все про любой сайт
• 15 фишек для сбора информации о человеке в интернете
• Как снять девушку в сети

(3 голосов, общий рейтинг: 4.67 из 5)