User-Agent - это строка с характеристиками, по которым сервера и сетевые узлы могут определить тип приложения, операционную систему, производителя и/или версию пользовательского агента.
Общий формат для веб-браузеров
User-Agent: Mozilla/5.0 (<system-information>) <platform> (<platform-details>) <extensions>
- <product> Идентификатор приложения — его название или кодовое имя.
- <product-version> Версия приложения
- <comment> Может быть пустым или содержать дополнительную информацию. Например, информацию о приложении.
Согласно RFC
Поле заголовка "User-Agent" содержит информацию о пользовательском агенте, отправившем запрос, которая часто используется серверами, чтобы помочь определить масштаб проблем совместимости, чтобы обходить или адаптировать ответы, чтобы избежать определенных ограничений агента пользователя, а также для анализа использования браузера или операционной системы.
Агент пользователя ДОЛЖЕН посылать поле User-Agent в каждом запросе, если только он специально не настроен не делать этого.
Агент пользователя НЕ ДОЛЖЕН генерировать поле User-Agent, содержащее ненужные детали, и ДОЛЖЕН ограничивать добавление подполей третьими лицами.
подпродуктов третьими сторонами. Слишком длинные и подробные значения поля User-Agent увеличивают задержку запроса и риск того, что пользователь будет идентифицирован против его желания.
Аналогичным образом, реализациям рекомендуется не использовать продукт токены продуктов других реализаций для того, чтобы заявить о совместимости с ними, поскольку это обходит цель поля. Если пользовательский агент маскируется под другого агента пользователя, получатели могут предположить, что пользователь намеренно желает видеть ответы, адаптированные для идентифицированного агента пользователя, даже если они могут работать не так хорошо для реального используемого агента.
Примечание
В случае использования не корректного User-Agent некоторые сайты могут отображаться не правильно.
Так же User-Agent является параметром которым управляет сам пользователь и он может являться поддельным, к примеру некоторые боты или сканеры маскируются под активность пользователя подставляя легетимный User-Agent.
При этом поле User-Agent не является обязательным, но некоторые сайты при этом блокируют доступ к ресурсу, так как подобное поведение свойственно ботам.