浏览器指纹反爬虫(vmlogin指纹浏览器)
在现行的网络爬虫检测技术中,主要有以下两大类:
- 行为检测
- 指纹识别
行为检测是通过分析网页上用户的操作(鼠标的移动、点击、滚动行为和浏览行为)来判断操作者是否是机器控制的网络爬虫。
而指纹识别则是通过分析设备和浏览器的信息来判断访问者是否为网络爬虫。
除了 navigator,还有一些其它的标志性字符串(不同的浏览器可能会有所不同),常见的特征串如下所示:
webdriver
__driver_evaluate
__webdriver_evaluate
__selenium_evaluate
__fxdriver_evaluate
__webdriver_unwrapped
__selenium_unwrapped
__fxdriver_unwrapped
_Selenium_IDE_Recorder
_selenium calledSelenium
_WEBDRIVER_ELEM_CACHE
ChromeDriverw
driver-evaluate
webdriver-evaluate
selenium-evaluate
webdriverCommand
webdriver-evaluate-response
__webdriverFunc
__webdriver_script_fn
__$webdriverAsyncExecutor
__lastWatirAlert
__lastWatirConfirm
__lastWatirPrompt
$chrome_asyncScriptInfo
$cdc_asdjflasutopfhvcZLmcfl_
反指纹识别方法
- webdriver 配置
options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-automation"])
browser = webdriver.Chrome(chrome_options=options)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})""",})
mitmproxy 篡改参数
# coding: utf-8# modify_response.py
from mitmproxy import ctx
def response(flow):
"""Modify response data
"""
if '/js/yoda.' in flow.request.url:
# Screening selenium detection
for webdriver_key in ['webdriver', '__driver_evaluate', '__webdriver_evaluate', '__selenium_evaluate',
'__fxdriver_evaluate', '__driver_unwrapped', '__webdriver_unwrapped',
'__selenium_unwrapped', '__fxdriver_unwrapped', '_Selenium_IDE_Recorder', '_selenium',
'calledSelenium', '_WEBDRIVER_ELEM_CACHE', 'ChromeDriverw', 'driver-evaluate',
'webdriver-evaluate', 'selenium-evaluate', 'webdriverCommand',
'webdriver-evaluate-response', '__webdriverFunc', '__webdriver_script_fn',
'__$webdriverAsyncExecutor', '__lastWatirAlert', '__lastWatirConfirm',
'__lastWatirPrompt', '$chrome_asyncScriptInfo', '$cdc_asdjflasutopfhvcZLmcfl_']:
ctx.log.info('Remove "{}" from {}.'.format(webdriver_key, flow.request.url))
flow.response.text = flow.response.text.replace('"{}"'.format(webdriver_key), '"NO-SUCH-ATTR"')
print(webdriver_key)
flow.response.text = flow.response.text.replace('t.webdriver', 'false')
flow.response.text = flow.response.text.replace('ChromeDriver', '')
mitmdump.exe -p Port number -s modify_response.py
想要反爬虫,隐藏浏览器指纹,我们可以通过修改代码来实现。也可以试用vmlogin指纹浏览器来达到相同的效果。
Vmlogin指纹浏览器直达|https://www.vmlogin.cc/
相对于其他同类产品都是绑定电脑登录不同,VMlogin套餐内容只和账号绑定,同个 VMLogin 账号也可以同时登录多个windows 电脑。
在很多功能上也是经用户反馈评价是同行业做得较好的,如:WebRTC功能,丰富的Selenium 浏览器自动化API等功能。
本软件不包含代理IP,需要用户自行购买第三方:YiLuProxy