پروژه‌ها

تحلیل داده‌های ردیابی چشم

داده‌های پروژه Human Connectome

در این پروژه از داده‌های ردیابی چشم پروژه Human Connectome (HCP) برای بررسی توجه بصری در هنگام مشاهده محرک‌های بصری پویا استفاده کردیم. محرک‌ها شامل توالی‌های ویدیویی بودند که برای تحلیل دقیق‌تر در سطح صحنه، فریم‌به‌فریم شکسته شدند. سپس هر فریم با استفاده از مدل SAM (Segment Anything Model) بخش‌بندی شد تا اشیا و نواحی بصری جداگانه استخراج شوند.

در ادامه از مدل‌های CLIP و BLIP برای تولید خودکار برچسب‌های معنایی و توضیحات متنی برای اشیای بخش‌بندی‌شده استفاده شد. این کار داده‌های بصری را با توضیحات معنایی غنی‌تر کرد.

در نهایت تثبیت‌های چشمی نسبت به این اشیای توضیح‌گذاری‌شده تحلیل شد تا مشخص شود توجه بصری چگونه میان عناصر مختلف صحنه‌های ویدیویی طبیعی و پیچیده توزیع می‌شود.