مدهش! تطبيق لنسخ ولصق الأشياء من الواقع إلى الكمبيوتر

تطبيق لنسخ ولصق الأشياء من الواقع. يتيح لك تطبيق جديد تم إنشاؤه بواسطة الفنان والمبرمج Cyril Diagne إدراج صورة لكائن في الفوتوشوب من هاتف محمول. تتم العملية تلقائيًا، وتستخدم الذكاء الاصطناعي لفصل الكائن عن خلفيته في ثوانٍ.

الواقع المعزز أصبح مألوفا في عالم الهواتف الذكية. دفعت هذه التكنولوجيا العديد من الشركات المصنعة للهواتف لإضافة جهاز استشعار أثناء التصوير. حتى الآن، كانت الاستخدامات محدودة. تقدم معظم التطبيقات عرضًا ممتعًا للواقع المعزز دون اهتمام حقيقي، أو لعرض أريكة جديدة في غرفة المعيشة الخاصة بك قبل شرائها. يقوم مشروع جديد يسمى AR Cut & Paste بتنفيذ العملية المعاكسة، أي نسخ أي كائن حقيقي ولصقه في محرر الصور.

عرض تطبيق نسخ ولصق الاشياء من الواقع

قدم العرض سيريل ديان، فنان رقمي فرنسي. في مقطع فيديو على تويتر، يلتقط صورة لثلاثة أشياء باستخدام هاتفه الذكي، ويدرجها في برنامج الفوتوشوب بمجرد التصويب على شاشة جهاز الكمبيوتر الخاص به. نسخ / لصق حقيقي من العالم الحقيقي إلى تنسيق رقمي، كل ذلك في ثوان معدودة!

4/10 - Cut & paste your surroundings to Photoshop

Code: https://t.co/cVddH3u3ik

Book: @HOLOmagazine
Garment: SS17 by @thekarentopacio
Type: Sainte Colombe by @MinetYoann @ProductionType
Technical Insights: ↓#ML #AR #AI #AIUX #Adobe #Photoshop pic.twitter.com/LkTBe0t0rF

— Cyril Diagne (@cyrildiagne) May 3, 2020

نظام ممكن بفضل التعلم العميق وتقنية الواقع المعزز

يستخدم هذا الرمز الذكاء الاصطناعي والشبكات العصبية للكشف عن حواف الموضوع الرئيسي للصورة. يسمح لك بعزل الكائن وإزالة الخلفية. من أجل إدراج الصورة في فوتوشوب، يجب استخدام OpenCV SIFT. يحدد هذا الرمز الإحداثيات الدقيقة للنقطة على شاشة الكمبيوتر المستهدفة بواسطة كاميرا الهاتف المحمول.

هو حاليًا نموذج أولي للبحث فقط، لكن العملية سريعة جدًا بالفعل. أشار Cyril Diagne إلى أن نسخ كائن يستغرق 2.5 ثانية، ولصقه 4 ثوان. وفقا له، يمكن تحسين العملية بشكل أكبر. الكود متاح، وبالتالي يمكن إعادة استخدامه من قبل أي شخص لديه بعض المهارات التقنية.

على الرغم من أن هذه التقنية يمكن تطبيقها فقط على برنامج الفوتوشوب حاليًا، إلا أنها قد تتعامل مع برامج وتطبيقات أخرى مختلفة في المستقبل القريب.

متطلبات تقنية نسخ ولصق الأشياء من الواقع للكمبيوتر

يعمل هذا النموذج الأولي على هيئة 3 وحدات مستقلة:
1. تطبيق الجوال

• التحقق من مجلد التطبيق للحصول على إرشادات حول كيفية نشر التطبيق على هاتفك المحمول.

2. خادم محلي

• الواجهة بين تطبيق الجوال و الفوتوشوب.
• يجد الموضع الذي أشارت إليه الكاميرا باستخدام نقطة الشاشة.
• تحقق من المجلد للحصول على إرشادات حول تكوين الخادم المحلي.

3. خدمة الكشف عن الكائنات وإزالة الخلفية

• في الوقت الحالي، يتم تفويض الكشف عن الكائنات المراد عزلها وإزالة الخلفية إلى خدمة خارجية.
• سيكون من الأسهل استخدام شيء مثل DeepLap مباشرة داخل تطبيق الهاتف. ولكن هذا لم يتم تنفيذه في هذه التجربة بعد.

كيفية استخدام تقنية نسخ ولصق الاشياء في الواقع

1 - إعداد الفوتوشوب

• انتقل إلى "التفضيلات> المكونات الإضافية"، وقم بتمكين "الاتصال عن بُعد" وقم بتعيين كلمة مرور سهلة الاستخدام ستحتاجها لاحقًا.
• تأكد من تطابق إعدادات مستند الفوتوشوب مع إعدادات الخادم /src /ps.py، وإلا سيتم لصق طبقة فارغة فقط.

2 - إعداد خدمة الكشف عن الأشياء البارزة الخارجية

• كما ذكرنا أعلاه، في الوقت الحالي، يجب عليك نشر نموذج CVPR 2019 كخدمة HTTP خارجية باستخدام برنامج BASNet-HTTP المجمع، والذي يتطلب وحدة معالجة رسومات CUDA.
• ستحتاج إلى عنوان URL للخدمة المنشورة لتكوين الخادم المحلي

3 - تكوين وتشغيل الخادم المحلي

• اتبع الإرشادات الموجودة في موقع GitHub لإعداد الخادم المحلي وتشغيله.

4 - تكوين وتشغيل التطبيق المحمول

• اتبع الإرشادات الموجودة في هذا المجلد لإعداد تطبيق الهاتف ونشره.