Data Science بالعربي

يدور موضوع الحلقة حول ثلاث أدوات "ثقيلة" ومتقدمة تهدف إلى إدارة البيانات الضخمة

(Big Data) وضمان جودتها: PySpark، وDVC، وGreat Expectations.1. PySpark (سيد البيانات الضخمة)

• الغرض الرئيسي: معالجة البيانات الضخمة (Petabytes) من خلال المعالجة الموزعة (Distributed Computing) والتوسع (Scaling).
• مقارنة مع Pandas: بينما تعمل Pandas على جهاز واحد وتتقيد بالذاكرة العشوائية (RAM)، يقوم PySpark بتوزيع البيانات والعمليات على عنقود (Cluster) من الأجهزة.
• المميزات الأساسية:
  • التسامح مع الأخطاء (Fault Tolerance): يستخدم مفهوم RDD (Resilient Distributed Datasets) لاسترجاع البيانات المفقودة تلقائياً عبر تتبع Lineage Graph للعمليات.
  • In-Memory Computing: يفضل إبقاء البيانات في الذاكرة لزيادة السرعة (أسرع بـ 100 مرة في بعض الحالات).
• الدمج مع Pandas: يمكن استخدام بيئة Pandas المألوفة داخل PySpark من خلال:
  • Pandas API on Spark: لكتابة كود Pandas عادي يتم تنفيذه بواسطة محرك Spark القوي.
  • Pandas UDFs (Vectorized UDFs): لتوزيع تنفيذ الدوال المعقدة على Cluster باستخدام تقنية Apache Arrow.

2. DVC (Data Version Control)

• الغرض الرئيسي: هو تخزين وتتبع نسخ (Versioning) الملفات الكبيرة والبيانات الخام، وهي مهمة لا يستطيع Git القيام بها بكفاءة.
• الفرق بين DVC وMLflow: هما أداتان مكملتان لبعضهما:
  • MLflow: هو "كراسة النتائج" ويهتم بتسجيل الـ Metrics والـ Parameters والـ Model النهائي (Tracking).
  • DVC: هو "المخزن الذكي" ويهتم بتخزين "تاريخ" تغيّر البيانات (Versioning).
• التكامل: يقوم الفريق الشاطر باستخدام DVC لأخذ "Snapshot" للداتا، وتسجيل الـ Hash الناتج في MLflow كـ Parameter، مما يضمن قابلية استنساخ النتائج الكاملة (Reproducibility).

3. Great Expectations (حارس جودة البيانات)

• الغرض الرئيسي: بناء "Unit Tests" لجودة البيانات، حيث يقوم بتطبيق مجموعة من التوقعات (Expectations) للتحقق من سلامة البيانات قبل دخولها لنموذج التعلم الآلي.
• أمثلة على التوقعات:
  • Range Validation: التحقق من أن القيم تقع ضمن نطاق محدد (مثل الأعمار بين 18 و 100).
  • Null Counts: التأكد من أن نسبة القيم المفقودة (Nulls) لم تتجاوز حداً معيناً.
  • Distribution Matching: التحقق من أن توزيع البيانات اليوم لم يختلف بشكل جذري عن الأمس (Data Drift).
• المميزات الإضافية:
  • Data Docs: يقوم بإنشاء صفحات HTML مرئية تُظهر حالة جودة البيانات (النجاح والفشل) لإرسالها للمديرين.
  • Automated Documentation: تتحول التوقعات المكتوبة تلقائياً إلى Documentation، مما يساعد أعضاء الفريق الجدد على فهم طبيعة البيانات.

Facebook page: https://www.facebook.com/Data-Science-Belarabi-101963665978677

Linkedin Page: Data Science بالعربي: Company Page Admin | LinkedIn

تناقش الحلقة فكرة أن نجاح مشاريع علم البيانات لا يعتمد فقط على مهارة كتابة الكود (مثل Python وSQL)، بل على استخدام الأدوات المناسبة لتنظيم العمل وجعله قابلًا للتطوير (Scalable).الأدوات الثلاثة التي تم تسليط الضوء عليها هي:

1. Polars (السرعة هي الملك):
   • الوصف: مكتبة بُنيت بلغة Rust وتُعتبر "المستوى التالي" بعد Pandas، خاصةً عند التعامل مع مجموعات البيانات الكبيرة.
   • الميزة الرئيسية: تعتمد على خاصية الـ Lazy Evaluation (التقييم الكسول)، مما يجعل تنفيذ الكود أسرع بكثير من Pandas من خلال إنشاء خطة تنفيذ ذكية (Execution Plan).
   • الفوائد: التعامل مع الملفات الكبيرة (Multi-GBs)، كتابة كود أنظف وأسرع (Multithreading)، والعمل بكفاءة مع تحسين الاستعلامات (Query optimization).
2. MLflow (وداعاً لعشوائية التجارب):
   • الوصف: أداة أساسية في مجال الـ MLOps لتنظيم وإدارة دورة حياة نماذج التعلم الآلي.
   • الميزة الرئيسية: تضمن عدم ضياع تفاصيل النماذج والتجارب المختلفة.
   • الفوائد:
     • Experiment Tracking: تسجيل كل تجربة (المعاملات، المقاييس، الرسوم البيانية).
     • Model Registry: تتبع حالة النموذج (Staging أو Production).
     • Reproducibility: ضمان قدرة أي عضو في الفريق على إعادة تنفيذ النموذج بنفس النتائج.
3. Streamlit (حول الكود لمنتج):
   • الوصف: أداة لسحر "Data Monetization" تسمح لعلماء البيانات بتحويل الكود إلى منتج ملموس (App) يمكن عرضه على أصحاب المصلحة (Stakeholders).
   • الميزة الرئيسية: لا تتطلب معرفة بالـ Front-end (HTML/CSS/JS)، ويتم بناء التطبيقات التفاعلية بالاعتماد على Python فقط.
   • الفوائد: بناء لوحات معلومات (Dashboards) تفاعلية وكاملة في بضعة أسطر من الكود، وممتازة لإنشاء النماذج الأولية (Prototypes) ومنتجات الحد الأدنى القابلة للتطبيق (MVP).

الخلاصة: يؤكد تأكد الحلقة أن استخدام هذه الأدوات يُسهل عمل عالم البيانات ويساعده على الانتقال من مجرد "تجربة كود" إلى "بناء منتجات بيانات حقيقية" لاتخاذ القرارات.

استخدم Polars عشان تنجز في الوقت والـ Performance.

https://www.youtube.com/playlist?list=PLo9Vi5B84_dfAuwJqNYG4XhZMrGT

استخدم MLflow عشان تنظم تجاربك وتبقى محترف MLOps.

https://youtu.be/VokAGy8C6K4?si=HFK9vXNjcyBvlwsa

استخدم Streamlit عشان تظهر قيمة شغلك وتخليه ملموس

https://youtu.be/D0D4Pa22iG0?si=3t2Y3ld9GGNb0R4p

LinkedIn Profile: Data Science بالعربي: Company Page Admin | LinkedIn

Facebook Page: https://www.facebook.com/Data-Science-Belarabi-101963665978677

‘RSSVERIFY’

-يتناول المستند أدوات الذكاء الاصطناعي التي تساعد الأفراد والفرق في حضور الاجتماعات وتلخيصها وتوفير الوقت والمساعده في تحضير العروض التقديمية

جائزة نوبل لعام 2024 في الكيمياء، حصل ديفيد بيكر، ديميس هاسابيس، وجون جمبر على التكريم

بفضل استخدام الذكاء الاصطناعي في التنبؤ بتراكيب البروتينات وتصميمها، مما يمثل إنجازًا غير مسبوق في فهم اللبنات الأساسية للحياة.

الإنجازات الرئيسية:

1. التنبؤ بتراكيب البروتينات: تمكن فريق Google DeepMind بقيادة هاسابيس وجمبر من حل تحدٍ علمي قائم منذ 50 عامًا باستخدام نموذج الذكاء الاصطناعي AlphaFold2. هذا النموذج أتاح التنبؤ بدقة بتراكيب ثلاثية الأبعاد لجميع البروتينات المعروفة تقريبًا، مما سهل أبحاثًا متقدمة، مثل فهم مقاومة المضادات الحيوية وإعادة تدوير البلاستيك.
2. تصميم بروتينات جديدة: حصل ديفيد بيكر من جامعة واشنطن على نصف الجائزة لنجاحه في تصميم بروتينات جديدة تمامًا باستخدام برمجيات حاسوبية متطورة. وقد أدت أبحاثه إلى تطوير بروتينات يمكن استخدامها في تصنيع أدوية ولقاحات ومواد نانوية.

هذه الإنجازات تُظهر كيف أصبح الذكاء الاصطناعي أداة أساسية في البحوث البيوكيميائية، مع وعود هائلة بتسريع الاكتشافات العلمية وتطوير علاجات جديدة للأمراض المعقدة مثل السرطان والاضطرابات العصبية

- فوز ابحاث الذكاء الصناعي بجائزة نوبل في الفيزياء والكيمياء

-أداة تسجيل الاجتماعات FireFlies

-أداة تسجيل الاجتماعات Krisp

-أداة العروض التقديمية Beautiful.Ai

-أضافات البوربوينت Add Ins

-عرض تسلا Tesla

حلقة خاصه مع الدكتورة سناء عن ادور واهمية الواقع المعزز والواقع الافتراضي في المجال الطبي وكيفية الاستفادة منه

Dr. Sana Farid

Mohamed LinkedIn

Hatem LinkedIn

Home page:

https://lnkd.in/dEZVpW8W

Google podcast:

https://lnkd.in/dKknnekB

Spotify:

https://lnkd.in/dfKAUJq5

Apple:

https://lnkd.in/dZKNUfv5

Youtube:

https://lnkd.in/dsuumtBb

Instagram:

https://lnkd.in/dzVAu9jg

ضفنا انهارده أحمد غزالي خبره اكتر من 15 سنه في مجال علم البيانات في مجال الاستثمار

حيكلمنا عن رحلتو في مجال الاستثمار وعلم البيانات واهم النماذج اللى بيستخدمها في مجال عمله

ِAhmed Ghazaly LinekdIn

Mohamed LinkedIn

Hatem LinkedIn

Home page:

https://lnkd.in/dEZVpW8W

Google podcast:

https://lnkd.in/dKknnekB

Spotify:

https://lnkd.in/dfKAUJq5

Apple:

https://lnkd.in/dZKNUfv5

Youtube:

https://lnkd.in/dsuumtBb

Instagram:

https://lnkd.in/dzVAu9jg

حلقه خفيفه تتعلق باحدث أخبار الذكاء الصناعي

• هل يسيطر الذكاء الصناعي على مجال الرسم؟

• هل سيحل الذكاء الاصطناعي محل الرؤساء التنفيذيين في المستقبل؟

• الروبوتات تحل محل موظفي ملء الرفوف في سلسلة متاجر يابانية.

• 31 أغسطس آخر موعد للتسجيل في "تحدي دبي للتنقّل الذاتي القيادة"

Dubai Mobility Challenge Website

Mohamed LinkedIn

Hatem LinkedIn

Facebook

Instagram

Club House

حلقة جديده من داتا سينس بالعربي مع هبه الشيمي بتكلمنا عن أهمية علم البيانات في المجال الطبي .

حلقة مليئه بالمعلومات الجديده حتحتاج تسمعها اكتر من مره!

من المواضيع التي تم مناقشتها في الحلقه :

1. نبذه مختصره عن تاريخ علم البيانات في المجال الطبي في اخر 10 سنوات

2. مستقبل الكشف الطبي عبر التليفون

3. أستخدامات علم البيانات في المجال الطبي

4. استخدامات علم البيانات في انتاج الادويه

5. الطب التفصيلي

6. مستقبل البيوت الذكيه واستخدامها في مجال الطب

7. تحديات علم البيانات في المجال الطبي

8. احدث الابحاث في المجال الطبي المبنيه على علم البيانات

9. هل يمكن شرح الداتا موديل؟

10. ايه أفضل الخوارزميات في بناء الشبكات العميقه؟

11. الفرق بين الانحياز وتغير الداتا؟

12. هل ممكن علم البيانات يساعدني اققل من مخاطر تعرضي للامراض؟

13. هل محتاجين نجمع تقاريرنا الطبيه؟

14. هل انا محتاج اعمل تغيير لمجال عملي لدراسة علم البيانات واهم الخطوات والمعرفه المطلوبه؟

15. هل انا محتاج موقع شخصي؟

16. أخطاء يمكن تجنبها عن دراسة علم البيانات

Heba LinkedIn

Heba Website

MIT Documentary ( Data Bias)

Mohamed LinkedIn

Hatem LinkedIn

Instgram

Facebook

ضفنا دكتور عبد الرحمن متخصص في انشاء أقسام علوم البيانات و الذكاء الصناعي

حيكلمنا عن أفضل الممارسات و أهم خطوات بناء أقسام علوم البيانات و أقسام الذكاء الصناعي

1) لماذا تنجح ادارات البيانات في الخطوة الأولى وتفشل بعد ذلك؟

2) لماذا هناك نمو عالي في توظيف CDO يرافقه تسرب عالي

3) لماذا مسمى CDO هو ليس حلا صحيحا فهو حل لمشكلة لاتحل نظريا أو تطبيقيا

4) لماذا تخلط الادارات بين مسمى الذكاء الاصطناعي وبين مسمى داتا دريفن

5) لماذا سيظل هناك طلب على علم البيانات

6) لماذا تفشل الشركات في استقطاب الأكفاء في علم البيانات ويفشل الأكفاء من علماء البيانات في الحصول على وظيفة.

7)لماذا الدومين نولدج والخلفية في المجال ضرورية في علم البيانات وكيف تستطيع الشركات تعزيز هذه الخلفية لدى موظفيها من علماء البيانات.

8) لماذا علم البيانات شبيه بالبيع والتسويق وتطوير الأعمال

9) ماهي الأخطار والتحديات التي تواجه الادارات التنفيذية عند تطبيق علم البيانات

Dr. AbdelRahman LinkedIn

Dr.Abdelrahman GitHub

Dr.AbdelRahman Google Scholars

Hatem LinkedIn

Mohamed LinkedIn

Google Podcast

Apple Podcast

Spotify

Instagram

Facebook

ليه مهم اي شخص يدرس علم البيانات بغض النظر عن مجال عمله او مجال دراسته ؟

البترول هوه الدهب الاسود وهوه القوه المحركه للصناعه ولكن دلوقتي ممكن نقول علي البيانات هيه القوه المحركه للمستقبل.

-------------------------------------------------------------------

Refrences:

• Hatem LinkedIn

• Mohamed LinkedIn

• Youtube Channel

• Why is Data Science Important? 8 Ways Data Science Brings Value to the Business | upGrad blog

• Top Data Science Facts You Should Know About in 2022 (simplilearn.com)

• https://magnimindacademy.com/blog/what-is-the-role-of-data-science-in-everyday-life-and-every-situation/

• Instgram

• Facebook

Data Science podcast!

اهلا بكم في بودكاست داتا سينس بالعربي اول بودكاست باللغه العربيه بيتكلم عن علم البيانات و

الذكاء الصناعي

حنستضيف نخبه من الرواد في المجال وحنتكلم معاهم عن مستقبل علم البيانات والتكنولوجيا

حنتكلم عن الاستخدامات الحاليه للغه العربيه وطرق تطويرها

تابعونا

Instgram

Facebook