دانلود کتاب آموزشی SQL Server Integration Services (SSIS) جلد دوم

بخش 6. پردازش داده‌ها و تبدیل اطلاعات (Transformations)

فصل 1. آشنایی با معماری Data Flow Transformations در SSIS

• تفاوت بین Row-level و Block-level Transformations

• ترتیب اجرای Transformations در مسیر داده

• تاثیر ترتیب Transformations بر روی Performance

فصل 2. پیاده‌سازی رایج‌ترین Transformations

• Derived Column Transformation

  • ایجاد ستون‌های محاسبه‌شده با استفاده از عبارات

  • استفاده از توابع شرطی و ریاضی

  • مثال عملی: محاسبه درصد تخفیف یا ساخت کد منحصر به‌فرد از چند ستون

• Data Conversion Transformation

  • تبدیل نوع داده‌ها (مانند Unicode به Non-Unicode)

  • مشکلات رایج در ناسازگاری انواع داده

  • تنظیمات مهم و مثال برای تطابق داده با مقصد

• Conditional Split Transformation

  • تقسیم داده‌ها به مسیرهای مختلف بر اساس شرط

  • تعریف شرایط شرطی پیچیده

  • مثال: جداسازی مشتریان فعال از غیرفعال

• Lookup Transformation

  • انجام عملیات جستجو (Join-like) روی داده‌های ورودی

  • انواع Match Output و No Match Output

  • استفاده از Cache و Full Cache Mode

  • مثال: الحاق اطلاعات مشتری از جدول دیگر

• Merge و Merge Join Transformation

  • تلفیق داده‌های ورودی از چند مسیر

  • تفاوت Merge و Merge Join

  • الزامات مرتب‌سازی برای Merge Join

  • مثال: ترکیب داده‌های فروش و مشتری

• Union All Transformation

  • ترکیب ساده چند مسیر داده به یک خروجی

  • بررسی تفاوت با Merge

  • مثال: تلفیق چند فایل اکسل با ساختار مشابه

فصل 3. پاک‌سازی و استانداردسازی داده‌ها

• Fuzzy Lookup Transformation

  • جستجوی تقریبی برای رفع مشکلات املایی

  • مثال: تطبیق نام مشتریان با پایگاه داده مرجع

  • تنظیم Similarity Threshold

• Fuzzy Grouping Transformation

  • گروه‌بندی رکوردهای مشابه برای حذف رکوردهای تکراری

  • استفاده در Data Deduplication

• Script Component Transformation

  • نوشتن اسکریپت‌های سفارشی با C#

  • استفاده به عنوان Source، Transformation یا Destination

  • مثال: نرمال‌سازی فرمت تاریخ با استفاده از اسکریپت

فصل 4. مدیریت کیفیت داده‌ها

• بررسی مقادیر Null و رفع آن‌ها

• استفاده از Derived Column برای مقداردهی پیش‌فرض

• ایجاد Rule-Based Data Cleansing

• مثال: حذف رکوردهای ناقص یا ناسازگار با منطق کسب‌وکار

فصل 5. استفاده از Data Profiling Task (در خارج از Data Flow)

• بررسی کیفیت داده‌ها قبل از ورود به فرآیند ETL

• استفاده از Profile Viewers

• بررسی ستون‌های بدون داده یا با مقادیر پرت

بخش 7. پیکربندی و پیاده‌سازی کنترل جریان (Control Flow)

فصل 1. آشنایی با Control Flow در SSIS

• تعریف Control Flow و نقش آن در اجرای SSIS Package

• تفاوت بین Control Flow و Data Flow

• معرفی محیط طراحی Control Flow در SQL Server Data Tools

فصل 2. استفاده از Control Flow Tasks

• معرفی انواع مهم Taskها در SSIS

  • Execute SQL Task

  • Data Flow Task

  • File System Task

  • Execute Process Task

  • Script Task و Script Component

  • Send Mail Task

  • FTP Task

  • Web Service Task

• نحوه پیکربندی و تنظیم این Taskها برای اهداف مختلف

• مثال‌های عملی برای هر Task

فصل 3. استفاده از Precedence Constraints

• معرفی Precedence Constraint و انواع آن (Success, Failure, Completion, Expression-based)

• نحوه اتصال Taskها با شرط‌های منطقی

• استفاده ترکیبی از شرط‌ها و اولویت‌ها برای کنترل جریان اجرا

• مثال: اجرای Task فقط در صورت موفقیت یا شکست Task قبلی

فصل 4. استفاده از Containers برای گروه‌بندی وظایف

• معرفی و کاربرد Containers در Control Flow

  • Sequence Container

  • For Loop Container

  • Foreach Loop Container

• پیاده‌سازی Taskهای تکرار شونده و سلسله‌مراتبی

• تنظیم و استفاده از Containers برای ساده‌سازی طراحی Package

• مدیریت متغیرهای داخلی Containers

فصل 5. طراحی حلقه‌های تکراری و اجرای دینامیک

• استفاده از For Loop Container برای اجرای شرطی

• استفاده از Foreach Loop برای پیمایش منابع مانند فایل‌ها، رکوردهای دیتابیس، یا آیتم‌های XML

• تنظیم متغیرهای Loop و نحوه نگاشت آن‌ها به Taskهای داخلی

فصل 6. استفاده از Script Task برای منطق‌های سفارشی

• معرفی Script Task و کاربردهای آن در Control Flow

• انتخاب زبان (C# یا VB.NET) برای اسکریپت‌نویسی

• دسترسی به متغیرها در داخل Script

• سناریوهای استفاده: تولید فایل داینامیک، بررسی شرایط پیچیده، ارسال درخواست وب سرویس و…

• مثال عملی: نوشتن اسکریپت برای بررسی وجود فایل در مسیر خاص

فصل 7. مدیریت شرطی اجرای وظایف

• استفاده از Expression برای کنترل جریان بر اساس مقدار متغیرها

• ترکیب چند شرط با Precedence Constraints

• مدیریت سناریوهایی مانند اجرای وظایف فقط در ساعات خاص یا برای رکوردهای خاص

فصل 8. اشکال‌زدایی و Logging در Control Flow

• بررسی روش‌های Debug کردن Control Flow

• استفاده از Breakpoints برای بررسی وضعیت متغیرها و اجرای Taskها

• فعال‌سازی Logging برای ردیابی عملکرد و خطاها

• بررسی Execution Results برای تحلیل عملکرد

فصل 9. سناریوهای پیشرفته در Control Flow

• اجرای چند Package به صورت ترتیبی یا موازی

• طراحی Packageهای Parent و Child

• پیاده‌سازی Restartable Package Execution

• مدیریت جریان اجرای چندین فرآیند ETL در یک پروژه

بخش 8. اتوماسیون و زمان‌بندی اجرای SSIS Packages

فصل 1. مقدمه‌ای بر اتوماسیون در SSIS

• اهمیت اتوماسیون و زمان‌بندی در پروژه‌های ETL

• تفاوت اجرای دستی و اتوماتیک SSIS Packages

فصل 2. آشنایی با SQL Server Agent

• معرفی SQL Server Agent و نقش آن در اتوماسیون

• ساختار کلی Job و Job Step در SQL Server Agent

• پیکربندی و فعال‌سازی SQL Server Agent

فصل 3. ایجاد و پیکربندی Job برای اجرای SSIS Package

• مراحل ایجاد Job جدید در SQL Server Management Studio (SSMS)

• تعریف Step برای اجرای SSIS Package (با استفاده از SQL Server Integration Services Package)

• پیکربندی تنظیمات Execution Options مانند Retry و Output Logging

فصل 4. زمان‌بندی اجرای Job ها (Schedules)

• تعریف زمان‌بندی اجرای Job (یکبار، روزانه، هفتگی، ماهانه)

• تنظیمات پیشرفته زمان‌بندی: Interval، Duration، Start/End Time

• مدیریت زمان‌بندی‌های پیچیده با چند Schedule

فصل 5. اجرای SSIS Package با استفاده از دستور DTExec

• معرفی ابزار خط فرمان DTExec

• ساختار کلی فرمان DTExec برای اجرای بسته‌ها

• نمونه‌های کاربردی اجرای Package با DTExec

• اتوماسیون اجرای DTExec در اسکریپت‌ها یا تسک‌های ویندوز

فصل 6. پیکربندی Notification و Alert

• تعریف ایمیل‌های اطلاع‌رسانی برای موفقیت، خطا یا هشدار اجرای Job

• پیکربندی Database Mail برای ارسال ایمیل در SQL Server

• تعریف Alerts بر اساس رخدادهای خاص در Job یا SQL Server Agent

فصل 7. استفاده از Event Handling برای مدیریت رویدادهای اجرایی

• معرفی Event Handlers در SSIS

• واکنش به رویدادهای OnError، OnWarning و OnTaskFailed

• ثبت لاگ و ارسال هشدار به صورت خودکار

فصل 8. مدیریت و مانیتورینگ Job ها و SSIS Package های زمان‌بندی شده

• استفاده از SQL Server Agent Job Activity Monitor

• مشاهده تاریخچه اجرای Job و گزارش خطاها

• گزارش‌گیری از عملکرد و وضعیت اجرای بسته‌ها

فصل 9. بهبود اتوماسیون با استفاده از PowerShell و اسکریپت‌های سفارشی

• معرفی PowerShell برای اتوماسیون SSIS

• اجرای SSIS Package از طریق PowerShell

• نوشتن اسکریپت‌های زمان‌بندی و گزارش‌گیری خودکار

فصل 10. سناریوهای پیشرفته زمان‌بندی و اتوماسیون

• اجرای زنجیره‌ای بسته‌ها (Chained Execution)

• استفاده از شرط‌ها و متغیرها برای کنترل اجرای بسته‌ها

• پیاده‌سازی Failover و Retry Logic در زمان‌بندی

بخش 9. مهاجرت داده‌ها و استفاده از SSIS برای انتقال داده‌های بین سرورها

فصل 1. مقدمه‌ای بر مهاجرت داده‌ها

• مفهوم مهاجرت داده و اهمیت آن در سازمان‌ها

• چالش‌های رایج مهاجرت داده بین سرورها

• نقش SSIS در ساده‌سازی فرآیند مهاجرت

فصل 2. آماده‌سازی محیط مهاجرت

• بررسی و تحلیل منابع داده مبدا و مقصد

• شناسایی تفاوت‌های ساختاری و داده‌ای بین سرورها

• پیکربندی دسترسی‌ها و Connection Managers برای منابع مختلف

فصل 3. طراحی فرآیند مهاجرت داده در SSIS

• تعریف اهداف و الزامات مهاجرت

• طراحی کنترل جریان (Control Flow) مناسب برای فرآیند مهاجرت

• ایجاد Data Flow Tasks برای استخراج، تبدیل و بارگذاری داده‌ها

• استفاده از Variables و Parameters برای افزایش انعطاف‌پذیری

فصل 4. انتقال داده بین سرورهای مختلف SQL Server

• استفاده از OLE DB Connection Manager برای اتصال به سرورهای مبدا و مقصد

• تکنیک‌های Bulk Insert و Fast Load برای انتقال سریع داده‌ها

• پیاده‌سازی Incremental Load برای انتقال داده‌های افزایشی

• مدیریت Transaction و Atomicity در فرآیند انتقال داده‌ها

فصل 5. انتقال داده بین SQL Server و پایگاه داده‌های غیر SQL Server

• اتصال به پایگاه‌های داده Oracle، MySQL، PostgreSQL و …

• ملاحظات و محدودیت‌های انتقال داده بین پایگاه‌های داده مختلف

• تبدیل داده‌ها برای انطباق با ساختار مقصد

فصل 6. مدیریت داده‌ها و اطمینان از یکپارچگی

• تکنیک‌های اعتبارسنجی داده (Data Validation) در حین مهاجرت

• بررسی و رفع مشکلات داده‌ای مانند داده‌های تکراری و Null

• استفاده از Lookup و Conditional Split برای کنترل کیفیت داده‌ها

فصل 7. مهاجرت داده‌های حجیم و بهینه‌سازی عملکرد

• پیاده‌سازی Batch Processing برای داده‌های بزرگ

• بهینه‌سازی پارامترهای Data Flow برای افزایش سرعت انتقال

• استفاده از Parallelism و تنظیمات Buffering در SSIS

فصل 8. مدیریت خطا و بازیابی در فرآیند مهاجرت

• تعریف استراتژی‌های Error Handling در مهاجرت داده‌ها

• استفاده از Event Handlers و Logging برای ثبت خطاها و رخدادها

• پیاده‌سازی Retry Logic و مکانیزم‌های بازیابی داده

فصل 9. تست، اعتبارسنجی و تأیید صحت مهاجرت

• طراحی تست‌های صحت و کامل بودن داده‌ها پس از مهاجرت

• استفاده از ابزارهای SQL Server برای مقایسه داده‌های مبدا و مقصد

• بررسی گزارش‌های اجرای SSIS و تحلیل خطاهای احتمالی

فصل 10. مستندسازی و نگهداری فرآیند مهاجرت

• ایجاد مستندات فنی و گزارش‌های اجرایی مهاجرت

• نگهداری و به‌روزرسانی Packageهای SSIS مربوط به مهاجرت

• آموزش تیم‌های فنی برای پشتیبانی و رفع مشکلات بعدی

بخش 10. استفاده از SSIS برای پردازش داده‌های بزرگ

فصل 1. مقدمه‌ای بر چالش‌های پردازش داده‌های بزرگ

• تعریف داده‌های بزرگ (Big Data) در حوزه ETL

• تفاوت پردازش داده‌های کوچک و بزرگ در SSIS

• مشکلات رایج در پردازش داده‌های حجیم (مانند حافظه، زمان اجرا، منابع CPU)

فصل 2. طراحی Data Flow برای داده‌های بزرگ

• بهترین روش‌های طراحی Data Flow با تمرکز بر بهینه‌سازی

• استفاده از Buffer Management برای کاهش مصرف حافظه

• تنظیمات Default Buffer Max Rows و Default Buffer Size

فصل 3. پیاده‌سازی Batch Processing در SSIS

• مفهوم Batch Processing و کاربرد آن در انتقال داده‌های حجیم

• طراحی و پیاده‌سازی پردازش داده به صورت بسته‌های کوچک‌تر

• استفاده از For Loop و Foreach Loop برای تقسیم‌بندی داده‌ها

فصل 4. بهینه‌سازی عملکرد Data Flow Task

• استفاده از Fast Load در OLE DB Destination برای بارگذاری سریع

• تنظیمات مربوط به Commit Size و Max Insert Commit Size

• کاهش Lock contention در دیتابیس مقصد

فصل 5. مدیریت موازی‌سازی و پردازش همزمان

• فعال‌سازی Parallel Execution در SSIS Packages

• تنظیم Max Concurrent Executables برای اجرای همزمان تسک‌ها

• تقسیم‌بندی داده‌ها برای اجرای موازی (Partitioning)

فصل 6. کنترل حافظه و تنظیمات مربوط به Buffer

• تحلیل و بهینه‌سازی مصرف حافظه در Data Flow

• استفاده از Data Viewer برای بررسی جریان داده

• تغییر تنظیمات Default Buffer Max Rows و Default Buffer Size در شرایط مختلف

فصل 7. بررسی و بهبود سرعت انتقال داده‌ها

• استفاده از Lookup Cache Mode برای کاهش زمان جستجو

• مدیریت Index ها و بهینه‌سازی Queryها در منابع داده

• حذف مراحل غیرضروری در جریان داده برای بهبود سرعت

فصل 8. مدیریت خطاها در پردازش داده‌های بزرگ

• پیاده‌سازی Error Outputs برای مدیریت داده‌های مشکل‌دار

• طراحی استراتژی Retry و Restart برای تسک‌های خطادار

• Logging پیشرفته و تحلیل خطاهای حجم بالا

فصل 9. استفاده از Event Handlers برای نظارت بر عملکرد

• پیاده‌سازی Eventهای On Pre Execute, On Post Execute برای مانیتورینگ

• استفاده از Performance Counters برای نظارت بر CPU و Memory

• ارسال Notification در صورت وقوع خطا یا اتمام پردازش