دانلود کتاب آموزشی SQL Server Integration Services (SSIS) جلد اول

دوره آموزشی SQL Server Integration Services (SSIS) به منظور آموزش اصول و مفاهیم انتقال، پردازش و یکپارچه‌سازی داده‌ها در محیط SQL Server طراحی شده است. این دوره به دانشجویان کمک می‌کند تا با استفاده از SSIS فرآیندهای پیچیده انتقال داده‌ها، پردازش ETL (Extract, Transform, Load) و ادغام منابع مختلف داده را پیاده‌سازی کنند.

بخش 1. آشنایی با SSIS و معماری آن

فصل 1. معرفی SSIS (SQL Server Integration Services)

• تعریف SSIS به عنوان یک ابزار ETL پیشرفته در SQL Server

• نقش SSIS در چرخه Data Integration و Data Warehousing

• تفاوت SSIS با ابزارهایی مانند SQL Server Replication، BCP و Data Export/Import Wizard

فصل 2. کاربردهای SSIS در پروژه‌های داده‌محور

• انتقال و تبدیل داده‌ها از منابع ناهمگون

• پاک‌سازی و استانداردسازی داده‌ها

• بارگذاری داده‌ها به Data Warehouse یا سایر دیتابیس‌ها

• اجرای Workflowهای پیچیده و زمان‌بندی‌شده

فصل 3. اجزای اصلی SSIS

• SSIS Package: ساختار کلی یک بسته کاری

• Task: واحد اجرایی در Control Flow

• Component: عناصر در Data Flow

• Container: گروه‌بندی منطقی برای مدیریت بهتر Tasks

• Connection Manager: مدیریت منابع داده (Database, Flat File, Web Service و…)

فصل 4. معماری SSIS Package

• Control Flow: طراحی جریان کنترل اصلی فرآیند ETL

• Data Flow: انتقال، پردازش و بارگذاری داده‌ها بین منابع

• Event Handler: مدیریت رخدادهای خاص در حین اجرای Package

• Package Explorer: نمایش ساختار کامل بسته SSIS

فصل 5. نصب و پیکربندی ابزار SSIS

• نصب SQL Server Integration Services به‌عنوان Feature از SQL Server Setup

• نصب و پیکربندی SQL Server Data Tools (SSDT) در Visual Studio برای طراحی بسته‌ها

• بررسی نسخه‌های مختلف SSDT و سازگاری با نسخه‌های SQL Server

فصل 6. بررسی محیط توسعه SSIS

• محیط طراحی در SSDT و آشنایی با پنجره‌های Solution Explorer، Toolbox، Properties و Variables

• معرفی Designerهای SSIS: Control Flow Designer، Data Flow Designer و Parameters Designer

فصل 7. تفاوت SSIS با دیگر ابزارهای ETL

• مقایسه SSIS با Informatica، Talend، Pentaho و Azure Data Factory

• مزایا و معایب استفاده از SSIS در محیط‌های Enterprise

• موارد مناسب و نامناسب برای استفاده از SSIS

فصل 8. نحوه اجرای SSIS Package

• اجرای Package از داخل SSDT

• اجرای Package از طریق Command Line با dtexec

• اجرای Package از طریق SQL Server Agent

• معرفی DTSX (فایل بسته کاری) و نقش آن در Deployment

بخش 2. ساخت و مدیریت SSIS Package

فصل 1. ایجاد پروژه و Package جدید در SQL Server Data Tools (SSDT)

• معرفی محیط SSDT و اجزای رابط کاربری

• ساخت پروژه Integration Services جدید

• ایجاد SSIS Package و تنظیمات اولیه آن

• ذخیره‌سازی و مدیریت فایل‌های .dtsx

فصل 2. طراحی Control Flow

• تعریف Control Flow و وظیفه آن در SSIS

• اضافه کردن Taskها (مثل Execute SQL Task, Data Flow Task, Script Task)

• استفاده از Precedence Constraints برای کنترل ترتیب اجرا

• مدیریت وابستگی‌های بین Taskها

فصل 3. طراحی Data Flow

• معرفی Data Flow و تفاوت آن با Control Flow

• اضافه کردن Data Flow Task و ورود به محیط طراحی Data Flow

• افزودن منابع داده (Sources) و مقصدها (Destinations)

• افزودن و پیکربندی Componentهای تبدیلی (Transformations)

• مسیر جریان داده (Data Path) بین اجزاء

فصل 4. استفاده از Variables

• ایجاد و تعریف متغیرها در SSIS Package

• انواع Scope متغیرها (Package-Level, Task-Level)

• استفاده از متغیرها در Expressions

• مقداردهی پویا به Connection Strings و سایر پارامترها

فصل 5. پیکربندی Parameters

• تعریف Project Parameters و Package Parameters

• تفاوت بین Parameters و Variables

• استفاده از Parameters در زمان اجرای Package

• ایجاد تنظیمات منعطف با پارامترهای ورودی

فصل 6. استفاده از Expressions

• آشنایی با Expression Builder در SSIS

• ایجاد عبارت‌های شرطی، محاسباتی و ترکیبی برای پیکربندی پویا

• استفاده از Expressions برای تنظیم خواص Taskها، Connections و Transformations

• نمونه‌های عملی از Expressions پرکاربرد

فصل 7. Logging و ثبت گزارشات اجرای Package

• فعال‌سازی Logging در SSIS

• انتخاب ارائه‌دهنده لاگ (مثل SSIS Log Provider for SQL Server, Text files)

• انتخاب Eventهای مورد نظر (OnError, OnPreExecute, OnPostExecute)

• مشاهده و تجزیه گزارش‌های اجرا

فصل 8. Debugging و مدیریت خطاها

• اجرای مرحله‌ای Package (Breakpoints و Watchها)

• بررسی داده‌های جاری در طول Data Flow با استفاده از Data Viewer

• رفع خطاهای طراحی و زمان اجرا

• استفاده از Output پنل و Event Handlerها برای تحلیل رفتار Package

فصل 9. بهینه‌سازی طراحی Package

• ساختاردهی به Package با استفاده از Sequence Container

• استفاده از Template Packageها برای افزایش بهره‌وری

• ایجاد Description و Document برای هر Component

• استفاده از Naming Convention برای سهولت در نگهداری و فهم کد

فصل 10. ذخیره‌سازی و مدیریت Source Control

• ذخیره‌سازی Packageها در Git یا TFS

• استفاده از SSDT با ابزارهای کنترل نسخه

• پیاده‌سازی فرآیند CI/CD برای اجرای خودکار SSIS Packageها

• مدیریت Versioning و مستندسازی تغییرات

بخش 3. اتصال به منابع داده مختلف

فصل 1. مفاهیم پایه اتصال به منابع داده

• تعریف Connection Manager در SSIS

• انواع Connection Managers موجود در SSDT

• تفاوت بین Connection Manager و Data Source در پروژه‌های SSIS

فصل 2. اتصال به پایگاه‌های داده SQL Server

• استفاده از OLE DB Connection Manager برای SQL Server

• پیکربندی اتصال با احراز هویت ویندوزی و SQL Login

• مدیریت اتصالات در سطح Package و Project

فصل 3. اتصال به فایل‌های Flat File (CSV, TXT)

• استفاده از Flat File Connection Manager

• تعیین مشخصات فایل (Delimiter، Column Names in First Row، Encoding)

• پشتیبانی از فایل‌های چند سطره و ساختارهای خاص

فصل 4. اتصال به فایل‌های Excel

• استفاده از Excel Connection Manager

• پیکربندی برای فرمت‌های xls و xlsx

• نکات مهم در مورد 32bit/64bit runtime هنگام اتصال به Excel

• خواندن از Sheet یا Range خاص

فصل 5. اتصال به منابع داده غیر SQL Server

• اتصال به Oracle با ADO.NET و ODBC Connection Manager

• اتصال به MySQL/PostgreSQL از طریق ODBC

• پشتیبانی از Access Database با استفاده از OLE DB

• اتصال به Azure SQL Database یا دیگر منابع ابری

فصل 6. اتصال به فایل‌های XML و JSON

• استفاده از XML Source برای خواندن فایل‌های XML

• تعریف Schema با استفاده از XSD در XML Source

• روش‌های خواندن داده از JSON با Script Task یا ابزارهای شخص ثالث

فصل 7. اتصال به منابع داده مبتنی بر وب

• استفاده از Web Service Task برای فراخوانی Web API

• بازیابی داده‌ها با استفاده از HTTP Connection Manager

• استفاده از Script Task برای فراخوانی REST API و دریافت JSON/XML

فصل 8. استفاده از SharePoint و منابع داده فایل‌محور سازمانی

• اتصال به SharePoint Lists با استفاده از SSIS SharePoint List Adapter

• بارگذاری فایل‌ها از شبکه یا مسیر UNC با File System Task

فصل 9. استفاده از Connection Managerهای ویژه

• MultiFlatFile Connection Manager برای پردازش چند فایل مشابه

• File Connection Manager برای مدیریت فایل‌های دینامیک

• SMO Connection Manager برای مدیریت اشیاء SQL Server

فصل 10. نکات پیشرفته در پیکربندی Connection Managerها

• استفاده از Expressions برای داینامیک‌سازی مسیر یا نام سرور

• تعریف Connection Manager در سطح Shared بین چند Package

• استفاده از Project Parameters برای کنترل مرکزی تنظیمات اتصال

• مدیریت رمز عبور و Credential با Integration Services Catalogs

بخش 4. انتقال و پردازش داده‌ها با Data Flow

فصل 1. معرفی اجزای اصلی Data Flow

• تعریف Data Flow و نقش آن در SSIS Package

• مقایسه Control Flow و Data Flow

• نحوه ایجاد یک Data Flow Task

• تعامل Data Flow با Control Flow

فصل 2. استخراج داده‌ها (Source Components)

• معرفی Source Components مختلف

• استفاده از OLE DB Source برای اتصال به پایگاه داده SQL Server

• استفاده از Flat File Source برای فایل‌های متنی

• استفاده از Excel Source و نکات مربوط به پیکربندی فایل‌های Excel

• استفاده از XML Source برای استخراج داده‌های ساختار یافته

فصل 3. پردازش و تبدیل داده‌ها (Transformations)

• نقش Transformations در Data Flow

• معرفی و پیاده‌سازی مهم‌ترین Transformation Components:

  • Derived Column Transformation
    ایجاد ستون‌های جدید با استفاده از توابع و محاسبات سفارشی

  • Lookup Transformation
    جستجوی مقادیر مرجع از جداول دیگر و ترکیب داده‌ها

  • Conditional Split Transformation
    تقسیم جریان داده بر اساس شرط‌های منطقی

  • Data Conversion Transformation
    تبدیل نوع داده‌ها (مثلاً تبدیل string به integer)

  • Aggregate Transformation
    محاسبات تجمیعی مانند جمع، میانگین، بیشینه و کمینه

  • Sort Transformation
    مرتب‌سازی داده‌ها بر اساس فیلدهای مشخص

  • Multicast Transformation
    کپی‌کردن جریان داده برای ارسال به چند مقصد مختلف

  • Union All Transformation
    ترکیب چند جریان داده در یک جریان خروجی

  • Merge Join Transformation
    ترکیب داده‌ها با استفاده از کلید مشترک بین دو جریان ورودی

فصل 4. بارگذاری داده‌ها (Destination Components)

• معرفی Destination Components مختلف

• استفاده از OLE DB Destination برای بارگذاری به SQL Server

• پیکربندی Flat File Destination برای خروجی گرفتن در فایل متنی

• استفاده از Excel Destination برای ارسال داده به فایل Excel

• بررسی ویژگی‌های Fast Load و Table Lock برای بارگذاری سریع

فصل 5. مدیریت مسیرهای داده و پردازش‌های موازی

• استفاده از Path و جریان‌های داده برای انتقال میان اجزا

• طراحی جریان‌های موازی و ترکیب آن‌ها با Transformations

• بررسی ساختار Buffer و نحوه تأثیر آن بر عملکرد Data Flow

فصل 6. پیاده‌سازی سناریوهای ترکیبی

• طراحی فرآیند ETL ترکیبی شامل چندین Transformation

• اجرای مثال عملی: استخراج داده از Excel → پاک‌سازی → بارگذاری در SQL Server

• بررسی خطاهای رایج در طراحی Data Flow و نحوه رفع آن‌ها

بخش 5. مدیریت خطاها و استثناها

فصل 1. آشنایی با مفاهیم خطا در SSIS

• تفاوت بین خطاهای Control Flow و Data Flow

• خطاهای زمان طراحی (Design-Time) vs زمان اجرا (Runtime)

• انواع خطاهای رایج در SSIS: اتصال، تبدیل داده، نوع داده، فرمت فایل و…

فصل 2. استفاده از Event Handlerها برای مدیریت خطا

• معرفی Event Handlerها در SSIS

• پیاده‌سازی OnError، OnWarning و OnTaskFailed در سطح Package یا Task

• ذخیره‌سازی لاگ‌ها و پیام‌های خطا در فایل یا پایگاه‌داده

• پیاده‌سازی اقدامات بازیابی در Event Handler مثل ارسال ایمیل، پاکسازی فایل‌ها و…

فصل 3. استفاده از Redirection Output در Data Flow برای کنترل داده‌های دارای خطا

• مفهوم Error Output در مؤلفه‌های Data Flow

• پیکربندی مسیر خطا در مؤلفه‌هایی مانند Flat File Source، Lookup، Derived Column و…

• انتقال ردیف‌های خطادار به مقصد جداگانه (مثل جدول خطا یا فایل لاگ)

• بررسی ستون‌های ErrorCode و ErrorColumn

فصل 4. پیاده‌سازی تسک‌های خاص برای ثبت خطاها

• استفاده از Script Task برای ثبت جزئیات خطاها

• استفاده از Execute SQL Task برای درج پیام خطا در جدول لاگ

• استفاده از Send Mail Task برای اطلاع‌رسانی خطاها

فصل 5. پیاده‌سازی شرایط موفقیت یا شکست در Control Flow

• استفاده از Precedence Constraints با مقادیر Success، Failure، Completion

• ایجاد مسیرهای شرطی برای ادامه یا توقف اجرای بسته

• طراحی ساختار اجرای مقاوم (Resilient Package Structure)

فصل 6. فعال‌سازی Logging برای پایش خطاها

• معرفی سیستم Logging در SSIS

• فعال‌سازی و پیکربندی Logging برای Taskها و Event Handlerها

• ثبت لاگ در فایل، جدول SQL Server یا Windows Event Log

• فیلتر کردن لاگ‌ها بر اساس سطح (Error, Warning, Information)

فصل 7. استراتژی‌های پیشرفته برای مدیریت خطا

• طراحی Retry Logic برای اتصال به منابع خارجی

• استفاده از Transactionها و Rollback در Package برای حفظ یکپارچگی داده‌ها

• مدیریت خطاهای بین‌المللی (Unicode، Locale و Encoding mismatch)

• بررسی Fail Package on Failure و Fail Parent on Failure در Properties تسک‌ها

فصل 8. تحلیل و مستندسازی خطاها

• ایجاد داشبورد ساده با استفاده از SSRS برای نمایش لاگ‌های خطا

• نگهداری تاریخچه خطاها و بررسی روند آن‌ها

• ایجاد گزارش‌های تحلیل خطا برای استفاده تیم تحلیل‌گر یا DevOps