Processor Scheduling এবং Back Pressure ব্যবস্থাপনা

অ্যাপাচি নিফাই (Apache NiFi) একটি শক্তিশালী ডেটা ফ্লো ব্যবস্থাপনা প্ল্যাটফর্ম যা ডেটা সংগ্রহ, প্রক্রিয়া এবং স্থানান্তর করতে ব্যবহৃত হয়। NiFi-তে Processor Scheduling এবং Back Pressure ব্যবস্থাপনা দুটি গুরুত্বপূর্ণ ফিচার যা ডেটা ফ্লোর কার্যকারিতা এবং কর্মক্ষমতা নিয়ন্ত্রণে সাহায্য করে। এগুলি ডেটা প্রক্রিয়াকরণে সামঞ্জস্য বজায় রাখার জন্য এবং সিস্টেমের দক্ষতা বৃদ্ধি করার জন্য অপরিহার্য।

Processor Scheduling

Processor Scheduling কি?

Processor Scheduling হল NiFi-তে একটি প্রোসেসরের কার্যকলাপ কিভাবে নির্ধারণ করা হবে তা নিয়ন্ত্রণের প্রক্রিয়া। একটি প্রোসেসরের কার্যক্ষমতা নির্ধারণ করতে এটি সিস্টেমের কনফিগারেশন অনুযায়ী চলতে থাকে, যেমন প্রতি সেকেন্ডে কতবার চালানো হবে বা কখন এবং কীভাবে প্রোসেসরটি নতুন ডেটা প্রক্রিয়া শুরু করবে।

Processor Scheduling এর কনফিগারেশন

NiFi-তে প্রতিটি প্রোসেসরের জন্য Scheduling কনফিগারেশন করতে পারেন, যেমন:

1. Run Schedule: আপনি কত দ্রুত একটি প্রোসেসর চালাতে চান, তা নির্ধারণ করতে পারবেন (যেমন প্রতি 1 সেকেন্ডে, প্রতি 10 সেকেন্ডে, ইত্যাদি)।
2. Penalty Duration: এটি নির্ধারণ করে কতক্ষণ অপেক্ষা করতে হবে, যদি কোনো প্রোসেসর ব্যস্ত থাকে বা ব্যর্থ হয়।
3. Yield Duration: যখন প্রোসেসরের কাজ সম্পূর্ণ না হয়, তখন তাকে অন্য কাজ করতে বলার জন্য এটি ব্যবহৃত হয়।
4. Concurrent Tasks: কতটি কনকারেন্ট টাস্ক চালানো হবে তা নির্ধারণ করা যায়। এই সেটিংটি প্রোসেসরের প্যারালাল প্রোসেসিং ক্ষমতা বৃদ্ধি করে।

Scheduling Mode:

NiFi-তে প্রোসেসর scheduling-এ দুটি মোড রয়েছে:

1. Timer Driven: প্রোসেসর নির্দিষ্ট সময়ের অন্তর অন্তর চালিত হয়। এটি সাধারণত ব্যবহার করা হয় যেখানে নির্দিষ্ট সময় বা রিকোয়েস্টের সাথে কাজ করতে হয়।
2. Event Driven: প্রোসেসর শুধুমাত্র যখন ডেটা পাওয়া যাবে, তখনই চালানো হয়। এটি তখন কার্যকরী যখন ডেটা স্ট্রীমিং প্রক্রিয়া চলছে এবং প্রোসেসরকে ফাইল বা ডেটা উপলব্ধ হওয়ার ভিত্তিতে কাজ করতে হয়।

উদাহরণ:

1. Timer Driven Scheduling: আপনি যদি প্রতি 5 সেকেন্ডে একটি প্রোসেসর চালাতে চান, তবে সিডিউলিং টাইম 5 সেকেন্ড নির্ধারণ করবেন।
2. Event Driven Scheduling: আপনি যদি একটি প্রোসেসর চালাতে চান কেবলমাত্র যখন ফাইল বা ডেটা পাওয়া যাবে, তাহলে Event Driven মোড ব্যবহার করবেন।

Back Pressure Management

Back Pressure কি?

Back Pressure NiFi-তে একটি মেকানিজম যা ব্যবহার করা হয় যখন ডেটা ফ্লো সিস্টেমে বা ডেটাবেসে অতিরিক্ত লোড তৈরি করে। এটি NiFi ফ্লো কন্ট্রোল করতে সাহায্য করে যাতে সিস্টেমে অতিরিক্ত প্রেসার না পড়ে এবং সিস্টেমের কার্যকারিতা বজায় থাকে।

Back Pressure এর কার্যপ্রণালী

NiFi-তে, যখন কোনো প্রোসেসরের ইনপুট বা আউটপুট বাফার পূর্ণ হয়ে যায়, তখন সেই প্রোসেসরের সাথে সংযুক্ত পরবর্তী প্রোসেসরটি আটকানো হয়। এটি কার্যকরী যখন আপনার সিস্টেমে কোনো স্টেজ বা প্রোসেসর অল্প ডেটার কারণে ঢেকে যায় এবং পুরো ফ্লো থমকে যেতে পারে।

Back Pressure কনফিগারেশন

NiFi-তে Back Pressure কনফিগার করতে:

1. Back Pressure Object Threshold: এটি সেই সীমা নির্ধারণ করে যেখানে বাফার বা কিউ পূর্ণ হলে Back Pressure চালু হবে।
   • উদাহরণ: 10000 (অর্থাৎ, 10,000 অবজেক্টে পৌঁছালে Back Pressure চালু হবে)
2. Back Pressure Data Size Threshold: এটি ডেটার সাইজের ভিত্তিতে একটি সীমা নির্ধারণ করে, যখন ডেটার সাইজ একটি নির্দিষ্ট থ্রেশহোল্ডে পৌঁছাবে তখন Back Pressure প্রক্রিয়া সক্রিয় হবে।
   • উদাহরণ: 1GB (অর্থাৎ, 1 গিগাবাইট ডেটা পূর্ণ হলে Back Pressure কার্যকর হবে)

Back Pressure এর প্রভাব:

1. প্রসেসরের কার্যক্রম থেমে যায়: যদি একটি প্রোসেসর বা তার সাথে যুক্ত কননেকশন Back Pressure-এর শিকার হয়, তাহলে সেই প্রোসেসর বা কননেকশন থেকে ডেটা ফ্লো আটকে যাবে। এর ফলে পরবর্তী প্রোসেসরগুলোর কার্যক্রম থমকে যাবে এবং সিস্টেমে লোড কমে আসবে।
2. দ্বিতীয় পদ্ধতিতে ডেটা ব্যবস্থাপনা: ব্যাক প্রেসার ব্যবহার করে ডেটার চাপ কমিয়ে, সিস্টেমের সুষম এবং ধারাবাহিক কার্যকারিতা বজায় রাখা সম্ভব হয়।

Processor Scheduling এবং Back Pressure ব্যবস্থাপনা ব্যবহারের উদাহরণ

উদাহরণ ১: Processor Scheduling

ধরা যাক, আপনার একটি ফাইল রিড প্রোসেসর রয়েছে যেটি প্রতি 10 সেকেন্ডে নতুন ফাইল চেক করবে। আপনি Timer Driven মোডে Run Schedule 10 সেকেন্ড সেট করবেন। এতে প্রতি 10 সেকেন্ড পর পর প্রোসেসরটি চলবে এবং নতুন ফাইল খুঁজে দেখবে।

উদাহরণ ২: Back Pressure Management

আপনি যদি নিশ্চিত করতে চান যে কোনো প্রোসেসরের ইনপুট কিউতে অতিরিক্ত ডেটা না জমে থাকে, তাহলে Back Pressure Data Size Threshold ব্যবহার করতে পারেন। উদাহরণস্বরূপ, আপনি Back Pressure Object Threshold কে 5000 সেট করতে পারেন, যার মানে হচ্ছে, যখন কিউতে 5000 অবজেক্ট জমা হবে, তখন প্রোসেসরটি আটকে যাবে।

সারাংশ

অ্যাপাচি নিফাই (Apache NiFi)-তে Processor Scheduling এবং Back Pressure Management দুইটি গুরুত্বপূর্ণ ফিচার যা ডেটা ফ্লো পরিচালনাকে কার্যকরী করে। Processor Scheduling প্রোসেসরের কার্যক্ষমতা এবং চলাচল নির্ধারণ করে, যেমন কত দ্রুত বা কখন প্রোসেসর চালানো হবে। অপরদিকে, Back Pressure ব্যবস্থাপনা সিস্টেমে অতিরিক্ত লোড ও চাপ কমাতে সহায়ক, যাতে ডেটা ফ্লো সুষম ও ধারাবাহিকভাবে চলে। এগুলি NiFi ব্যবহারকারীদের ফ্লো পারফরম্যান্স এবং কার্যকারিতা নিয়ন্ত্রণে সাহায্য করে।