Apache Sqoop ইন্সটল করা এবং কনফিগার করা খুবই সহজ, তবে এটি করতে হলে কিছু পূর্বশর্ত পূরণ করতে হয়। এই টিউটোরিয়ালে আমরা Apache Sqoop ইন্সটল এবং কনফিগারেশনের ধাপগুলো আলোচনা করব।
প্রাক-শর্ত
Java Development Kit (JDK):
Apache Sqoop Java-ভিত্তিক অ্যাপ্লিকেশন, তাই আপনার সিস্টেমে JDK ইনস্টল করা থাকতে হবে। Sqoop 1.4.7 সংস্করণের জন্য Java 1.7 বা তার পরবর্তী সংস্করণ প্রয়োজন।
Hadoop:
Sqoop Hadoop ইকোসিস্টেমের সাথে কাজ করে, তাই আপনার সিস্টেমে Hadoop ইন্সটল থাকতে হবে।
RDBMS ড্রাইভার:
Sqoop বিভিন্ন রিলেশনাল ডাটাবেসের সাথে সংযোগ স্থাপন করতে পারে, যেমন MySQL, PostgreSQL ইত্যাদি। এগুলোর জন্য সঠিক JDBC ড্রাইভার ডাউনলোড এবং কনফিগার করতে হবে।
1. Sqoop ডাউনলোড ও ইন্সটলেশন
Step 1: Sqoop ডাউনলোড করা
Apache Sqoop এর অফিসিয়াল ওয়েবসাইট (https://sqoop.apache.org) থেকে সর্বশেষ ভার্সন ডাউনলোড করুন। অথবা নিচের কমান্ড দিয়ে Sqoop ডাউনলোড করতে পারেন:
wget http://apache.mirror.digitalpacific.com.au/sqoop/1.4.7/sqoop-1.4.7.tar.gz
Step 2: Sqoop এক্সট্র্যাক্ট করা
ডাউনলোডকৃত ফাইলটি এক্সট্র্যাক্ট করুন:
tar -xvzf sqoop-1.4.7.tar.gz
Step 3: Sqoop ডিরেক্টরি কনফিগার করা
এক্সট্র্যাক্ট করার পর, Sqoop ডিরেক্টরি sqoop-1.4.7 এ চলে যান।
cd sqoop-1.4.7
Step 4: পরিবেশ ভেরিয়েবল সেট করা
আপনার শেল কনফিগারেশন ফাইলে (যেমন .bashrc বা .bash_profile) নিচের লাইনের মাধ্যমে Sqoop এর পরিবেশ ভেরিয়েবল সেট করুন।
export SQOOP_HOME=/path/to/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin
এছাড়াও, HADOOP_HOME এবং JAVA_HOME পরিবেশ ভেরিয়েবলগুলোও ঠিকভাবে সেট করা থাকতে হবে।
2. Sqoop কনফিগারেশন
Step 1: Sqoop কনফিগারেশন ফাইল সম্পাদনা
Sqoop-এর কনফিগারেশন ফাইল sqoop-env.sh এর মধ্যে ডেটাবেস এবং Hadoop এর সাথে সম্পর্কিত কনফিগারেশন থাকে। এই ফাইলটি sqoop-1.4.7/conf/ ডিরেক্টরিতে পাওয়া যাবে।
vi $SQOOP_HOME/conf/sqoop-env.sh
এখানে আপনাকে নিচের কনফিগারেশন সেট করতে হবে:
- HADOOP_HOME: আপনার Hadoop ইনস্টলেশন লোকেশন
- JAVA_HOME: JDK ইনস্টলেশন লোকেশন
Step 2: JDBC ড্রাইভার কনফিগারেশন
Sqoop ডেটাবেসের সাথে সংযোগ করার জন্য JDBC ড্রাইভার প্রয়োজন। সাধারণত, JDBC ড্রাইভার ফাইলগুলি sqoop/lib/ ডিরেক্টরিতে রাখতে হয়।
উদাহরণস্বরূপ, MySQL এর জন্য:
cp mysql-connector-java-5.1.47.jar $SQOOP_HOME/lib/
Step 3: Sqoop টেস্টিং
Sqoop সঠিকভাবে ইন্সটল এবং কনফিগার হয়েছে কিনা, তা পরীক্ষা করতে নিচের কমান্ড রান করুন:
sqoop version
এটি Sqoop-এর ভার্সন প্রদর্শন করবে, যা ইন্সটলেশন সফল হওয়ার নির্দেশক।
3. RDBMS কানেকশন কনফিগারেশন
MySQL কনফিগারেশন:
MySQL ডাটাবেসে সংযোগ স্থাপন করতে, নিম্নলিখিত উদাহরণ ব্যবহার করা যেতে পারে:
sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password yourpassword
এখানে localhost:3306 হলো MySQL সার্ভারের হোস্ট এবং পোর্ট, এবং root হলো ইউজারনেম।
সারাংশ
Apache Sqoop ইন্সটলেশন এবং কনফিগারেশন সহজ, তবে সঠিক পরিবেশ ভেরিয়েবল এবং ড্রাইভার কনফিগারেশন নিশ্চিত করা প্রয়োজন। একবার সঠিকভাবে কনফিগার হয়ে গেলে, আপনি সহজেই RDBMS এবং Hadoop-এর মধ্যে ডেটা ট্রান্সফার করতে পারবেন।
Read more