Hadoop ফ্রেমওয়ার্কের মধ্যে ডেটা স্টোর এবং প্রসেস করার জন্য HDFS (Hadoop Distributed File System) ব্যবহৃত হয়। ডেটা স্টোর করার জন্য এবং Hadoop ক্লাস্টারে ডেটা অ্যাক্সেস করার জন্য Hadoop কমান্ড লাইন টুলগুলি ব্যবহৃত হয়, বিশেষ করে put এবং get কমান্ড।
এই কমান্ডগুলো HDFS এর সাথে ডেটা ইন্টারঅ্যাকশন করতে সাহায্য করে। put কমান্ডটি লোকাল ফাইল সিস্টেম থেকে HDFS এ ডেটা আপলোড করার জন্য ব্যবহৃত হয়, এবং get কমান্ডটি HDFS থেকে ডেটা লোকাল ফাইল সিস্টেমে ডাউনলোড করার জন্য ব্যবহৃত হয়।
put কমান্ড
put কমান্ডটি লোকাল ফাইল সিস্টেম থেকে HDFS এ ডেটা স্থানান্তর করতে ব্যবহৃত হয়। এই কমান্ডটি সাধারণত ফাইল বা ডিরেক্টরি HDFS এ আপলোড করার জন্য ব্যবহার করা হয়।
put কমান্ডের সিনট্যাক্স
hadoop fs -put <লোকাল ফাইলের পথ> <HDFS ডিরেক্টরি>
উদাহরণ
ধরা যাক, আপনার লোকাল সিস্টেমে /home/user/data.txt ফাইলটি আছে এবং আপনি এটি HDFS এ /user/hadoop/input/ ডিরেক্টরিতে আপলোড করতে চান।
hadoop fs -put /home/user/data.txt /user/hadoop/input/
এটি data.txt ফাইলটি HDFS এর /user/hadoop/input/ ডিরেক্টরিতে স্থানান্তর করবে।
put কমান্ডের বিকল্প
- -f (force): যদি ফাইলটি ইতিমধ্যে HDFS এ থাকে, তবে এটি পুরনো ফাইলটি প্রতিস্থাপন করবে।
- -p: লোকাল ফাইলের পermissions (অনুমতি), মালিকানা এবং টাইমস্ট্যাম্প HDFS এ কপি করবে।
get কমান্ড
get কমান্ডটি HDFS থেকে ডেটা লোকাল ফাইল সিস্টেমে ডাউনলোড করতে ব্যবহৃত হয়। এটি সাধারণত HDFS থেকে ফাইল বা ডিরেক্টরি লোকাল সিস্টেমে স্থানান্তর করার জন্য ব্যবহৃত হয়।
get কমান্ডের সিনট্যাক্স
hadoop fs -get <HDFS ফাইলের পথ> <লোকাল ডিরেক্টরি>
উদাহরণ
ধরা যাক, আপনি HDFS থেকে /user/hadoop/input/data.txt ফাইলটি লোকাল সিস্টেমে /home/user/ ডিরেক্টরিতে ডাউনলোড করতে চান।
hadoop fs -get /user/hadoop/input/data.txt /home/user/
এটি data.txt ফাইলটি HDFS থেকে লোকাল সিস্টেমে /home/user/ ডিরেক্টরিতে স্থানান্তর করবে।
get কমান্ডের বিকল্প
- -copyToLocal: এটি
getকমান্ডের মতোই কাজ করে, কিন্তু এটি একটি নতুন কপি তৈরি করবে যদি ফাইলটি লোকাল সিস্টেমে ইতিমধ্যে থাকে। - -delete: HDFS থেকে ফাইলটি ডাউনলোড করার পর সেটি মুছে ফেলতে ব্যবহৃত হয়।
put এবং get কমান্ডের জন্য অতিরিক্ত বৈশিষ্ট্য
- ডিরেক্টরি স্থানান্তর: আপনি ফাইলের পাশাপাশি HDFS এর ডিরেক্টরি স্থানান্তর করতে পারেন।
- উদাহরণ:
hadoop fs -put /home/user/data/ /user/hadoop/input/— এটি/home/user/data/ডিরেক্টরির সমস্ত কন্টেন্ট HDFS এর/user/hadoop/input/ডিরেক্টরিতে স্থানান্তর করবে।
- উদাহরণ:
- ফাইলের তালিকা দেখা: HDFS এ কোন ফাইল বা ডিরেক্টরি আছে কিনা দেখতে
hadoop fs -lsকমান্ড ব্যবহার করতে পারেন।- উদাহরণ:
hadoop fs -ls /user/hadoop/input/— এটি HDFS এর/user/hadoop/input/ডিরেক্টরির সমস্ত ফাইল এবং সাব-ডিরেক্টরি দেখাবে।
- উদাহরণ:
- ফাইলের বিষয়বস্তু দেখানো: ফাইলের বিষয়বস্তু দেখতে
hadoop fs -catব্যবহার করা হয়।- উদাহরণ:
hadoop fs -cat /user/hadoop/input/data.txt— এটি HDFS থেকেdata.txtফাইলের বিষয়বস্তু দেখাবে।
- উদাহরণ:
সারাংশ
Hadoop এর put এবং get কমান্ডগুলি HDFS এ ডেটা স্থানান্তর করার জন্য ব্যবহৃত হয়। put কমান্ডটি লোকাল সিস্টেম থেকে HDFS এ ডেটা আপলোড করতে সাহায্য করে, এবং get কমান্ডটি HDFS থেকে ডেটা লোকাল সিস্টেমে ডাউনলোড করতে ব্যবহৃত হয়। এই কমান্ডগুলো ব্যবহার করে Hadoop ব্যবহারকারীরা সহজেই ডেটা এক্সচেঞ্জ এবং ম্যানিপুলেশন করতে পারেন।
Read more
