AI ToolsHub
হোমবিভাগসমূহডিসকভারি কো-পাইলটগাইডস ও ইনসাইটস
  1. হোম
  2. টুলস
  3. গবেষণা সরঞ্জাম
  4. chonkie
chonkie

chonkie

টোকেন, শব্দ, বাক্য বা শব্দার্থিক অর্থের ভিত্তিতে বড় ডকুমেন্ট ভাগ করার একটি টেক্সট চাঙ্কিং টুল

গবেষণা সরঞ্জামডেভেলপার টুলসডেটা মাইনিংজ্ঞান ব্যবস্থাপনাজ্ঞান গ্রাফ
chonkie screenshot
সারসংক্ষেপবিকল্পসমূহ

মাসিক ভিজিট

19.2K

গড় সময়কাল

0 min

বিভাগীয় ক্রম

N/A

বাউন্স রেট

0.5%

chonkie কি?

চনকি একটি ওপেন-সোর্স পাইথন লাইব্রেরি যা রিট্রিভাল-অগমেন্টেড জেনারেশন ওয়ার্কফ্লোর জন্য বড় ও জটিল ডকুমেন্টগুলোকে অর্থবহ এবং স্বাধীন খণ্ডে দক্ষতার সাথে বিভক্ত করার জন্য নকশা করা হয়েছে। এটি একাধিক চাঙ্কিং কৌশল সমর্থন করে, যার মধ্যে টোকেন-ভিত্তিক, শব্দ-ভিত্তিক, বাক্য-ভিত্তিক এবং শব্দার্থিক চাঙ্কিং অন্তর্ভুক্ত, যা ডেভেলপারদের নির্দিষ্ট এনএলপি এবং মেশিন লার্নিং প্রয়োজনীয়তা অনুসারে টেক্সট বিভাজন কাস্টমাইজ করতে সহায়তা করে। হালকা-ওজনের এবং দ্রুত ইনস্টলযোগ্য চনকি বড় ভাষা মডেলগুলোর জন্য প্রক্রিয়াকরণ ত্বরান্বিত এবং কনটেক্সট ম্যানেজমেন্ট অপ্টিমাইজ করতে সাহায্য করে, ব্যবহারকারীদেরকে টোকেন সীমাবদ্ধতা কাটাতে এবং রিট্রিভাল নির্ভুলতা উন্নত করতে সক্ষম করে।

chonkie এর প্রধান বৈশিষ্ট্যগুলো কী??

একাধিক চাঙ্কিং পদ্ধতি
টোকেনচাঙ্কার, ওয়ার্ডচাঙ্কার, সেন্টেন্সচাঙ্কার, সিম্যান্টিকচাঙ্কার এবং এসডিপিএমচাঙ্কারের মতো বিভিন্ন চাঙ্কার সমর্থন করে নমনীয় টেক্সট বিভাজনের জন্য।
হালকা-ওজনের ও দক্ষ
ছোট ডিফল্ট ইনস্টলেশন সাইজ (প্রায় ২১এমবি), পারফরমেন্স বেঞ্চমার্কে দেখা গেছে টোকেন চাঙ্কিং অনুরূপ পণ্যগুলোর তুলনায় ৩৩ গুণ দ্রুত গতিতে সম্পন্ন হয়।
সহজ একীভূতকরণ
পাইপের মাধ্যমে ইনস্টলযোগ্য, সাধারণ এপিআই, জিপিটি-২, ট্রান্সফরমার্স এবং টিকটোকেনের মত প্রধান স্ট্রিম টোকেনাইজারের সাথে সামঞ্জস্যপূর্ণ, যা নির্বিঘ্ন একীকরণ সক্ষম করে।
আরএজির জন্য অপ্টিমাইজড
ডকুমেন্টগুলোকে প্রাসঙ্গিক ভাবে প্রাসঙ্গিক ইউনিটে বিভক্ত করে রিট্রিভাল-অগমেন্টেড জেনারেশন (আরএজি) উন্নত করতে বিশেষভাবে নকশা করা হয়েছে, যা মডেল ইনফারেন্স পারফরম্যান্স উন্নত করে।
মডিউলার নির্ভরতা ব্যবস্থা
শুধুমাত্র প্রয়োজনীয় চাঙ্কার এবং নির্ভরতাগুলো ইনস্টল করুন, যা অপ্রয়োজনীয়তা হ্রাস করে এবং ডিপ্লয়মেন্ট দক্ষতা বৃদ্ধি করে।

chonkie এর বিকল্প টুলস

deepwiki

deepwiki

DeepWiki স্বয়ংক্রিয়ভাবে GitHub রিপোজিটরির সম্পূর্ণ কোডবেস, README ফাইল এবং কনফিগারেশন বিবরণ বিশ্লেষণ করে ব্যাপক, উইকিপিডিয়া-স্টাইলের ডকুমেন্টেশন তৈরি করে। এটি তথ্যকে পরিষ্কার মডিউল, টেকনোলজি স্ট্যাক এবং ফাইল কাঠামোয় সংগঠিত করে, যা ইন্টারেক্টিভ আর্কিটেকচার ডায়াগ্রাম দ্বারা পরিপূর্ক। ব্যবহারকারীরা একটি কথোপকথন সহকারীর মাধ্যমে ডকুমেন্টেশনের সাথে ইন্টারঅ্যাক্ট করতে পারেন যা কোডবেস সম্পর্কে নির্দিষ্ট প্রশ্নের উত্তর দেয়। উপরন্তু, DeepWiki একটি গভীর গবেষণা মোড অফার করে যা একজন সিনিয়র ইঞ্জিনিয়ারের তুলনায় উন্নত অন্তর্দৃষ্টি প্রদান করে। পাবলিক রিপোজিটরি অবাধে প্রবেশযোগ্য, অন্যদিকে প্রাইভেট রিপোজিটরিগুলো অথেন্টিকেশনের মাধ্যমে অ্যাক্সেস করা যায়।

1.2M
67% মিল
notebooklm

notebooklm

গুগল জেমিনি এআই-এর দ্বারা চালিত এবং গুগল ল্যাবস দ্বারা উন্নত নোটবুকএলএম হলো একটি অত্যাধুনিক, এআই-প্রথম নোটবুক যা ব্যবহারকারীদের নথির সাথে যোগাযোগের পদ্ধতিতে বিপ্লব ঘটাতে নকশাকৃত। প্রচলিত নোট-তোলার অ্যাপের থেকে ভিন্ন, এটি আপনার আপলোড করা বিষয়বস্তু—যেমন পিডিএফ, গুগল ডক্স, ওয়েব পৃষ্ঠা এবং স্লাইড—এর ওপর ভিত্তি করে একটি ব্যক্তিগতকৃত এআই এজেন্ট তৈরি করে, যা আপনার জ্ঞানভাণ্ডারের সাথে সম্পূর্ণভাবে খাপ খাইয়ে সঠিক সারসংক্ষেপ, ব্যাখ্যা ও আন্তঃনথি বিশ্লেষণ সক্ষম করে। এতে পডকাস্ট-স্টাইলের অডিও সারসংক্ষেপেরও বৈশিষ্ট্য রয়েছে, যা তথ্য ব্যবহারকে আরও নমনীয় ও আকর্ষণীয় করে তোলে।

18.4M
60% মিল
modal

modal

Modal হল AI, মেশিন লার্নিং এবং ডেটা টিমের জন্য নকশাকৃত একটি ক্লাউড ফাংশন প্ল্যাটফর্ম, যা অন্তর্নিহিত অবকাঠামো পরিচালনা করার প্রয়োজন ছাড়াই গণনা-নিবিড় অ্যাপ্লিকেশন চালানো সক্ষম করে। প্ল্যাটফর্মটি স্বয়ংক্রিয় ইলাস্টিক স্কেলিং এবং GPU সমর্থন সহ পাইথন কোডের দ্রুত, সার্ভারলেস এক্সিকিউশন সমর্থন করে, যা ডেভেলপারদেরকে ইনফারেন্স এন্ডপয়েন্ট, ব্যাচ জব এবং নির্ধারিত টাস্ক নির্বিঘ্নে ডেপ্লয় করতে দেয়। Modal একটি স্বজ্ঞাত পাইথন ইন্টারফেসের মাধ্যমে কন্টেইনার পরিবেশ, হার্ডওয়্যার প্রয়োজনীয়তা এবং স্থায়ী স্টোরেজের কনফিগারেশন জটিলতা সরল করে, শুধুমাত্র ব্যবহৃত প্রকৃত কম্পিউট সময়ের জন্য চার্জ করে। Oracle Cloud Infrastructure-এর সাথে গভীরভাবে একীভূত, এটি বৃহৎ-পরিসরের AI ওয়ার্কলোডের জন্য উচ্চ কার্যকারিতা এবং খরচ-দক্ষতা প্রদান করে।

608.4K
60% মিল
dataworld

dataworld

data.world একটি উদ্ভাবনী ক্লাউড-ভিত্তিক ডেটা ক্যাটালগ সমাধান যা প্রতিষ্ঠানগুলোকে তাদের ডেটা সম্পদ সংযুক্ত, বুঝতে ও বিশ্বাস করতে সহায়তা করে। একটি নলেজ গ্রাফ আর্কিটেকচারের উপর নির্মিত, এটি সামগ্রিক মেটাডেটা ব্যবস্থাপনা, স্বয়ংক্রিয় ডেটা সমৃদ্ধকরণ এবং এআই-চালিত অনুসন্ধান সুবিধা প্রদান করে। এই প্ল্যাটফর্ম নির্বিঘ্ন ডেটা আবিষ্কার, শাসন এবং সহযোগিতার সুযোগ দেয়, যা বিভিন্ন দলকে কার্যকরী অন্তর্দৃষ্টিগুলি দক্ষ ও নিরাপদে অ্যাক্সেস করতে সক্ষম করে।

191.5K
60% মিল
deep-lake

deep-lake

ডিপলেক হল এআই এবং মেশিন লার্নিং কাজের চাহিদা মাথায় রেখে বিস্তারিতভাবে নির্মিত একটি তথ্য অবকাঠামো সমাধান। এর মূল পণ্য, ডিপলেক, একটি ওপেন-সোর্স, সার্ভারবিহীন ডাটাবেস যা ছবি, ভিডিও, অডিও এবং পয়েন্ট ক্লাউডের মতো বৃহৎ আকারের বহুমুখী তথ্য সেট সংরক্ষণ, সংস্করণ নির্ধারণ এবং প্রবাহীকরণের জন্য বিশেষভাবে অপ্টিমাইজড। জটিল ডেটা পাইপলাইন সরলীকরণ এবং মেশিন লার্নিং মডেলগুলোর সাথে নিবিড় একীকরণ সক্ষম করে, অ্যাকটিভলুপ বিজ্ঞানীদের, উদ্যোক্তা প্রতিষ্ঠানগুলোর এবং এন্টারপ্রাইজগুলোর জন্য এআই পণ্য উন্নয়নকে গতিশীল করে। এই প্ল্যাটফর্ম মাল্টি-ইনডেক্স রিট্রিভাল, এক সেকেন্ডের কম অনুসন্ধানের সময়কাল এবং নমনীয় মডেল একীকরণ সমর্থন করে, যার মাধ্যমে দলগুলি উচ্চ নির্ভুল, বর্ধনযোগ্য এবং সাশ্রয়ী এআই সিস্টেম গড়ে তুলতে সক্ষম হয়।

84.7K
60% মিল
contextual-ai

contextual-ai

কন্টেক্সচুয়াল AI একটি ব্যাপক প্ল্যাটফর্ম প্রদান করে যা জটিল এন্টারপ্রাইজের প্রয়োজনে রূপায়িত RAG অ্যাপ্লিকেশন নির্মাণ, স্থাপন ও সম্প্রসারণের জন্য নকশাকৃত। রিট্রিভাল ও জেনারেশনকে একটি ঐক্যবদ্ধ ব্যবস্থা হিসেবে অপ্টিমাইজ করে, এটি হ্যালুসিনেশন, অপ্রচলিত ডেটা এবং ডেটা গোপনীয়তার মতো গুরুত্বপূর্ণ চ্যালেঞ্জগুলির সমাধান করে। প্ল্যাটফর্মটি একাধিক ডেটার ধরন, এন্টারপ্রাইজ-গ্রেড নিরাপত্তা ও নমনীয় স্থাপনার বিকল্প সমর্থন করে, যা প্রতিষ্ঠানগুলিকে বিপুল ও জটিল ডকুমেন্টকে উচ্চ নির্ভুলতা ও নিয়ন্ত্রণের সাথে কার্যকরী অন্তর্দৃষ্টিতে রূপান্তর করতে সক্ষম করে।

50.7K
60% মিল
AI ToolsHub

এআই টুল খুঁজতে, তুলনা করতে ও গুছিয়ে রাখতে আপনার ডিসকভারি কো-পাইলট

AI ToolsHub একটি ডিজিটাল সফটওয়্যার ও SaaS ডিরেক্টরি। আমরা কোনো ফিজিক্যাল হার্ডওয়্যার বিক্রি করি না।

সুপারিশকৃত পণ্য

  • Canva
  • Readdy
  • Lovart

আইনগত

  • গোপনীয়তা
  • সেবার শর্তাবলী

কোম্পানি

  • সম্পর্কে
  • যোগাযোগ

এই বিভাগে ট্রেন্ডিং

mochii-ai

mochii-ai

ওয়েব পাতাগুলি পড়া, বিশ্লেষণ এবং লেখা তৈরির জন্য ব্রাউজার এআই সহকারী

1.5K
reconfigured

reconfigured

একটি ডেস্কটপ কাজের লগ টুল যা একটি নলেজ গ্রাফ রেখে ভাবনা ও সিদ্ধান্তগুলো সংরক্ষণ করে।

1.1K
pave-robotics

pave-robotics

রাস্তা রক্ষণাবেক্ষণ রোবট যা স্বয়ংক্রিয়ভাবে অ্যাসফাল্টের ফাটল শনাক্ত করে এবং সীল করে

1.3K
pdf2gpt

pdf2gpt

পিডিএফ তথ্য প্রক্রিয়াকারী যা সারাংশ, সূচিপত্র এবং লক্ষ্যযুক্ত প্রশ্নের উত্তর তৈরির জন্য বিষয়বস্তু আহরণ করে।

1.6K
jenni-ai

jenni-ai

পাঠ, লেখা, উদ্ধৃতিদান ও বহুভাষিক সামগ্রী তৈরিতে সহায়ক একটি একাডেমিক লেখা-সহায়ক প্ল্যাটফর্ম।

1.2M
uniscribe

uniscribe

অডিও এবং ভিডিও প্রতিলিপিকরণ টুল যা উপাদানকে সারসংক্ষেপ, মাইন্ড ম্যাপ এবং মূল প্রশ্নোত্তরে রূপান্তর করে।

915.2K

আপনার পছন্দ হতে পারে

deepwiki

deepwiki

DeepWiki স্বয়ংক্রিয়ভাবে GitHub রিপোজিটরির সম্পূর্ণ কোডবেস, README ফাইল এবং কনফিগারেশন বিবরণ বিশ্লেষণ করে ব্যাপক, উইকিপিডিয়া-স্টাইলের ডকুমেন্টেশন তৈরি করে। এটি তথ্যকে পরিষ্কার মডিউল, টেকনোলজি স্ট্যাক এবং ফাইল কাঠামোয় সংগঠিত করে, যা ইন্টারেক্টিভ আর্কিটেকচার ডায়াগ্রাম দ্বারা পরিপূর্ক। ব্যবহারকারীরা একটি কথোপকথন সহকারীর মাধ্যমে ডকুমেন্টেশনের সাথে ইন্টারঅ্যাক্ট করতে পারেন যা কোডবেস সম্পর্কে নির্দিষ্ট প্রশ্নের উত্তর দেয়। উপরন্তু, DeepWiki একটি গভীর গবেষণা মোড অফার করে যা একজন সিনিয়র ইঞ্জিনিয়ারের তুলনায় উন্নত অন্তর্দৃষ্টি প্রদান করে। পাবলিক রিপোজিটরি অবাধে প্রবেশযোগ্য, অন্যদিকে প্রাইভেট রিপোজিটরিগুলো অথেন্টিকেশনের মাধ্যমে অ্যাক্সেস করা যায়।

1.2M
notebooklm

notebooklm

গুগল জেমিনি এআই-এর দ্বারা চালিত এবং গুগল ল্যাবস দ্বারা উন্নত নোটবুকএলএম হলো একটি অত্যাধুনিক, এআই-প্রথম নোটবুক যা ব্যবহারকারীদের নথির সাথে যোগাযোগের পদ্ধতিতে বিপ্লব ঘটাতে নকশাকৃত। প্রচলিত নোট-তোলার অ্যাপের থেকে ভিন্ন, এটি আপনার আপলোড করা বিষয়বস্তু—যেমন পিডিএফ, গুগল ডক্স, ওয়েব পৃষ্ঠা এবং স্লাইড—এর ওপর ভিত্তি করে একটি ব্যক্তিগতকৃত এআই এজেন্ট তৈরি করে, যা আপনার জ্ঞানভাণ্ডারের সাথে সম্পূর্ণভাবে খাপ খাইয়ে সঠিক সারসংক্ষেপ, ব্যাখ্যা ও আন্তঃনথি বিশ্লেষণ সক্ষম করে। এতে পডকাস্ট-স্টাইলের অডিও সারসংক্ষেপেরও বৈশিষ্ট্য রয়েছে, যা তথ্য ব্যবহারকে আরও নমনীয় ও আকর্ষণীয় করে তোলে।

18.4M
modal

modal

Modal হল AI, মেশিন লার্নিং এবং ডেটা টিমের জন্য নকশাকৃত একটি ক্লাউড ফাংশন প্ল্যাটফর্ম, যা অন্তর্নিহিত অবকাঠামো পরিচালনা করার প্রয়োজন ছাড়াই গণনা-নিবিড় অ্যাপ্লিকেশন চালানো সক্ষম করে। প্ল্যাটফর্মটি স্বয়ংক্রিয় ইলাস্টিক স্কেলিং এবং GPU সমর্থন সহ পাইথন কোডের দ্রুত, সার্ভারলেস এক্সিকিউশন সমর্থন করে, যা ডেভেলপারদেরকে ইনফারেন্স এন্ডপয়েন্ট, ব্যাচ জব এবং নির্ধারিত টাস্ক নির্বিঘ্নে ডেপ্লয় করতে দেয়। Modal একটি স্বজ্ঞাত পাইথন ইন্টারফেসের মাধ্যমে কন্টেইনার পরিবেশ, হার্ডওয়্যার প্রয়োজনীয়তা এবং স্থায়ী স্টোরেজের কনফিগারেশন জটিলতা সরল করে, শুধুমাত্র ব্যবহৃত প্রকৃত কম্পিউট সময়ের জন্য চার্জ করে। Oracle Cloud Infrastructure-এর সাথে গভীরভাবে একীভূত, এটি বৃহৎ-পরিসরের AI ওয়ার্কলোডের জন্য উচ্চ কার্যকারিতা এবং খরচ-দক্ষতা প্রদান করে।

608.4K
dataworld

dataworld

data.world একটি উদ্ভাবনী ক্লাউড-ভিত্তিক ডেটা ক্যাটালগ সমাধান যা প্রতিষ্ঠানগুলোকে তাদের ডেটা সম্পদ সংযুক্ত, বুঝতে ও বিশ্বাস করতে সহায়তা করে। একটি নলেজ গ্রাফ আর্কিটেকচারের উপর নির্মিত, এটি সামগ্রিক মেটাডেটা ব্যবস্থাপনা, স্বয়ংক্রিয় ডেটা সমৃদ্ধকরণ এবং এআই-চালিত অনুসন্ধান সুবিধা প্রদান করে। এই প্ল্যাটফর্ম নির্বিঘ্ন ডেটা আবিষ্কার, শাসন এবং সহযোগিতার সুযোগ দেয়, যা বিভিন্ন দলকে কার্যকরী অন্তর্দৃষ্টিগুলি দক্ষ ও নিরাপদে অ্যাক্সেস করতে সক্ষম করে।

191.5K
deep-lake

deep-lake

ডিপলেক হল এআই এবং মেশিন লার্নিং কাজের চাহিদা মাথায় রেখে বিস্তারিতভাবে নির্মিত একটি তথ্য অবকাঠামো সমাধান। এর মূল পণ্য, ডিপলেক, একটি ওপেন-সোর্স, সার্ভারবিহীন ডাটাবেস যা ছবি, ভিডিও, অডিও এবং পয়েন্ট ক্লাউডের মতো বৃহৎ আকারের বহুমুখী তথ্য সেট সংরক্ষণ, সংস্করণ নির্ধারণ এবং প্রবাহীকরণের জন্য বিশেষভাবে অপ্টিমাইজড। জটিল ডেটা পাইপলাইন সরলীকরণ এবং মেশিন লার্নিং মডেলগুলোর সাথে নিবিড় একীকরণ সক্ষম করে, অ্যাকটিভলুপ বিজ্ঞানীদের, উদ্যোক্তা প্রতিষ্ঠানগুলোর এবং এন্টারপ্রাইজগুলোর জন্য এআই পণ্য উন্নয়নকে গতিশীল করে। এই প্ল্যাটফর্ম মাল্টি-ইনডেক্স রিট্রিভাল, এক সেকেন্ডের কম অনুসন্ধানের সময়কাল এবং নমনীয় মডেল একীকরণ সমর্থন করে, যার মাধ্যমে দলগুলি উচ্চ নির্ভুল, বর্ধনযোগ্য এবং সাশ্রয়ী এআই সিস্টেম গড়ে তুলতে সক্ষম হয়।

84.7K
contextual-ai

contextual-ai

কন্টেক্সচুয়াল AI একটি ব্যাপক প্ল্যাটফর্ম প্রদান করে যা জটিল এন্টারপ্রাইজের প্রয়োজনে রূপায়িত RAG অ্যাপ্লিকেশন নির্মাণ, স্থাপন ও সম্প্রসারণের জন্য নকশাকৃত। রিট্রিভাল ও জেনারেশনকে একটি ঐক্যবদ্ধ ব্যবস্থা হিসেবে অপ্টিমাইজ করে, এটি হ্যালুসিনেশন, অপ্রচলিত ডেটা এবং ডেটা গোপনীয়তার মতো গুরুত্বপূর্ণ চ্যালেঞ্জগুলির সমাধান করে। প্ল্যাটফর্মটি একাধিক ডেটার ধরন, এন্টারপ্রাইজ-গ্রেড নিরাপত্তা ও নমনীয় স্থাপনার বিকল্প সমর্থন করে, যা প্রতিষ্ঠানগুলিকে বিপুল ও জটিল ডকুমেন্টকে উচ্চ নির্ভুলতা ও নিয়ন্ত্রণের সাথে কার্যকরী অন্তর্দৃষ্টিতে রূপান্তর করতে সক্ষম করে।

50.7K