Ang Data De-duplication ay isang sikat at sikat na teknolohiya ng storage na nag-o-optimize sa kapasidad ng storage. Inaalis nito ang kalabisan na data sa pamamagitan ng pag-alis ng duplicate na data mula sa dataset, na nag-iiwan lamang ng isang kopya. Gaya ng ipinapakita sa figure sa ibaba. Ang teknolohiyang ito ay lubos na makakabawas sa pangangailangan para sa pisikal na storage espasyo upang matugunan ang lumalaking pangangailangan para sa pag-iimbak ng data. Ang teknolohiya ng Dedupe ay maaaring magdala ng maraming praktikal na benepisyo, pangunahin kasama ang mga sumusunod na aspeto:
| (1) | Matugunan ang mga kinakailangan sa ROI(Return On Investment)/TCO(Total Cost of Ownership); |
| (2) | Ang mabilis na paglaki ng data ay maaaring epektibong makontrol; |
| (3) | Palakihin ang epektibong espasyo sa imbakan at pagbutihin ang kahusayan sa imbakan; |
| (4) | I-save ang kabuuang halaga ng imbakan at gastos sa pamamahala; |
| (5) | I-save ang bandwidth ng network ng paghahatid ng data; |
| (6) | Makatipid ng mga gastos sa pagpapatakbo at pagpapanatili tulad ng espasyo, suplay ng kuryente at pagpapalamig. |
Ang teknolohiyang dedupe ay malawakang ginagamit sa mga sistema ng pag-backup at pag-archive ng data, dahil maraming duplicate na data pagkatapos ng maraming pag-backup ng data, na napaka-angkop para sa teknolohiyang ito. Sa katunayan, ang teknolohiyang dedupe ay maaaring gamitin sa maraming sitwasyon, kabilang ang online na data, data na malapit sa linya, at mga offline na sistema ng pag-iimbak ng data. Maaari itong ipatupad sa mga file system, volume manager, NAS, at sans. Ang Dedupe ay maaari ding gamitin para sa data disaster recovery, data transmission at synchronization, dahil ang isang data compression technology ay maaaring gamitin para sa data packaging. Ang Dedupe technology ay maaaring makatulong sa maraming mga application na mabawasan imbakan ng data, i-save ang bandwidth ng network, pagbutihin ang kahusayan ng imbakan, bawasan ang backup na window, at i-save ang mga gastos.
Ang Dedupe ay may dalawang pangunahing dimensyon: dedupe ratios at performance. Dedupe performance ay depende sa partikular na teknolohiya ng pagpapatupad, habang ang Dedupe rate ay tinutukoy ng mga katangian ng data mismo at mga pattern ng application, tulad ng ipinapakita sa talahanayan sa ibaba. Ang mga storage vendor ay kasalukuyang nag-uulat ng mga rate ng deduplication mula 20:1 hanggang 500:1.
| Mataas na rate ng deduplication | Mababang rate ng deduplication |
| Data na ginawa ng user | Data mula sa natural na mundo |
| Mababang rate ng pagbabago ng data | Mataas na rate ng pagbabago ng data |
| Data ng sanggunian, hindi aktibong data | Aktibong data |
| Mababang data change rate application | Mataas na data change rate application |
| Buong data backup | Incremental na pag-backup ng data |
| Pangmatagalang imbakan ng data | Panandaliang imbakan ng data |
| Malawak na hanay ng mga aplikasyon ng data | Maliit na hanay ng mga aplikasyon ng data |
| Patuloy na pagpoproseso ng negosyo ng data | Pangkalahatang pagpoproseso ng negosyo ng data |
| Maliit na segment ng data | Big data segmentation |
| Pahabain ang pagse-segment ng data | Nakapirming haba ng data segmentation |
| Napagtanto ang nilalaman ng data | Hindi alam ang nilalaman ng data |
| Pag-deduplication ng data ng oras | spatial na data deduplication |
Dedupe Implementation Points
Iba't ibang salik ang dapat isaalang-alang kapag bumubuo o naglalapat ng teknolohiyang Dedupe, dahil ang mga salik na ito ay direktang nakakaapekto sa pagganap at pagiging epektibo nito.
| (1) | ano | Anong data ang de-weighted? |
| (2) | kailan | Kailan aalisin ang timbang? |
| (3) | saan | Nasaan ang pag-aalis ng timbang? |
| (4) | Paano | Paano bawasan ang timbang? |
Dedupe Key Technology
Deduplication proseso ng storage system sa pangkalahatan ay ito: una sa lahat ang data file ay nahahati sa isang set ng data, para sa bawat bloke ng data upang kalkulahin ang fingerprint, at pagkatapos ay batay sa fingerprint Hash na mga keyword sa paghahanap, ang pagtutugma ay nagpapahiwatig ng data para sa duplicate mga bloke ng data, nag-iimbak lamang ng numero ng index ng bloke ng data, kung hindi, nangangahulugan ito na ang bloke ng data ay ang tanging piraso ng isang bago, imbakan ng bloke ng data at lumikha ng may-katuturang impormasyon sa meta. Kaya, ang isang pisikal na file sa sistema ng imbakan ay tumutugma sa isang lohikal na representasyon ng isang set ng FP metadata.Kapag nagbabasa ng file, unang basahin ang lohikal na file, pagkatapos ay ayon sa FP sequence, kunin ang kaukulang data block mula sa storage system, ibalik ang kopya ng pisikal na file.Ito ay makikita mula sa proseso sa itaas na ang mga pangunahing teknolohiya ng Dedupe ay pangunahing kinabibilangan ng file data block segmentation, data block fingerprint kalkulasyon at data block retrieval.
(1) Pagse-segment ng block data ng file
(2) Pagkalkula ng fingerprint ng block ng data
(3) Pagkuha ng data block
Upang mahanap ang mga inirerekomendang modelong ito upang simulan ang iyong Network Packet Deduplication:
Mylinking™ Network Packet Broker(NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, Max 880Gbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, Max 1.8Tbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-506048*10GE SFP+ at 2*40GE QSFP, Max 560Gbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-486048*10GE SFP+, Max 480Gbps, Function Plus
Mylinking™ Network Packet Broker(NPB) ML-NPB-481048*10GE SFP+, Max na 480Gbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-2410P24*10GE SFP+, Max 240Gbps, DPI Function
Mylinking™ Network Packet Broker(NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, Max 880Gbps
Oras ng post: Okt-18-2022
