Ang Data De-duplication ay isang sikat at sikat na teknolohiya ng storage na nag-o-optimize ng kapasidad ng storage. Inaalis nito ang kalabisan na data sa pamamagitan ng pag-alis ng duplicate na data mula sa dataset, na nag-iiwan lamang ng isang kopya. Gaya ng ipinapakita sa figure sa ibaba. Ang teknolohiyang ito ay lubos na makakabawas sa pangangailangan para sa pisikal na storage space upang matugunan ang lumalaking pangangailangan para sa data storage. Ang Dedupe technology ay maaaring magdala ng maraming praktikal na benepisyo, pangunahin kasama ang mga sumusunod na aspeto:
| (1) | Matugunan ang mga kinakailangan sa ROI(Return On Investment)/TCO(Total Cost of Ownership); |
| (2) | Ang mabilis na paglaki ng data ay maaaring epektibong makontrol; |
| (3) | Palakihin ang epektibong espasyo sa imbakan at pagbutihin ang kahusayan sa imbakan; |
| (4) | I-save ang kabuuang halaga ng imbakan at gastos sa pamamahala; |
| (5) | I-save ang bandwidth ng network ng paghahatid ng data; |
| (6) | Makatipid ng mga gastos sa pagpapatakbo at pagpapanatili tulad ng espasyo, suplay ng kuryente at pagpapalamig. |
Ang teknolohiyang dedupe ay malawakang ginagamit sa mga sistema ng pag-backup at pag-archive ng data, dahil maraming duplicate na data pagkatapos ng maraming pag-backup ng data, na napaka-angkop para sa teknolohiyang ito. Sa katunayan, ang teknolohiyang dedupe ay maaaring gamitin sa maraming sitwasyon, kabilang ang online na data, malapit sa linyang data, at mga offline na sistema ng pag-iimbak ng data. Maaari itong ipatupad sa mga file system, volume manager, NAS, at sans. Magagamit din ang Dedupe para sa data disaster recovery, data transmission at synchronization, dahil ang teknolohiya ng data compression ay maaaring gamitin para sa data packaging. Ang Dedupe technology ay maaaring makatulong sa maraming application na bawasan ang data storage, i-save ang bandwidth ng network, mapabuti ang storage efficiency, bawasan ang backup window, at makatipid ng mga gastos.
Ang Dedupe ay may dalawang pangunahing dimensyon: mga ratio ng dedupelokasyon at pagganap. Ang pagganap ng Dedupe ay nakadepende sa partikular na teknolohiya ng pagpapatupad, habang ang Dedupe rate ay tinutukoy ng mga katangian ng mismong data at mga pattern ng application, tulad ng ipinapakita sa talahanayan sa ibaba. Kasalukuyang nag-uulat ang mga vendor ng storage ng mga rate ng deduplication mula 20:1 hanggang 500:1.
| Mataas na rate ng deduplication | Mababang rate ng deduplication |
| Data na ginawa ng user | Data mula sa natural na mundo |
| Mababang rate ng pagbabago ng data | Mataas na rate ng pagbabago ng data |
| Data ng sanggunian, hindi aktibong data | Aktibong data |
| Mababang data change rate application | Mataas na data change rate application |
| Buong data backup | Incremental na pag-backup ng data |
| Pangmatagalang imbakan ng data | Panandaliang imbakan ng data |
| Malawak na hanay ng mga aplikasyon ng data | Maliit na hanay ng mga aplikasyon ng data |
| Patuloy na pagpoproseso ng negosyo ng data | Pangkalahatang pagpoproseso ng negosyo ng data |
| Maliit na segment ng data | Big data segmentation |
| Pahabain ang pagse-segment ng data | Nakapirming haba ng data segmentation |
| Napagtanto ang nilalaman ng data | Hindi alam ang nilalaman ng data |
| Pag-deduplication ng data ng oras | spatial na data deduplication |
Dedupe Implementation Points
Iba't ibang salik ang dapat isaalang-alang kapag bumubuo o naglalapat ng teknolohiyang Dedupe, dahil ang mga salik na ito ay direktang nakakaapekto sa pagganap at pagiging epektibo nito.
| (1) | ano | Anong data ang de-weighted? |
| (2) | kailan | Kailan aalisin ang timbang? |
| (3) | saan | Nasaan ang pag-aalis ng timbang? |
| (4) | Paano | Paano bawasan ang timbang? |
Dedupe Key Technology
Ang proseso ng deduplication ng storage system sa pangkalahatan ay ito: una sa lahat ang data file ay nahahati sa isang set ng data, para sa bawat bloke ng data upang kalkulahin ang fingerprint, at pagkatapos ay batay sa fingerprint Hash na mga keyword sa paghahanap, ang pagtutugma ay nagpapahiwatig ng data para sa mga duplicate na bloke ng data, nag-iimbak lamang ng data block index number, kung hindi, nangangahulugan ito na ang data block ay ang tanging piraso ng isang bagong, imbakan ng data block at lumikha ng may-katuturang data block at lumikha ng may-katuturang file ng data. representasyon ng isang set ng FP metadata.Kapag nagbabasa ng file, basahin muna ang lohikal na file, pagkatapos ay ayon sa FP sequence, kunin ang kaukulang data block mula sa storage system, ibalik ang kopya ng pisikal na file.Makikita mula sa proseso sa itaas na ang mga pangunahing teknolohiya ng Dedupe ay pangunahing kasama ang file data block segmentation, data block fingerprint kalkulasyon at data block retrieval.
(1) Pagse-segment ng bloke ng data ng file
(2) Pagkalkula ng fingerprint ng block ng data
(3) Pagkuha ng data block
Upang mahanap ang mga inirerekomendang modelong ito upang simulan ang iyong Network Packet Deduplication:
Mylinking™ Network Packet Broker(NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, Max 880Gbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, Max 1.8Tbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-506048*10GE SFP+ at 2*40GE QSFP, Max 560Gbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-486048*10GE SFP+, Max 480Gbps, Function Plus
Mylinking™ Network Packet Broker(NPB) ML-NPB-481048*10GE SFP+, Max na 480Gbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-2410P24*10GE SFP+, Max 240Gbps, DPI Function
Mylinking™ Network Packet Broker(NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, Max 880Gbps
Oras ng post: Okt-18-2022
