Ang Data De-duplication ay isang sikat at tanyag na teknolohiya sa imbakan na nag-o-optimize sa kapasidad ng imbakan. Inaalis nito ang kalabisan ng data sa pamamagitan ng pag-alis ng mga duplicate na data mula sa dataset, na nag-iiwan lamang ng isang kopya. Gaya ng ipinapakita sa larawan sa ibaba. Malaki ang maitutulong ng teknolohiyang ito upang mabawasan ang pangangailangan para sa pisikal na espasyo sa imbakan upang matugunan ang lumalaking pangangailangan para sa imbakan ng data. Ang teknolohiyang Dedupe ay maaaring magdulot ng maraming praktikal na benepisyo, pangunahin na kabilang ang mga sumusunod na aspeto:
| (1) | Matugunan ang mga kinakailangan sa ROI (Return On Investment)/TCO (Total Cost of Ownership); |
| (2) | Ang mabilis na paglaki ng datos ay maaaring epektibong makontrol; |
| (3) | Dagdagan ang epektibong espasyo sa imbakan at pagbutihin ang kahusayan sa pag-iimbak; |
| (4) | Makatipid sa kabuuang gastos sa imbakan at gastos sa pamamahala; |
| (5) | I-save ang bandwidth ng network ng paghahatid ng data; |
| (6) | Makatipid sa mga gastos sa operasyon at pagpapanatili tulad ng espasyo, suplay ng kuryente at pagpapalamig. |
Malawakang ginagamit ang teknolohiyang Dedupe sa mga sistema ng pag-backup at pag-archive ng data, dahil maraming duplicate na data pagkatapos ng maraming pag-backup ng data, na angkop na angkop para sa teknolohiyang ito. Sa katunayan, ang teknolohiyang dedupe ay maaaring gamitin sa maraming sitwasyon, kabilang ang online data, near-line data, at offline data storage system. Maaari itong ipatupad sa mga file system, volume manager, NAS, at iba pa. Maaari ring gamitin ang Dedupe para sa data disaster recovery, pagpapadala at pag-synchronize ng data, dahil ang teknolohiya ng data compression ay maaaring gamitin para sa data packaging. Ang teknolohiyang Dedupe ay makakatulong sa maraming aplikasyon na mabawasan ang pag-iimbak ng data, makatipid ng bandwidth ng network, mapabuti ang kahusayan ng imbakan, mabawasan ang backup window, at makatipid ng mga gastos.
Ang Dedupe ay may dalawang pangunahing dimensyon: ang mga deduplocation ratio at ang performance. Ang performance ng Dedupe ay nakadepende sa partikular na teknolohiya ng implementasyon, habang ang Dedupe rate ay natutukoy ng mga katangian ng mismong data at mga pattern ng aplikasyon, gaya ng ipinapakita sa talahanayan sa ibaba. Ang mga storage vendor ay kasalukuyang nag-uulat ng mga deduplication rate mula 20:1 hanggang 500:1.
| Mataas na antas ng deduplikasyon | Mababang rate ng deduplication |
| Data na nilikha ng gumagamit | Datos mula sa natural na mundo |
| Mababang rate ng pagbabago ng datos | Mataas na rate ng pagbabago ng datos |
| Datos ng sanggunian, hindi aktibong datos | Aktibong datos |
| Aplikasyon para sa mababang bilis ng pagbabago ng datos | Aplikasyon para sa mataas na bilis ng pagbabago ng datos |
| Ganap na backup ng data | Dagdag na backup ng data |
| Pangmatagalang imbakan ng datos | Panandaliang imbakan ng datos |
| Malawak na hanay ng mga aplikasyon ng datos | Maliit na hanay ng mga aplikasyon ng data |
| Patuloy na pagproseso ng data sa negosyo | Pangkalahatang pagproseso ng data sa negosyo |
| Maliit na segmentasyon ng datos | Pagse-segment ng malaking datos |
| Paghahati-hati ng pahabang datos | Pagse-segment ng datos na may takdang haba |
| Napansin ang nilalaman ng datos | Hindi alam ang nilalaman ng datos |
| Pag-aalis ng duplikasyon ng datos ng oras | Pagbawas ng datos sa espasyo |
Mga Punto ng Pagpapatupad ng Dedupe
Iba't ibang salik ang dapat isaalang-alang kapag bumubuo o naglalapat ng teknolohiyang Dedupe, dahil ang mga salik na ito ay direktang nakakaapekto sa pagganap at bisa nito.
| (1) | Ano | Anong mga datos ang inalis ang timbang? |
| (2) | Kailan | Kailan maaalis ang timbang? |
| (3) | Saan | Nasaan ang pag-aalis ng timbang? |
| (4) | Paano | Paano mabawasan ang timbang? |
Teknolohiya ng Dedupe Key
Ang proseso ng deduplication ng storage system sa pangkalahatan ay ito: una sa lahat, ang data file ay hinahati sa isang set ng data, para sa bawat bloke ng data ay kalkulahin ang fingerprint, at pagkatapos ay batay sa fingerprint. Ang mga keyword sa paghahanap ng Hash, na tumutugma sa data para sa mga duplicate na data block, ay nag-iimbak lamang ng index number ng data block, kung hindi man ay nangangahulugan ito na ang data block ay ang tanging piraso ng isang bago, pag-iimbak ng data block at paglikha ng mga kaugnay na meta information. Kaya, ang isang pisikal na file sa storage system ay tumutugma sa isang lohikal na representasyon ng isang set ng FP metadata. Kapag binabasa ang file, basahin muna ang logical file, pagkatapos ay ayon sa FP sequence, alisin ang kaukulang data block mula sa storage system, at ibalik ang kopya ng pisikal na file. Makikita mula sa proseso sa itaas na ang mga pangunahing teknolohiya ng Dedupe ay pangunahing kinabibilangan ng file data block segmentation, pagkalkula ng data block fingerprint at pagkuha ng data block.
(1) Paghihiwalay ng bloke ng datos ng file
(2) Pagkalkula ng fingerprint ng data block
(3) Pagkuha ng bloke ng datos (data block retrieval)
Para mahanap ang mga inirerekomendang modelong ito para simulan ang iyong Network Packet Deduplication:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ kasama ang 4*40GE/100GE QSFP28, Pinakamataas na bilis na 880Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 kasama ang 48*10GE/25GE SFP28, Max 1.8Tbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ kasama ang 2*40GE QSFP, Max 560Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, Max 480Gbps, Function Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, Pinakamataas na 480Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, Max 240Gbps, Tungkulin ng DPI
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ kasama ang 4*40GE/100GE QSFP28, Pinakamataas na bilis na 880Gbps
Oras ng pag-post: Oktubre-18-2022
