Apa itu data tidak terstruktur?

Data tidak terstruktur adalah informasi yang tidak mengikuti format, model, atau struktur yang telah ditentukan sebelumnya. Data ini tidak cocok dimasukkan ke dalam baris dan kolom. Oleh karena itu, data ini mungkin sulit disimpan, diproses, dan dianalisis menggunakan sistem manajemen database relasional (RDBMS) tradisional. Data tidak terstruktur adalah informasi bebas yang mengalir ke sistem bisnis Anda setiap hari. Pertimbangkan dampaknya terhadap arsitektur perusahaan:

Mayoritas penyimpanan perusahaan berisi data tidak terstruktur: Jenis data ini sebenarnya mencakup sekitar 70% hingga 90% dari semua informasi yang dikumpulkan bisnis saat ini
Data ini mencakup jenis file yang digunakan sehari-hari: Anda terus menggunakannya dalam bentuk file teks, email, video, gambar, rekaman audio, dan postingan media sosial
Hal ini menantang arsitektur modern: Seiring berkembangnya aplikasi Anda, mencari cara untuk menangani volume data yang sangat besar dan bervariasi ini menjadi fokus utama bagi developer dan arsitek sistem

Apa saja tantangan utama dalam mengelola data tidak terstruktur?

Terdapat pertumbuhan pesat sumber data tidak terstruktur di beberapa industri, yang menimbulkan beberapa tantangan arsitektur tertentu:

Pembuatan data dalam jumlah besar: Aplikasi modern terus-menerus menghasilkan email, PDF, aliran sensor IoT, rekaman pengawasan, konten media sosial, rekaman suara, dan citra satelit. Pengguna membuat konten ini dalam skala terabyte dan petabyte, dan konten ini dapat menumpuk dengan cepat.
Kesenjangan database tradisional: RDBMS dibuat untuk data tabulasi yang terstruktur. Database tersebut tidak dapat menyimpan, mengindeks, atau membuat kueri format bentuk bebas secara efisien.
Risiko performa dan biaya: Jika Anda mencoba memaksa file video atau aliran sensor mentah ke dalam tabel SQL standar, performa aplikasi Anda dapat menurun sementara biaya Anda meningkat.

Menemukan cara untuk menangkap, menyimpan, dan memahami informasi tidak terstruktur ini adalah masalah inti yang perlu dipecahkan oleh arsitektur data modern.

Apa karakteristik data tidak terstruktur?

Karakteristik utama data tidak terstruktur adalah tidak adanya model data yang ditentukan sebelumnya. Data ini hadir dalam berbagai format, seperti teks, gambar, video, audio, dan telemetri IoT. Tidak seperti data spreadsheet yang bersih, informasi ini biasanya terakumulasi dalam volume yang sangat besar, berskala petabyte. Hal ini kompleks, sangat bervariasi, dan terus berubah.

Pemrosesan file bentuk bebas ini memerlukan pendekatan teknis yang benar-benar berbeda karena beberapa alasan utama:

Database tradisional tidak memadai: Karena data tidak terstruktur sepenuhnya berbentuk bebas, database SQL standar tidak dapat membaca atau membuat kueri data tersebut secara native
SQL memiliki batasan yang jelas: Anda tidak dapat menulis perintah SQL sederhana untuk menemukan keseluruhan suasana hati panggilan layanan pelanggan atau mengidentifikasi objek tertentu dalam foto
Alat khusus diperlukan: Untuk memahami informasi ini, organisasi harus mengandalkan solusi yang dibuat khusus
AI mendorong analisis: Tim menggunakan kecerdasan buatan, machine learning, dan natural language processing untuk memindai, menafsirkan, dan mengekstrak nilai dari kekacauan

Sebaiknya bandingkan format-format ini untuk memahami bagaimana semuanya saling melengkapi. Data terstruktur mengandalkan SQL, menerapkan skema yang ketat, dan mudah dicari. Data tidak terstruktur tidak memiliki skema, sulit ditelusuri secara native, dan memerlukan solusi data lake atau database NoSQL. Di tengah-tengahnya terdapat data semi-terstruktur, seperti JSON atau XML, yang berisi beberapa tag organisasi, tetapi tidak memiliki skema relasional yang kaku.

Data type	Model data	Penyimpanan	Metode kueri	Contoh	Profil volume
Data terstruktur	Skema yang ketat dan telah ditentukan sebelumnya	Database relasional	SQL	Catatan keuangan, inventaris	Sedang
Data semi-terstruktur	Fleksibel, deskripsi mandiri	NoSQL, penyimpanan dokumen	API NoSQL, ekstensi SQL	JSON, XML, CSV	Terus berkembang
Data tidak terstruktur	Tidak ada model yang telah ditentukan sebelumnya	Data lake, penyimpanan objek, NoSQL	AI, ML, NLP, indeks penelusuran	Teks, video, gambar, audio	Dominan sebesar 85% hingga 90%

Data type

Model data

Penyimpanan

Metode kueri

Contoh

Profil volume

Data terstruktur

Skema yang ketat dan telah ditentukan sebelumnya

Database relasional

SQL

Catatan keuangan, inventaris

Sedang

Data semi-terstruktur

Fleksibel, deskripsi mandiri

NoSQL, penyimpanan dokumen

API NoSQL, ekstensi SQL

JSON, XML, CSV

Terus berkembang

Data tidak terstruktur

Tidak ada model yang telah ditentukan sebelumnya

Data lake, penyimpanan objek, NoSQL

AI, ML, NLP, indeks penelusuran

Teks, video, gambar, audio

Dominan sebesar 85% hingga 90%

Menggunakan data tidak terstruktur dengan Google Cloud

Untuk membangun pipeline data yang tepat, sebaiknya Anda mengetahui dengan pasti jenis informasi yang Anda tangani dan cara tim perusahaan menggunakan database Google Cloud untuk mengelolanya. Anda dapat mengelompokkan data tidak terstruktur menjadi dua kategori utama: buatan manusia dan buatan mesin.

Data tidak terstruktur yang dihasilkan manusia

Contoh ini menggambarkan konten yang dibuat pengguna dan karyawan Anda secara manual setiap hari.

Dokumen teks dan komunikasi: Untuk banyak aplikasi, data tidak terstruktur dapat berupa email, pesan chat, dan tiket dukungan pelanggan dalam jumlah besar
Kasus penggunaan: Developer dapat membangun pipeline natural language processing (NLP) yang menempatkan tiket dukungan mentah di Cloud Storage. Dari sana, Gemini Enterprise Agent Platform memindai teks untuk menemukan masalah inti, dan sistem menyimpan tag yang baru terstruktur tersebut langsung ke database Firestore. Karena Firestore menyinkronkan data secara instan, aplikasi web internal Anda diupdate secara real time, sehingga merutekan bug mendesak langsung ke tim engineering yang tepat.
Multimedia: Media ini mencakup file audio dari pusat panggilan, gambar yang diupload pengguna, dan rekaman video
Kasus penggunaan: Jika Anda membuat aplikasi asuransi, Anda memerlukan cara untuk memproses foto kecelakaan mobil yang diupload pengguna dari ponsel mereka. Anda dapat menyimpan file besar ini di Cloud Storage, menggunakan model machine learning untuk memperkirakan kerusakan visual, lalu menyimpan perkiraan perbaikan terstruktur tersebut di database AlloyDB untuk PostgreSQL. Hal ini dapat membantu memberikan akses cepat dan andal ke hasil AI untuk aplikasi perusahaan standar Anda.

Data tidak terstruktur buatan mesin

Komputer, sensor, dan server membuat data dalam jumlah besar di latar belakang tanpa input manusia.

Data sensor dan telemetri IoT: Mesin pabrik, termostat cerdas, dan mobil yang terhubung terus-menerus melakukan streaming data mentah. Sebagian besar telemetri mentah ini tiba dalam format yang kompleks, bertingkat, dan bebas.
Kasus penggunaan: Pabrik manufaktur mengalirkan jutaan peristiwa audio dan sensor mentah per detik. Karena tabel relasional standar tidak dapat menangani kecepatan penyerapan ini, developer menggunakan Bigtable. Bigtable menyerap data deret waktu dengan throughput tinggi ini tanpa jeda. Kemudian, model ML membaca data tersebut untuk menemukan suara spesifik dari komponen yang rusak, yang dapat membantu memicu pemeliharaan prediktif sebelum mesin benar-benar rusak.
Gambar satelit dan video pengawasan: Kamera keamanan dan satelit cuaca menghasilkan aliran data visual yang besar dan berkelanjutan.
Kasus penggunaan: Perusahaan pengiriman global menghasilkan streaming video satelit mentah yang berat. Mereka menyimpan file besar ini secara hemat biaya di Cloud Storage, menggunakan computer vision untuk mengidentifikasi kapal kargo mereka, lalu mengirimkan pembaruan lokasi terstruktur tersebut ke Spanner. Hal ini dapat membantu memberikan database relasional yang sangat akurat dan tanpa waktu non-operasional kepada aplikasi supply chain global mereka untuk dikueri guna pelacakan real-time.

Menyimpan data tidak terstruktur: Data lake versus data warehouse perusahaan

Untuk membangun aplikasi yang skalabel, developer dapat mencocokkan data mereka dengan lingkungan penyimpanan yang tepat. Data terstruktur dan tidak terstruktur memerlukan arsitektur yang benar-benar berbeda untuk mempertahankan performa dan menjaga biaya infrastruktur tetap terkendali.

Untuk data terstruktur, organisasi mengandalkan data warehouse perusahaan (EDW). Lingkungan ini dibuat khusus untuk menangani informasi yang mengikuti aturan ketat dan format yang dapat diprediksi.

Anda dapat menggunakan data warehouse perusahaan untuk memusatkan informasi terstruktur dari berbagai database relasional, termasuk sistem penagihan dan alat pengelolaan hubungan pelanggan
Tim Anda harus membersihkan dan memformat data sebelum menyimpannya agar setiap informasi sesuai dengan tabel yang telah ditentukan
Alat business intelligence kemudian dapat menjalankan kueri SQL yang kompleks di miliaran baris dalam hitungan detik untuk memberikan pelaporan dan perkiraan historis yang andal

Data tidak terstruktur memerlukan pendekatan yang jauh lebih fleksibel. Karena file besar seperti video, rekaman audio, dan log teks mentah tidak cocok untuk disimpan dalam tabel yang rapi, developer menggunakan data lake dan bucket penyimpanan cloud untuk menyimpannya.

Data lake menyediakan repositori fleksibel tempat Anda dapat menyimpan file dalam format aslinya tanpa harus memaksanya ke dalam struktur tertentu terlebih dahulu
Bucket penyimpanan cloud mendukung data lake ini menggunakan penyimpanan objek, sehingga sistem Anda dapat ditingkatkan skalanya hingga berkapasitas petabyte tanpa mengharuskan Anda membangun ulang database
Menyimpan file tidak terstruktur yang berat dalam database tradisional sangatlah mahal, sehingga bucket penyimpanan menjadi opsi yang jauh lebih hemat biaya untuk data dalam volume besar
Menyimpan data dalam bentuk mentah berarti pipeline kecerdasan buatan dan machine learning Anda dapat dengan mudah mengambil file yang diperlukan untuk melatih model computer vision dan natural language processing

Pertanyaan umum (FAQ)

Berikut jawaban atas pertanyaan umum yang diajukan developer dan arsitek tentang data tidak terstruktur.

Apa saja contoh umum data tidak terstruktur?

Contoh umumnya mencakup konten buatan manusia seperti email, postingan media sosial, PDF, dan file audio atau video. Anda juga akan melihat format yang dihasilkan mesin seperti citra satelit dan telemetri sensor IoT. Format yang beragam dan berbentuk bebas ini merupakan bagian terbesar dari data perusahaan sehari-hari dan tidak dapat diatur dengan rapi ke dalam baris dan kolom database standar.

Apakah CSV merupakan data tidak terstruktur?

File CSV umumnya dianggap sebagai data terstruktur atau semi-terstruktur karena menggunakan baris, kolom, dan pembatas yang konsisten. Meskipun tidak memiliki penegakan skema relasional yang ketat, format tabelnya membuat data ini sangat terorganisir. Hal ini membuat CSV jauh lebih terstruktur daripada data yang benar-benar tidak terstruktur seperti video, gambar, atau teks bentuk bebas.

Apakah SQL merupakan data terstruktur atau tidak terstruktur?

SQL adalah bahasa kueri standar yang digunakan untuk data relasional terstruktur, bukan jenis data itu sendiri. SQL mengandalkan skema dan tabel yang ketat untuk mengambil informasi. Oleh karena itu, PostgreSQL tidak dapat mengkueri data tidak terstruktur seperti gambar, audio, atau teks bentuk bebas secara native tanpa pemrosesan atau ekstensi tambahan.

Bagaimana cara mengidentifikasi data tidak terstruktur?

Anda dapat mengidentifikasi data tidak terstruktur dengan tidak adanya model data yang telah ditentukan sebelumnya. Jika informasi tidak sesuai dengan baris dan kolom serta Anda tidak dapat mengkuerinya secara langsung menggunakan SQL, kemungkinan besar informasi tersebut tidak terstruktur. Indikator praktis mencakup format tekstual seperti email dan log chat, serta format non-tekstual seperti video, gambar, audio, dan data sensor.

Apakah email merupakan data tidak terstruktur?

Isi email yang sebenarnya tidak terstruktur karena terdiri dari teks bentuk bebas tanpa skema tetap. Namun, metadata terkait, seperti pengirim, penerima, stempel waktu, dan baris subjek, terstruktur. Sifat ganda ini sangat umum dan menjelaskan alasan organisasi menggunakan NLP dan AI untuk mengekstrak insight dari konten email dalam skala besar.

Apa itu data terstruktur, semi-terstruktur, dan tidak terstruktur?

Data terstruktur mengandalkan skema tetap dan berada dalam database relasional menggunakan tabel SQL. Data semi-terstruktur berisi beberapa elemen organisasi, tetapi tidak memiliki skema yang kaku, dengan contoh umum berupa file JSON, XML, dan CSV. Data tidak terstruktur tidak memiliki format yang telah ditentukan sebelumnya, mencakup file seperti video dan teks bebas, serta merupakan sebagian besar data perusahaan.

Penskalaan di luar database dengan data lake dan link penyimpanan lintas cloud

Sebagian besar arsitektur perusahaan pada akhirnya akan melampaui satu platform penyimpanan. Seiring berkembangnya sistem Anda, data lake dan bucket penyimpanan Anda secara alami akan tersebar di berbagai region dan penyedia cloud. Fragmentasi ini menciptakan batasan saat Anda mencoba membangun pipeline machine learning yang memerlukan akses ke semua file tidak terstruktur sekaligus.

Google Cloud mengatasi tantangan arsitektur spesifik ini dengan Agentic Data Cloud. Platform ini dilengkapi lakehouse lintas cloud berbasis AI yang menghubungkan lingkungan penyimpanan terdistribusi Anda ke dalam satu titik akses terpadu.

Layanan ini memberikan akses tanpa salinan ke file yang terletak di seluruh Google Cloud
Tim pengembangan Anda dapat menganalisis dan memproses informasi tepat di tempatnya berada, bukan membangun pipeline mahal untuk memigrasikan objek besar dari satu cloud ke cloud lainnya
Konfigurasi ini menghilangkan data silo yang terisolasi dan menyiapkan seluruh infrastruktur Anda untuk mendukung alur kerja AI otonom tanpa memaksakan keterikatan pada vendor

Apa manfaat menganalisis data tidak terstruktur?

Membuka informasi yang tersembunyi dalam teks, gambar, dan video dapat memberikan keuntungan besar bagi organisasi Anda. Berikut beberapa manfaat utama dari memberikan struktur pada data tidak terstruktur Anda:

Insight pelanggan yang lebih mendalam:

Database tradisional memberi tahu Anda apa yang dibeli pelanggan. Data tidak terstruktur dapat membantu menjelaskan alasannya. Dengan menganalisis postingan media sosial, ulasan produk, dan panggilan dukungan pelanggan, Anda dapat mengukur sentimen emosional dan memahami dengan tepat apa yang diinginkan pengguna. Hal ini membantu Anda membuat produk yang benar-benar menyelesaikan masalah mereka.

Efisiensi operasional yang lebih baik:

Anda dapat menghemat waktu dan resource dengan mengotomatiskan tugas manual. Alat natural language processing dapat membaca email dukungan yang masuk dan langsung mengarahkannya ke departemen yang tepat. AI juga dapat memindai kontrak hukum yang rumit untuk mengekstrak tanggal dan ketentuan penting secara otomatis.

Pengelolaan risiko proaktif:

Perusahaan harus melindungi data sensitif, tetapi menemukan informasi pribadi yang tersembunyi di dalam data lake yang besar bisa jadi sulit. Model machine learning dapat dengan cepat memindai jutaan dokumen dan gambar dalam format bebas untuk menemukan dan mengamankan data sensitif. Hal ini membantu bisnis Anda tetap mematuhi hukum privasi yang ketat.

Pemeliharaan dan pemantauan prediktif:

Dengan menganalisis log peristiwa yang tidak terstruktur dan aliran sensor IoT, model AI dapat menemukan pola halus yang mungkin terlewatkan oleh manusia. Misalnya, model AI dapat mengidentifikasi frekuensi audio yang tepat yang menunjukkan bahwa mesin akan mengalami kegagalan. Dengan begitu, Anda dapat memperbaiki peralatan sebelum rusak, sehingga mengurangi waktu non-operasional yang mahal.

Model AI dan machine learning yang lebih kuat:

Model AI memerlukan informasi dalam jumlah besar untuk belajar dan berkembang. Dengan memberi model Anda beragam campuran data tidak terstruktur, seperti gambar, audio, dan teks bentuk bebas, Anda memberi mereka pandangan yang jauh lebih luas tentang dunia nyata. Hal ini melatih model untuk menghasilkan prediksi yang lebih akurat dan andal.

Cara AI dan machine learning mengoptimalkan nilai dalam data tidak terstruktur

Untuk mendapatkan nilai yang bermakna dari file kompleks ini, Anda memerlukan framework khusus. Kecerdasan buatan dan machine learning dapat bertindak sebagai mesin untuk proses ini. Pipeline otomatis yang didukung AI dapat, misalnya, membantu mengubah file video atau dokumen teks mentah dari blok kode biner yang sangat besar menjadi data yang dapat dibaca.

Developer menerapkan teknik AI tertentu untuk memproses berbagai jenis file, termasuk:

NLP untuk membaca dokumen yang berisi banyak teks seperti email, tiket dukungan, dan kontrak hukum
Computer vision untuk menganalisis gambar dan video, yang membantu tugas-tugas seperti meninjau rekaman pengawasan, mengevaluasi pencitraan medis, atau memproses foto satelit
Model speech-to-text untuk mentranskripsikan file audio sehingga teksnya dapat ditelusuri

Berikut adalah perincian cara pipeline AI modern memproses informasi ini untuk mendorong solusi dunia nyata:

Mengumpulkan sumber tidak terstruktur: Data mentah terus-menerus dihasilkan oleh pengguna, perangkat, dan aplikasi. Contoh umum mencakup email yang berisi banyak teks, file video, aliran sensor IoT, PDF, dan postingan media sosial.
Merutekan melalui lapisan penyerapan: Sistem mengumpulkan data yang masuk dengan aman dan merutekannya ke tujuan penyimpanan yang benar. Developer sering kali menggunakan pipeline data bervolume tinggi, gateway API, atau upload file batch untuk memindahkan data ini tanpa memperlambat aplikasi utama.
Aman di lapisan penyimpanan: Sistem menyimpan informasi dengan aman berdasarkan seberapa cepat dan sering Anda perlu mengaksesnya. Anda dapat menggunakan Cloud Storage untuk data lake mentah, Bigtable untuk log IoT yang cepat, atau Firestore untuk konten aplikasi yang fleksibel.
Analisis di lapisan pemrosesan: Di sinilah model AI dapat membantu. Model komputasi khusus membaca, memindai, dan menafsirkan file bentuk bebas untuk menemukan makna menggunakan alat NLP, computer vision, dan speech-to-text yang disebutkan di atas.
Menyajikan lapisan insight: Terakhir, sistem mengubah data yang diproses menjadi business intelligence yang jelas dan dapat ditindaklanjuti. Anda akan mendapatkan output yang berharga seperti skor sentimen pelanggan dari rekaman pusat panggilan, klasifikasi dokumen otomatis untuk kepatuhan, dan pemberitahuan pemeliharaan prediktif dari sensor pabrik.
Pengoptimalan dan masukan berkelanjutan: Prediksi AI dengan tingkat kepercayaan rendah akan dirutekan ke peninjau manusia untuk diverifikasi dan dikoreksi. Data yang baru dikoreksi ini dimasukkan kembali ke Langkah 1 sebagai data pelatihan baru untuk melatih ulang dan meningkatkan kualitas model AI. Sistem terus melacak akurasi dan latensi model untuk memastikan AI tidak menurun seiring waktu.

Memilih solusi pengelolaan data tidak terstruktur yang tepat

Pemilihan solusi pengelolaan bergantung pada workload dan lintasan pertumbuhan spesifik Anda. Anda dapat memulai dengan membandingkan penyimpanan file lokal dengan penyimpanan objek cloud. Seiring meningkatnya kompleksitas, pilihan sering kali beralih ke data lake berbasis cloud atau platform terintegrasi AI yang terkelola sepenuhnya.

Saat mengevaluasi opsi Anda, pertimbangkan checklist teknis ini:

Arsitektur penyimpanan (berbasis file versus penyimpanan objek versus data lake)
Skalabilitas hingga skala petabyte dengan efisiensi biaya
Integrasi AI dan ML native (NLP, computer vision, embedding)
Fleksibilitas NoSQL (Bigtable untuk workload yang intensif throughput, Firestore untuk konten tingkat aplikasi)
Fitur tata kelola data, kontrol akses, dan kepatuhan
Dukungan multi-format (teks, gambar, video, audio, IoT)
Integrasi dengan data warehouse, alat BI, dan platform analisis yang ada
Total biaya kepemilikan pada volume data target

Kemampuan penyimpanan tidak terstruktur yang dibangun khusus

Seiring dengan meningkatnya workload kecerdasan buatan, penyimpanan bukan lagi sekadar repositori pasif. Ini adalah komponen aktif dari jalur performa AI. Untuk menghilangkan perlambatan infrastruktur bagi developer dan administrator database, Google Cloud telah memperkenalkan beberapa kemampuan penyimpanan tidak terstruktur yang canggih.

Jika Anda mendesain arsitektur data berperforma tinggi, berikut adalah alat spesifik yang dapat Anda gunakan untuk memproses dan mengelola format tidak terstruktur dalam skala besar:

Smart Storage untuk metadata otomatis: Smart Storage otomatis menghasilkan konteks, seperti anotasi gambar, untuk objek tidak terstruktur Anda tepat saat ditulis ke bucket. Dengan demikian, developer tidak perlu lagi membuat pipeline anotasi manual kustom. Aplikasi ini juga dilengkapi integrasi server Model Context Protocol (MCP), yang memungkinkan agen AI membaca, menulis, dan menganalisis data Cloud Storage Anda secara native.
Insight data untuk data tidak terstruktur: Fitur Knowledge Catalog ini menggunakan Gemini Enterprise Agent Platform untuk menganalisis konten aktual dari file mentah dan tidak terstruktur, seperti PDF, yang disimpan di data lake Anda. Alat ini otomatis menyimpulkan skema dan mengekstrak hubungan, membuat katalog file tidak terstruktur langsung ke tabel objek BigQuery sehingga Anda dapat langsung mengkuerinya.
Cloud Storage Rapid: Dirancang khusus untuk lonjakan pemrosesan AI yang tiba-tiba, kelompok penyimpanan ini memberikan bandwidth yang sangat tinggi dan latensi rendah. Rapid Bucket menyediakan bandwidth lebih dari 15 TB/dtk, sedangkan Rapid Cache mempercepat throughput baca hingga 2,5 TB/dtk untuk tugas intensif seperti pemuatan model, tanpa memerlukan perubahan kode pada bucket yang ada.
Managed Lustre: Jika tim infrastruktur Anda membangun cluster pelatihan berskala besar, Managed Lustre Google Cloud kini memberikan throughput hingga 10 TB/dtk melalui Remote Direct Memory Access (RDMA). Hal ini memastikan akselerator komputasi berperforma tinggi Anda terus-menerus mendapatkan data yang dibutuhkan tanpa penundaan.
Instance Z4M: Untuk organisasi yang membangun arsitektur penyimpanan kustom, instance Z4M baru mendukung sistem file paralel tepercaya dengan kapasitas SSD lokal hingga 168 TiB per instance.

Dengan memanfaatkan alat penyimpanan yang dibuat khusus ini, Anda memastikan infrastruktur dasar Anda dapat dengan mudah mendukung throughput yang masif dan konkurensi tinggi yang diperlukan oleh aplikasi agentic modern.