Đỉnh NGUYỄN

life's a journey not a destination

Big Data #3 – Sự tiến hóa của Big Data

1 Comment


Dữ liệu dạng Flat File

Data in Flat File

Dữ liệu được lưu trong các tập tin văn bản thường không chứa cấu trúc (flat file). Không có khả năng truy xuất dữ liệu hiệu quả và việc tích hợp dữ liệu không thể thực hiện khi không có bất kỳ mô hình hay cấu trúc xung quanh. Dữ liệu lưu trong flat file sẽ gặp vấn đề về khai thác trong thời đại ngày nay. Nó như một cơn ác mộng khi có bất kỳ xử lý dữ liệu trong ứng dụng. Mặc dù các ứng dụng được phát triển tại thời điểm đó là phù hợp với sự phát triển của kỹ thuật và dữ liệu.

Edgar F Codd và 12 quy luật

Edgar_F_Code_and_12_Rules

Edgar Codd Frank là nhà khoa học máy tính người Anh, trong khi làm việc cho IBM, đã phát minh mô hình quan hệ quản lý cơ sở dữ liệu, cơ sở lý thuyết cho cơ sở dữ liệu quan hệ. Ông đã trình bày 12 quy tắc cho cơ sở dữ liệu quan hệ và đột nhiên sự hỗn loại của thế giới dữ liệu trở nên có quy tắc, kỹ luật. Cơ sở dữ liệu quan hệ là một vùng đất đầy hứa hẹn cho tất cả những người dùng cơ sở dữ liệu không có cấu trúc. Cơ sở dữ liệu quan hệ mang đến mối quan hệ giữa dữ liệu cũng như cải thiện hiệu suất truy xuất dữ liệu.

Cơ sở dữ liệu quan hệ

Enormous_Data_Growth

Kể từ khi Edgar F Codd đề xuất 12 quy tắc cho RDBMS, có nhiều nhà cung cấp khác nhau bắt đầu xây dựng các ứng dụng và công cụ hỗ trợ mối quan hệ giữa cơ sở dữ liệu. Mô hình thực thể quan hệ (ER) cũng được phát triển để mô tả một cơ sở dữ liệu một cách trừu tượng.

Tăng trưởng dữ liệu rất lớn

Tất cả mọi thứ có vẻ tốt đẹp với RDBMS trong thế giới cơ sở dữ liệu. Các ứng dụng và công cụ cho RDBMS giúp cuộc sống của nhà phát triển dễ dàng hơn rất nhiều. Do sự phổ biến và dễ dàng cài đặt của RDBMS, hầu như mọi dữ liệu đều được lưu trữ trong RDBMS. Các ứng dụng thời đại mới được xây dựng phương tiện truyền thông xã hội phát triển nhanh. Mỗi tổ chức đều có áp lực trong việc cung cấp trải nghiệm tốt hơn cho người dùng dựa trên dữ liệu hiện có.

Data Warehousing

Sự tăng trưởng dữ liệu khổng lồ hiện tại đang tạo ra thách thức lớn cho các tổ chức, những người muốn xây dựng hệ thống thông minh dựa trên dữ liệu và cung cấp trải nghiệm người dùng theo thời gian thực cho khách hàng. Các tổ chức khác nhau ngay lập tức bắt đầu xây dựng giải pháp kho dữ liệu, nơi dữ liệu được lưu trữ và xử lý. Xu hướng kinh doanh thông minh (business intelligence) đã trở thành nhu cầu hàng ngày. Dữ liệu nhận được từ hệ thống giao dịch qua đêm sẽ được sử lý để xây dựng báo cáo thông minh. Mặc dù đây là 1 giải pháp tuyệt vời, nó cung đem đến nhiều thách thức. Mô hình cơ sở dữ liệu quan hệ và các khái nhiệm kho dữ liệu tất cả đều được xây dựng dựa trên mô hình cơ sở dữ liệu quan hệ truyền thống, vốn đã có trong tâm trí và vẫn còn nhiều thách thức khi đã có sự xuất hiện của dữ liệu không có cấu trúc.

Thách thức thú vị

Interesting_Challenge

Mỗi tổ chức đều có chuyên môn để quản lý dữ liệu có cấu trúc nhưng thế giới đã thay đổi thêm dữ liệu không có cấu trúc. Có thông tin thông minh trong video, photo, SMS, text, các tin nhắn mạng xã hội,… Tất cả những điều này cần phải mang đến 1 nền tảng duy nhất và xây dựng 1 hệ thống thống nhất  cho những gì doanh nghiệp cần. Cách chúng ta làm kinh doanh cũng đã thay đổi. Có 1 thời gian khi người dùng chỉ dùng những tính năng mà công nghệ hỗ trợ, tuy nhiên, bây giờ người dùng yêu cầu những tính năng và công nghệ phải được xây dựng để hỗ trợ. Nhu cầu ứng dụng thông minh thời gian thực từ các luồng dữ liệu tốc độ nhanh đang trở thành cần thiết.

Một lượng lớn (volume) dữ liệu tốc độ cao (Velocity) khác nhau (Variety) là các thuộc tính của dữ liệu. Hệ thống cơ sở dữ liệu truyền thống có giới hạn khi giải quyết các thách thức mới. Đây là nhu cầu của khoa học big data. Chúng ta cần đổi mới cách xử lý và quản lý dữ liệu. Chúng ta cần những cách sáng tạo để thu thập dữ liệu và trình bày cho người dùng.

(Theo http://blog.SQLAuthority.com)

Advertisements

Author: dinhnn

Senior software developer, a technical leader. You can be reached at via email to dinhnguyenngoc@gmail.com, via my blog at dinhnguyenngoc.wordpress.com, and on Twitter @dinhnguyenngoc.

One thought on “Big Data #3 – Sự tiến hóa của Big Data

  1. Pingback: Big Data – Học những điều cơ bản về Big Data trong 21 ngày – bookmark | Đỉnh Nguyễn's Blog

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s