TẠO LẬP CSDL LỚN
Quy trình tạo lập Cơ sở dữ liệu chuyên ngành & Danh mục lớp dữ liệu ngành Xây dựng TP.HCM
Cơ sở dữ liệu chuyên ngành là nền tảng để quản lý đô thị dựa trên dữ liệu
PHẦN I – QUY TRÌNH TẠO LẬP MỘT CSDL CHUYÊN NGÀNH
Nguyên tắc cốt lõi: CSDL chuyên ngành không phải là tập hợp file, mà là một hệ thống gồm 4 thành tố song hành — mô hình dữ liệu (data model), dữ liệu (data), hạ tầng kỹ thuật (platform), và thể chế vận hành (governance). Thiếu thành tố thứ tư, CSDL sẽ “chết” sau 18–24 tháng.
Bước 1 – Khảo sát hiện trạng và xác định nhu cầu thông tin
1.1 Phân tích nghiệp vụ (business analysis)
Xuất phát từ câu hỏi quản lý, không xuất phát từ dữ liệu sẵn có. Lập danh mục “câu hỏi mà lãnh đạo cần CSDL trả lời”:
Mỗi câu hỏi được truy vết ngược về các lớp dữ liệu và thuộc tính cần thiết → đây là phương pháp use case driven, bảo đảm không thu thập dữ liệu vô dụng và không thiếu dữ liệu then chốt.
1.2 Kiểm kê dữ liệu hiện có (data inventory)
| Nội dung kiểm kê | Mục tiêu |
|---|---|
| Nguồn dữ liệu đang có ở từng đơn vị | Xác định dữ liệu kế thừa được |
| Định dạng (giấy, scan, Excel, CAD, GIS, phần mềm) | Xác định khối lượng chuyển đổi/số hóa |
| Mức độ đầy đủ, cập nhật, chính xác | Phân nhóm A/B/C để lập dự toán |
| Hệ tọa độ, tỷ lệ bản đồ gốc | Xác định công việc chuẩn hóa không gian |
| Chủ sở hữu dữ liệu, mức độ mật | Xác định cơ chế chia sẻ, phân quyền |
1.3 Khảo sát người dùng và hệ thống liên quan
Phân nhóm người dùng (lãnh đạo Sở – chuyên viên nghiệp vụ – UBND phường/xã – doanh nghiệp – người dân) và xác định các hệ thống phải liên thông (CSDL đất đai, dân cư, doanh nghiệp, đầu tư công, dịch vụ công trực tuyến).
Sản phẩm bước 1: Báo cáo hiện trạng và nhu cầu dữ liệu; danh mục use case; danh mục dữ liệu kế thừa – dữ liệu cần tạo mới.
Bước 2 – Thiết kế mô hình dữ liệu và chuẩn dữ liệu
Đây là bước quyết định chất lượng cả hệ thống, phải hoàn thành trước khi thu thập.
2.1 Thiết kế 3 tầng mô hình
2.2 Chuẩn hóa bắt buộc
| Hạng mục | Chuẩn áp dụng |
|---|---|
| Hệ tọa độ | VN-2000, múi 3°, kinh tuyến trục của TP.HCM |
| Hệ cao độ | Hệ cao độ quốc gia (Hòn Dấu) |
| Siêu dữ liệu | Theo chuẩn metadata quốc gia về thông tin địa lý |
| Mô hình dữ liệu không gian | Chuẩn mô hình cấu trúc dữ liệu địa lý hiện hành; tham chiếu các chuẩn mở OGC |
| Dữ liệu công trình | Hướng tới tích hợp BIM/IFC cho công trình xây dựng mới |
| Danh mục hành chính | Mã đơn vị hành chính theo chuẩn thống kê quốc gia, phiên bản sau sắp xếp |
| Phân loại công trình | Theo danh mục phân cấp, phân loại công trình xây dựng hiện hành |
2.3 Thiết kế bộ định danh duy nhất (Unique ID)
Mỗi đối tượng cần một mã bất biến suốt vòng đời, không nhúng thông tin biến động:
[Mã ngành]-[Mã loại đối tượng]-[Mã ĐVHC]-[Số thứ tự]
Đồng thời thiết kế mã liên kết chéo (cross-reference key) để nối với các CSDL khác: mã thửa đất, mã dự án đầu tư, mã số định danh cá nhân/doanh nghiệp, mã địa chỉ.
2.4 Xây dựng từ điển dữ liệu và bảng mã (data dictionary & domain)
Mọi trường dạng danh mục phải có bảng mã đóng (vật liệu, loại công trình, cấp công trình, tình trạng, nguồn vốn…). Tuyệt đối không để nhập văn bản tự do ở các trường dùng để thống kê.
Sản phẩm bước 2: Mô hình dữ liệu; từ điển dữ liệu; bộ mã định danh; quy định kỹ thuật về CSDL ngành xây dựng của thành phố (văn bản ban hành).
Bước 3 – Thu thập, số hóa và chuyển đổi dữ liệu
Triển khai theo 4 luồng song song:
Luồng 1 – Kế thừa và chuyển đổi dữ liệu số (ETL)
Trích xuất từ các phần mềm/CSDL đang dùng → chuyển đổi về mô hình mới → nạp vào CSDL. Phải lập bảng ánh xạ trường (field mapping) được phê duyệt trước khi chạy ETL, và lưu nhật ký chuyển đổi.
Luồng 2 – Số hóa hồ sơ giấy
Quy trình 6 bước: phân loại hồ sơ → scan theo chuẩn (độ phân giải, định dạng PDF/A) → nhận dạng, bóc tách thông tin → nhập liệu vào biểu mẫu chuẩn → nhập liệu kép hoặc hậu kiểm 100% với hồ sơ pháp lý → gắn file scan vào bản ghi.
Luồng 3 – Chuyển đổi dữ liệu CAD/bản vẽ sang GIS
Đây là điểm nghẽn lớn nhất của ngành xây dựng. Quy trình: định vị bản vẽ về VN-2000 (georeferencing) → tách lớp theo đối tượng → chuyển đổi hình học → làm sạch hình học (đóng vùng, bắt điểm, loại trùng lặp) → gán thuộc tính → kiểm tra topology.
Luồng 4 – Khảo sát, đo đạc thu thập mới
Cho các đối tượng không có hồ sơ: đo đạc bằng GNSS-RTK/toàn đạc, thiết bị dò tuyến ngầm cho hạ tầng ngầm, UAV và ảnh viễn thám cho hiện trạng xây dựng, điều tra phiếu cho dữ liệu thuộc tính. Dữ liệu thu thập qua ứng dụng di động có biểu mẫu ràng buộc, bắt buộc ảnh có tọa độ, đồng bộ về server theo ngày.
Mô hình 5V của dữ liệu lớn: khối lượng, tốc độ, độ tin cậy, giá trị và tính đa dạng
Bước 4 – Chuẩn hóa, làm sạch và kiểm soát chất lượng
4.1 Chuẩn hóa dữ liệu
Chuẩn hóa địa chỉ (đồng bộ với danh mục đường phố, ĐVHC mới), chuẩn hóa tên tổ chức, chuẩn hóa đơn vị đo, chuẩn hóa định dạng ngày tháng, loại bỏ trùng lặp (deduplication) theo quy tắc so khớp.
4.2 Bộ quy tắc kiểm tra tự động
Cài đặt ngay trong CSDL, chạy theo từng lô:
4.3 Nghiệm thu chất lượng dữ liệu
Đánh giá theo 6 tiêu chí: đầy đủ – chính xác – nhất quán – kịp thời – duy nhất – hợp lệ. Kiểm tra độc lập 5–10% mẫu, trong đó dữ liệu pháp lý (giấy phép, quy hoạch) phải đạt độ chính xác ~100%. Lô vượt ngưỡng sai số → trả lại làm lại toàn bộ lô.
Bước 5 – Xây dựng hạ tầng và hệ thống phần mềm
Tích hợp, liên thông và khai thác dữ liệu phục vụ ra quyết định
Bước 6 – Tích hợp, liên thông và khai thác
Thiết lập liên thông 2 chiều với: CSDL đất đai, CSDL quốc gia về dân cư, CSDL doanh nghiệp, hệ thống đầu tư công, hệ thống dịch vụ công trực tuyến, dữ liệu giao thông – cấp nước – thoát nước – chiếu sáng – cây xanh. Nguyên tắc: một dữ liệu chỉ do một đơn vị tạo lập và chịu trách nhiệm (single source of truth), các đơn vị khác dùng lại qua API, không sao chép.
Khai thác dữ liệu ở 4 mức: tra cứu – thống kê báo cáo – phân tích không gian/mô phỏng – hỗ trợ ra quyết định và dữ liệu mở.
Bước 7 – Thể chế hóa, vận hành và cập nhật
PHẦN II – CÁC LỚP DỮ LIỆU CẦN THIẾT CHO CSDL NGÀNH XÂY DỰNG
Cấu trúc theo 10 nhóm lớp dữ liệu, trong đó nhóm 1 là nền tảng dùng chung, nhóm 2–9 là dữ liệu chuyên ngành, nhóm 10 là dữ liệu quản lý – điều hành.
Nhóm 1: Dữ liệu nền địa lý và hành chính (dùng chung)
| Lớp dữ liệu | Kiểu hình học | Nội dung chính |
|---|---|---|
| Ranh giới hành chính các cấp | Vùng | Thành phố, phường/xã/đặc khu theo mô hình chính quyền hiện hành |
| Thửa đất (kế thừa từ CSDL đất đai) | Vùng | Mã thửa, diện tích, mục đích sử dụng, chủ sử dụng |
| Giao thông | Đường/Vùng | Tim đường, lòng đường, chỉ giới đường đỏ, tên đường, lộ giới |
| Thủy hệ | Đường/Vùng | Sông, kênh, rạch, hồ, hành lang bảo vệ bờ |
| Địa hình, cao độ | Điểm/Đường/Raster | Mốc độ cao, đường đồng mức, mô hình số độ cao (DEM/DTM) |
| Mốc trắc địa | Điểm | Mốc tọa độ, mốc độ cao, trạm CORS |
| Ảnh nền | Raster | Ảnh vệ tinh, ảnh hàng không, ảnh trực giao theo nhiều thời kỳ |
| Địa chỉ, số nhà | Điểm | Hệ thống địa chỉ chuẩn hóa — nền tảng kết nối mọi dữ liệu |
| Địa chất công trình | Điểm/Vùng | Hố khoan địa chất, phân vùng địa chất, nền đất yếu, nguy cơ sụt lún |
Nhóm 2: Dữ liệu quy hoạch xây dựng và kiến trúc
| Lớp dữ liệu | Nội dung chính |
|---|---|
| Quy hoạch chung thành phố | Sơ đồ định hướng phát triển không gian, phân khu chức năng |
| Quy hoạch phân khu (1/5000, 1/2000) | Ranh phân khu, chức năng sử dụng đất, chỉ tiêu quy hoạch |
| Quy hoạch chi tiết (1/500) | Lô đất, chức năng, mật độ xây dựng, tầng cao, hệ số sử dụng đất, chỉ giới xây dựng |
| Quy hoạch nông thôn / điểm dân cư | Theo khu vực ngoại thành |
| Quy chế quản lý kiến trúc | Vùng áp dụng, quy định về hình thái, chiều cao, màu sắc, mặt đứng |
| Thiết kế đô thị | Trục cảnh quan, điểm nhấn kiến trúc, không gian công cộng |
| Chỉ giới đường đỏ – chỉ giới xây dựng | Mốc và tuyến chỉ giới, cốt xây dựng khống chế |
| Vùng hạn chế phát triển | Hành lang an toàn (điện, đê, sân bay, đường sắt, quốc phòng), vùng bảo tồn, vùng hạn chế chiều cao |
| Thông tin quy hoạch tra cứu theo thửa đất | Lớp dẫn xuất phục vụ tra cứu trực tuyến cho người dân |
| Lịch sử điều chỉnh quy hoạch | Theo dõi biến động và cơ sở pháp lý điều chỉnh |
Nhóm 3: Dữ liệu công trình xây dựng và giấy phép
| Lớp dữ liệu | Nội dung chính |
|---|---|
| Công trình/nhà (building footprint) | Vùng công trình, số tầng, chiều cao, năm xây dựng, kết cấu, công năng, cấp công trình |
| Giấy phép xây dựng | Số GPXD, chủ đầu tư, nội dung được phép, thời hạn, trạng thái |
| Hồ sơ thẩm định thiết kế | Số văn bản, nội dung thẩm định, kết quả |
| Nghiệm thu, đưa vào sử dụng | Biên bản nghiệm thu, giấy chứng nhận an toàn chịu lực, PCCC |
| Hồ sơ hoàn công / mô hình BIM | Bản vẽ hoàn công, mô hình thông tin công trình |
| Công trình vi phạm trật tự xây dựng | Vị trí, hành vi vi phạm, quyết định xử lý, tiến độ chấp hành |
| Kiểm định, đánh giá an toàn công trình | Kết quả kiểm định, phân cấp nguy hiểm |
| Công trình có nguy cơ (chung cư cũ, nhà cấp D) | Danh mục, mức độ nguy hiểm, phương án di dời/cải tạo |
| Công trình ngầm | Tầng hầm, công trình ngầm độc lập, không gian ngầm |
Nhóm 4: Dữ liệu hạ tầng kỹ thuật (trọng tâm của CSDL ngành)
4.1 Cấp nước
4.2 Thoát nước và xử lý nước thải
4.3 Chiếu sáng công cộng
4.4 Cây xanh – công viên
4.5 Công trình hạ tầng ngầm và tuy-nen
4.6 Nghĩa trang, nhà tang lễ, hạ tầng khác
Nhóm 5: Dữ liệu quản lý chất thải rắn
Nhóm 6: Dữ liệu nhà ở và thị trường bất động sản