Hệ thống luồng dữ liệu hỗ trợ truy vấn trên dữ liệu liên tục đến. Chúng cung cấp các chức năng truy vấn tương tự như hệ thống cơ sở dữ liệu quan hệ. Tuy nhiên, hệ thống luồng dữ liệu liên tục đánh giá các truy vấn trên dữ liệu đến và loại bỏ dữ liệu sau đó. Do đó, có thể xử lý khối lượng lớn dữ liệu đến nhanh chóng. Ví dụ ứng dụng là giám sát cơ sở hạ tầng CNTT hoặc xử lý dữ liệu từ mạng cảm biến không dây trong các kịch bản giám sát động vật hoang dã hoặc động vật. So với hệ thống luồng dữ liệu tập trung, hệ thống luồng dữ liệu phân tán có thể giảm nhu cầu tài nguyên, cải thiện hiệu suất và tăng tuổi thọ của mạng cảm biến không dây. Điều này đặc biệt đúng nếu các nguồn dữ liệu đã được phân tán và các máy chủ của nguồn dữ liệu tham gia vào quá trình xử lý truy vấn. Trong luận văn này, tôi nghiên cứu sự phụ thuộc lẫn nhau của việc tối ưu hóa truy vấn logic và việc gán toán tử cho các máy chủ đối với hệ thống luồng dữ liệu phân tán trên các máy chủ không đồng nhất. Cụ thể, tôi thảo luận về biểu diễn toán học của các mục tiêu tối ưu hóa được chọn và các ràng buộc như giới hạn tài nguyên cho việc tối ưu hóa truy vấn dựa trên chi phí. Tôi đề xuất một kỹ thuật để ước tính xem các bước tối ưu hóa truy vấn logic có thể gây nhiễu với việc gán toán tử cho các máy chủ tiếp theo hay không. Các thuật toán heuristic nổi tiếng được điều chỉnh cho bài toán tối ưu hóa việc gán toán tử cho các máy chủ. Một đánh giá so sánh các thuật toán khác nhau. Hơn nữa, tôi đề xuất một thuật toán cân bằng tải bằng cách khởi tạo nhiều toán tử.

Abstract:

Data stream systems support queries on continuously arriving data. They provide similar query facilities like relational database systems. However, data stream systems continuously evaluate the queries on the arriving data and discard the data afterwards. Thus, it is possible to process high volumes of rapidly arriving data. Application examples are the monitoring of IT infrastructure or the processing of data from wireless sensor networks in wildland or animal surveillance scenarios. Compared to centralized data stream systems, distributed data stream systems can lower the resource demand, improve the performance and increase the lifetime of wireless sensor networks. This is particularly true if the data sources are already distributed and the hosts of the data sources take part in query processing. In my dissertation, I investigate the interdependencies of logical query optimization and the assignment of operators to hosts for distributed data stream systems on heterogeneous hosts. In particular, I discuss the mathematical representation of selected optimization goals and constraints like resource limits for cost-based query optimization. I propose a technique to estimate whether logical query optimization steps may interfere with the subsequent assignment of operators to hosts. Well-known heuristic algorithms are adapted to the optimization problem of assigning operators to hosts. An evaluation compares the different algorithms. Moreover, I propose an algorithm for load balancing by multiple instantiation of operators.

Ngôn ngữ:	eng
Tác giả:	Pollner, Niko
Thông tin nhan đề:	Query Optimization in Distributed Heterogeneous Data Stream Systems
Nhà xuất bản:	FAU University Press
Loại hình:	Tài nguyên giáo dục mở / Bộ sưu tập: Công nghệ thông tin
Bản quyền:	https://creativecommons.org/licenses/by/4.0/
Nguồn gốc:	https://directory.doabooks.org/handle/20.500.12854/170213
Mô tả vật lý:	255tr.
Năm xuất bản:	2021