Apache Presto và những connectors thông dụng

JMX Connector

Java Management Extensions (JMX) cung cấp cho chúng ta những thông tin về máy ảo Java (JVM) và những phần mềm chạy trong JVM như: số thread running, bao nhiêu instance của một class được tạo ra,.... . Và JMX connector được sử dụng để query những thông tin JMX trong Preto server. Để cấu hình JMX Connector, chúng ta tạo file etc/catalog/jmx.properties với nội dung:

connector.name=jmx

Presto CLI

Query

$ ./presto --server localhost:8080 --catalog jmx --schema jmx

Chúng ta sẽ nhận được response:

presto:jmx>

JMX Schema

Để lấy danh sách các schema trong jmx, dùng query sau:

Query

presto:jmx> show schemas from jmx;

Result

      Schema 
-------------------- 
 information_schema  
 current

Hiển thị các table

Để xem những table ở schema hiện tại, sử dụng câu lệnh:

Query 1

presto:jmx> show tables from jmx.current;

Result

                                    Table                   
------------------------------------------------------------------------------
 com.facebook.presto.execution.scheduler:name = nodescheduler
 com.facebook.presto.execution:name = queryexecution
 com.facebook.presto.execution:name = querymanager
 com.facebook.presto.execution:name = remotetaskfactory
 com.facebook.presto.execution:name = taskexecutor
 com.facebook.presto.execution:name = taskmanager
 com.facebook.presto.execution:type = queryqueue,name = global,expansion = global
 ………………
 ……………….

Query 2

presto:jmx> select * from jmx.current.”java.lang:type = compilation";

Result

node               | compilationtimemonitoringsupported |      name   |         objectname         | totalcompilationti
--------------------------------------+------------------------------------+--------------------------------+----------------------------+-------------------
ffffffff-ffff-ffff-ffff-ffffffffffff | true | HotSpot 64-Bit Tiered Compilers | java.lang:type=Compilation |       1276

Query 3

presto:jmx> select * from jmx.current."com.facebook.presto.server:name = taskresource";

Result

 node                 | readfromoutputbuffertime.alltime.count 
 | readfromoutputbuffertime.alltime.max | readfromoutputbuffertime.alltime.maxer
 --------------------------------------+---------------------------------------+--------------------------------------+--------------------------------------- 
 ffffffff-ffff-ffff-ffff-ffffffffffff |                                   92.0 |                          1.009106149 |

HIVE Connector

Với Hive connector chúng ta có thể query dữ liệu được lưu trữ trong Hive. Điều kiện tiên quyết:

Đã cài đặt Hadoop và Hive
Khởi động Hive metastore với câu lệnh:
```
hive --service metastore
```
Presto sử dụng Hive metastore để lấy thông tin chi tiết của các bảng trong Hive.

Cấu hình

Tạo file hive.properties dưới thư mục etc/catalog với những câu lệnh:

$ cd etc 
$ cd catalog 
$ vi hive.properties  

connector.name = hive-cdh4 
hive.metastore.uri = thrift://localhost:9083

Tạo cơ sở dữ liệu

Tạo một database trong Hive sử dụng câu lệnh sau: Query

hive> CREATE SCHEMA tutorials;

Tạo bảng

hive> create table author(auth_id int, auth_name varchar(50), 
topic varchar(100) STORED AS SEQUENCEFILE;

Insert dữ liệu

Câu lệnh sau sẽ được sử dụng để insert những bản ghi vào trong bản đã tạo ở trên:

hive> insert into table author values (1,’ Doug Cutting’,Hadoop),
(2,’ James Gosling’,java),(3,’ Dennis Ritchie’,C);

Start Presto CLI

Query

$ ./presto --server localhost:8080 --catalog hive —schema tutorials;

Response

presto:tutorials >

Liệt kê các Schema

Query

presto:tutorials > show schemas from hive;

Result

default  

tutorials

Liệt kê các bảng

Query

presto:tutorials > show tables from hive.tutorials;

Result

author

Lấy dữ liệu trong bảng

Query

presto:tutorials > select * from hive.tutorials.author;

Result

auth_id  |   auth_name    | topic 
---------+----------------+-------- 
       1 | Doug Cutting   | Hadoop 
       2 | James Gosling  | java 
       3 | Dennis Ritchie | C

KAFKA Connector

Với Kafka Connetor cho phép Presto có thể access data từ Apache Kafka

Điệu kiện:

Đã cài đặt:

Apache ZooKeeper
Apache Kafka

Start Zookeeper

Command:

$ bin/zookeeper-server-start.sh config/zookeeper.properties

Bây giờ Zookeeper được start trên port 2181

Start Kafka

Command

bin/kafka-server-start.sh config/server.properties

Sau khi start, Kafka sử dụng port 9092

TPCH Data

Download `TPCH DATA`

Command

$  curl -o kafka-tpch 
https://repo1.maven.org/maven2/de/softwareforge/kafka_tpch_0811/1.0/kafka_tpch_ 
0811-1.0.sh

Response:

% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current 
                                 Dload  Upload   Total   Spent    Left  Speed 
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0  
  5 21.6M    5 1279k    0     0  83898      0  0:04:30  0:00:15  0:04:15  129k
  6 21.6M    6 1407k    0     0  86656      0  0:04:21  0:00:16  0:04:05  131k  
 24 21.6M   24 5439k    0     0   124k      0  0:02:57  0:00:43  0:02:14  175k 
 24 21.6M   24 5439k    0     0   124k      0  0:02:58  0:00:43  0:02:15  160k 
 25 21.6M   25 5736k    0     0   128k      0  0:02:52  0:00:44  0:02:08  181k 
 ………………………..

Tiếp theo, cấp quyển thực thi cho nó:

$ chmod 755 kafka-tpch

Run tpch-kafka

Chạy tpch-kafka để load trước một số topic với tpch data sử dụng câu lệnh:

$ ./kafka-tpch load --brokers localhost:9092 --prefix tpch. --tpch-type tiny

Result

2016-07-13T16:15:52.083+0530 INFO main io.airlift.log.Logging Logging 
to stderr
2016-07-13T16:15:52.124+0530 INFO main de.softwareforge.kafka.LoadCommand
Processing tables: [customer, orders, lineitem, part, partsupp, supplier,
nation, region]
2016-07-13T16:15:52.834+0530 INFO pool-1-thread-1
de.softwareforge.kafka.LoadCommand Loading table 'customer' into topic 'tpch.customer'...
2016-07-13T16:15:52.834+0530 INFO pool-1-thread-2
de.softwareforge.kafka.LoadCommand Loading table 'orders' into topic 'tpch.orders'...
2016-07-13T16:15:52.834+0530 INFO pool-1-thread-3
de.softwareforge.kafka.LoadCommand Loading table 'lineitem' into topic 'tpch.lineitem'...
2016-07-13T16:15:52.834+0530 INFO pool-1-thread-4
de.softwareforge.kafka.LoadCommand Loading table 'part' into topic 'tpch.part'...
………………………
……………………….

Thêm cấu hình

Thêm cấu hình Kafka trên Presto server

connector.name = kafka  

kafka.nodes = localhost:9092  

kafka.table-names = tpch.customer,tpch.orders,tpch.lineitem,tpch.part,tpch.partsupp, 
tpch.supplier,tpch.nation,tpch.region  

kafka.hide-internal-columns = false

Presto CLI

Start Presto CLI

Command

$ ./presto --server localhost:8080 --catalog kafka —schema tpch;

Response

presto:tpch>

Liệt kê các bảng

Query

presto:tpch> show tables;

Result

  Table 
---------- 
 customer 
 lineitem 
 nation 
 orders
 part 
 partsupp 
 region 
 supplier

Describe Customer Table

Query

presto:tpch> describe customer;

Result

  Column           |  Type   |                   Comment 
-------------------+---------+--------------------------------------------- 
 _partition_id     | bigint  | Partition Id 
 _partition_offset | bigint  | Offset for the message within the partition 
 _segment_start    | bigint  | Segment start offset 
 _segment_end      | bigint  | Segment end offset 
 _segment_count    | bigint  | Running message count per segment 
 _key              | varchar | Key text 
 _key_corrupt      | boolean | Key data is corrupt 
 _key_length       | bigint  | Total number of key bytes 
 _message          | varchar | Message text 
 _message_corrupt  | boolean | Message data is corrupt 
 _message_length   | bigint  | Total number of message bytes

Source: https://viblo.asia/p/apache-presto-va-nhung-connectors-thong-dung-djeZ1zBQlWz

Big Data Presto

Random articles

Seeding model rows based on the user input in Laravel

1.Giới thiệu Laravel cung cấp phương pháp dễ dàng tạo dữ liệu mẫu trong database bằng các lớp seed. Nhưng sẽ rất hữu ích nếu bạn có thể nhập số lượng record ưa thích mỗi khi seeder, tức là bạn không hard code or setting .env nữa . Thay vồ đó, bạn chỉ cần nhập số record mỗi khi chạy command, kiểu như thế này: How many books you want to create? 2.Bắt đầu Tạo Factory BookFactory.php trong...

Happy New Year Laravel 2054

Hướng dẫn chạy KPI với Notion AI

Notion Generative AI 1942

Hành trình AI của một sinh viên tồi

Mình ngồi gõ những dòng này vào lúc 2h sáng (chính xác là 2h 2 phút), quả là một đêm khó ngủ. Có lẽ vì lúc chiều đã uống cốc nâu đá mà giờ mắt mình tỉnh như sáo, cũng có thể là vì những trăn trở về lý thuyết chồng chất ánh xạ mình đọc ban sáng khiến không tài nào chợp mắt được hoặc cũng có thể do mình đang thức để đợi xem Champion league cũng nên (nghi là cái thứ 3 lắm ) . Trong...

Happy New Year 1369

Lịch sử hình thành nên máy vi tính ngày nay là gì và các thành tựu liên quan tới máy vi tính?

Lịch sử hình thành nên máy vi tính ngày nay là gì và các thành tựu liên quan tới máy vi tính? Đây là một câu hỏi từ một bạn trên Hoovada - nền tảng hỏi và đáp chuyên nghiệp trên nhiều lĩnh vực khác nhau giúp giải đáp thắc mắc của mọi người. Đáp án đến từ bạn Nguyễn Phúc - một thành viên của Hoovada sống tại TPHCM. Máy tính được con người tạo ra không phải là để giải trí hay gửi...

computer 2948

Lựa chọn công nghệ nào cho giải pháp của bạn?

Product solution architecture evaluation 2743

Dashboard

Apache Presto và những connectors thông dụng

JMX Connector

Presto CLI

JMX Schema

Hiển thị các table

HIVE Connector

Cấu hình

Tạo cơ sở dữ liệu

Tạo bảng

Insert dữ liệu

Start Presto CLI

Liệt kê các Schema

Liệt kê các bảng

Lấy dữ liệu trong bảng

KAFKA Connector

Điệu kiện:

Start Zookeeper

Start Kafka

TPCH Data

Download TPCH DATA

Run tpch-kafka

Thêm cấu hình

Presto CLI

Start Presto CLI

Liệt kê các bảng

Describe Customer Table

Download `TPCH DATA`