Đọc dữ liệu từ một file text và ghi lại dưới dạng file parquet trên HDFS sử dụng Spark (Phần 1)

Định dạng text là một định dạng vô cùng phổ biến cả trên HDFS hay bất cứ đâu. Dữ liệu file text được trình bày thành từng dòng, mỗi dòng có thể coi như một bản ghi và đánh dấu kết thúc bằng kí tự "\n" (kí tự xuống dòng). Ưu điểm của file text là nhẹ, tuy nhiên nó lại có nhược điểm là đọc ghi chậm và không thể chia nhỏ các tệp. Apache Parquet là một định dạng lưu trữ...

Java Apache Spark Big Data

Đọc dữ liệu từ một file text và ghi lại dưới dạng file parquet trên HDFS sử dụng Spark (Phần 2)

Các bạn chưa đọc phần 1 thì có thể đọc tại đây nha : Đọc dữ liệu từ một file text và ghi lại dưới dạng file parquet trên HDFS sử dụng Spark (Phần 1) Ghi dữ liệu ra file parquet sử dụng Spark Khi ta đã lấy được toàn bộ dữ liệu text ra file listModelLog thì việc ghi dữ liệu ra file parquet là cực kì đơn giản : SparkSession spark = SparkSession.builder().appName("Write file parquet to...

Java Apache Spark Big Data

Hadoop, Spark Multinode Cluster in DataProc

Google Cloud Computing Google Cloud Platform Apache Spark Apache Hadoop DataProc

Tổng hợp bài viết giới thiệu về Hadoop và Spark thông qua khái niệm cơ bản và thực hành

Apache Spark Big Data Apache Hadoop KhaiButDauXuan

Spark Distributed ML model with Pandas UDFs

Machine Learning Apache Spark Big Data perfomance Jupyter Notebook

Spark - Distributed ML model with Pandas UDFs

Machine Learning Apache Spark Big Data perfomance Jupyter Notebook