Docker下搭建python和flink

Posted on | In , ,
Words count in article: 302 | Reading time ≈ 1

Docker下搭建Hadoop环境全纪录

说明

flink、python的安装直接使用的是一个安装好的docker镜像：vyordanov/flink-python
可以使用docker pull vyordanov/flink-python:1.0下载该镜像
如果想自己一步一步安装的话：
参考官网和网上的教程即可：（本人使用的是python3下运行demo）

  1. brew install apache-flink
  2. pip3 install apache-flink
    前提：需要安装java 1.8以上的环境

镜像修改

下载的镜像，进去后发现很多使用上不习惯，原因：
运行时使用docker run -it 容器id /bin/bash，不要使用docker run -it 容器id /bin/sh
但是在run时一定要绑定端口，这样才能本地机器上访问docker里面运行的flink:
docker run -it --name flink -p 127.0.0.1:8999:8081 容器ID /bin/bash
运行完后，就可以在本地访问127.0.0.1:8999

启动

  1. 启动flink job管理平台
    运行start-cluster.sh
    方法1: 进到容器后: ./bin/start-cluster.sh
    方法2: 本地机器上: docker exec -it bash /opt/flink/bin/start-cluster.sh /bin/bash

运行python demo

（1）在/opt/flink/examples/python/table/batch路径下有一个word_count.py，一个python的flink demo
运行：python3 word_count.py
会在/tmp/result下生成结果

未完待续……

------------- The End -------------