java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

时间:2024-03-28 20:21:08

1 CentOS 7.0 上安装和配置 VNC 服务器

2.1

2.1.1 首先,我们需要一个可用的桌面环境(X-Window),如果没有的话要先安装一个。

注意:以下命令必须以 root 权限运行。要切换到 root ,请在终端下运行“sudo -s”,当然不包括双引号(“”

 

# yum check-update

# yum groupinstall "X Window System"

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

2.1.2 #yum install gnome-classic-session gnome-terminal nautilus-open-terminal control-center liberation-mono-fonts

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

2.1.3### 设置默认启动图形界面

# unlink /etc/systemd/system/default.target

# ln -sf /lib/systemd/system/graphical.target /etc/systemd/system/default.target

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

# reboot  (可以不用重启,最好不要重启)

2.2

# yum install tigervnc-server -y  

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

2.3

 

# cp /lib/systemd/system/[email protected] /etc/systemd/system/[email protected]:1.service

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

接着我们用自己最喜欢的编辑器打开 /etc/systemd/system/[email protected]:1.service,找到下面这几行,用自己的用户名替换掉 。举例来说,我的用户名是 scrawler所以我用 scrawler来替换掉

ExecStart=/sbin/runuser -l <USER> -c "/usr/bin/vncserver %i"

PIDFile=/home/<USER>/.vnc/%H%i.pid

替换成

ExecStart=/sbin/runuser -l scrawler-c "/usr/bin/vncserver %i"

PIDFile=/home/scrawler/.vnc/%H%i.pid

如果是root用户则

ExecStart=/sbin/runuser -l root -c "/usr/bin/vncserver %i"

PIDFile=/root/.vnc/%H%i.pid

如下图:

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

2.4重启 systemd

# systemctl daemon-reload

最后还要设置一下用户的 VNC 密码。要设置某个用户的密码,必须要有能通过 sudo 切换到用户的权限,这里我用 scrawler的权限,执行“su scrawler”就可以了。

# su scrawler

$ sudo vncpasswd

 

如下图:

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

2.5

现在就可以用 IP 和端口号(LCTT 译注:例如 192.168.1.1:1 ,这里的端口不是服务器的端口,而是视 VNC 连接数的多少从1开始排序)来连接 VNC 服务器了。

你可以用像 Tightvnc viewer  Realvnc viewer 的客户端来连接到服务器。

要用更多的用户连接,需要创建配置文件和端口,请回到第3步,添加一个新的用户和端口。你需要创建 [email protected]:2.service 并替换配置文件里的用户名和之后步骤里相应的文件名、端口号。请确保你登录 VNC 服务器用的是你之前配置 VNC 密码的时候使用的那个用户名。

VNC 服务本身使用的是5900端口。鉴于有不同的用户使用 VNC ,每个人的连接都会获得不同的端口。配置文件名里面的数字告诉 VNC 服务器把服务运行在5900的子端口上。在我们这个例子里,第一个 VNC 服务会运行在59015900 + 1)端口上,之后的依次增加,运行在5900 + x 号端口上。其中 x 是指之后用户的配置文件名 [email protected]:x.service 里面的 x

2.6 安装CMake的两种方式

注意:version 2.8.12.2 or newer.

cmake源码安装:

步骤一、安装gcc等必备程序包(已安装则略过此步)

yum install -y gcc gcc-c++ make automake libx11-devel libXScrnSaver

步骤二、安装wget (已安装则略过此步)

yum install -y wget

步骤三、安装CMake

  获取CMake源码包

wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz

步骤四、解压CMake源码包

tar -zxvf cmake-2.8.10.2.tar.gz

步骤五、进入目录

cd cmake-2.8.10.2

步骤六

./bootstrap

步骤七

gmake

步骤八

gmake install

Cmake yum 安装:

yum install cmake

 

2.7安装java(tar.gz安装)

:version 1.7 or 1.8.

wget http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.tar.gz?AuthParam=1462934736_6fb6b206c0b3018e3ad5642e2893687b

离线下载 tar.gz

下载地址: 
http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.tar.gz?AuthParam=1462934736_6fb6b206c0b3018e3ad5642e2893687b

 

解压安装 tar.gz

#上传解压 解压位置可自定义,本例解压到/opt/soft

tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/soft

 

配置环境变量

# 修改配置文件vi /etc/profile# export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下添加

export JAVA_HOME=/opt/soft/jdk1.8.0_91 

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

# 刷新配置文件

source /etc/profile

2.8安装python

 :version 2.6 or newer in the 2.x series (3.x is not supported).

yum install python

 

下载jcef源码

这里使用之前下载好的源码,最新的源码会影响后续的步骤,由于国内对谷歌的封杀会导致后续步骤中的部分资源无法下载。源码位置:/home/scrawler/jcef_ref

1.解压源码进入src目录,解压目录自定义本例解压到jcef

cd  /home/scrawler/jcef/src

2.创建jcef_build文件夹,此文件夹名称不能更改

mkdir jcef_build && cd jcef_build

3.生成Unix Makefiles

#若使用git直接下载新版的java_cef将会影响此步骤,/home/scrawler/jcef_ref中的cef_binary_3.2987.1597.gffc5773_linux64.tar.bz2.sha1cef_binary_3.2987.1597.gffc5773_linux64.tar.bz2文件复制到/home/scrawler/jcef/src/third_party/cef

cmake -G "Unix Makefiles" -DCMAKE_BUILD_TYPE=Release ..

  1. 使用make进行创建

Make -j4

5.按照提示,生成jre软连接

 

2.9配置/etc/profile

profile中添加export DISPLAY =:x,xvncserver桌面号使用vnc连接时需对应,本例vncserver桌面号为:1export DISPLAY =:1

 

 

 

2 iwt项目Tomcat配置指导

3.1 将apache-tomcat-8.5.13.zip解压到用户目录下,并修改名字为apahce-tomcat-Android(Ios)

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

3.2 进入Tomcat/bin目录下修改配置文件catalina.sh

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

下图红色框内为增加的配置项

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

3.3 .修改Tomcat/conf下server.xml

文件内主要是修改端口号,避免与其他Tomcat冲突

 

 

 

 

备注:上述2步配置JAVA_OPTS所需的jcef,jogamp-2.2.4-02,两个文件事先拷贝到用户目录下

步骤2apahce-tomcat-Android/bin/catalina.sh需添加配置如下

 
   

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

 

apahce-tomcat-Ios/bin/catalina.sh需添加配置如下

 
   

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

 

 

检查用户目录下是否有红框中的文件夹(必需

 

 java-cef嵌入基于Chrome内核浏览器,做页面爬虫(可以尽在ajax异步请求数据)

https://bitbucket.org/chromiumembedded/java-cef/wiki/BranchesAndBuilding