• 2017-08-07 286 0

    什么是ngrok?ngrok是一个反向代理,它能够让你本地的web服务或tcp服务通过公共的端口和外部建立一个安全的通道,使得外网可以访问本地的计算机服务。 也就是说,我们提供的服务(比如web站点)无需搭建在外部服务器,只要通过ngrok把站点映射出去,别人即可直接访问到我们的服务。 从源码安装ngrokngrok目前开源版本是1.7,2.x版本已经不再开源,可以访问 https://ngrok.com/ 使用他们的免费服务(免费服务器位于美国)。 如果觉得速度太慢,可以使用如下脚本自己部署ngrok服务: sudo yum install golanggit clone --depth=1 https://github.com/inconshreveable/ngrok.gitcd ngrok# 生成域名证书export NGROK_DOMAIN="ishield.cn"openssl

  • 2017-08-03 70 0

    使用Python3打印对象时,出现了UnicodeEncodeError UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-7: ordinal not in range(128)不是说好Python3不用担心字符编码的问题的么 查看终端编码 [GCC 4.8.4] on linuxType "help", "copyright", "credits" or "license" for more information.>>> import sys>>> sys.stdout<_io.TextIOWrapper name='<stdout>' mode='w' encoding='ANSI_X3.4-1968'>>>>这个ANSI_X3.4-1968的编码是什么东西?是Linux默认编码,Goog

  • 2017-07-14 435 0

    安装使用密码登录生成ssl证书其他设置安装Jupyter插件管理器显示matplotlib图片安装pip install jupyterjupyter notebook --generate-config 使用密码登录如果放在服务器上运行,需要使用密码登录,首先生成密码 from notebook.auth import passwdpasswd() 保存在配置文件jupyter_notebook_config.py c = get_config()c.NotebookApp.password = u'sha1:67c9e60bb8b6:9ffede0825894254b2e042ea597d771089e11aed'生成ssl证书因为Jupyter必须要用https进行登录,所以需要生成ssl证书。 openssl req -x509 -nodes -days 3650 -newkey

  • 2017-07-05 282 0

    安装rabbitmq安装celery安装flower安装rabbitmq先安装erlang wget http://erlang.org/download/otp_src_20.0.tar.gztar xzf otp_src_20.0.tar.gz./configure --prefix=/usr/local --with-ssl -enable-threads -enable-smmp-support -enable-kernel-poll --enable-hipe --without-javac && make -j10 && make install然后下载rabbitmq,直接解压即可http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.10/rabbitmq-server-generic-unix-3.6.10.tar.x

  • 2017-07-05 207 0

    点击 Help -> SSL Proxying -> Install Charles Root Certificate,安装Charles证书,双击Charles证书,选择始终信任。 手机连接Charles代理,然后使用手机浏览器打开 chls.pro/ssl,安装证书。iOS 10.3系统,需要在 设置→通用→关于本机→证书信任设置 里面启用完全信任Charles证书。安卓系统在 设置->系统安全->从存储设备安装 安装证书,如果弹出“键入凭据存储的密码”,先给手机设置一个数字锁屏密码,安装之后再取消数字密码。 在需要抓包的链接上右键,Enable SSL Proxying。 注意 使用Charles抓包时不可连接VPN

  • 2017-06-15 433 0

    pip 阿里云镜像npm 淘宝镜像homebrew 中科大镜像maven 阿里云镜像pip 阿里云镜像编辑配置文件 ~/.pip/pip.conf [global]index-url = http://mirrors.aliyun.com/pypi/simple/[install]trusted-host = mirrors.aliyun.comnpm 淘宝镜像编辑配置文件 ~/.npmrc registry=https://registry.npm.taobao.orghomebrew 中科大镜像homebrew主要分两部分:git repo(位于GitHub)和二进制bottles(位于bintray),替换为中科大源 #替换brew.git:cd "$(brew --repo)"git remote set-url origin https://mirrors.ustc.edu.cn

  • 2017-05-31 624 0

    安装java参考安装java8 安装hadoop从hadoop官网下载hadoop-2.8.0并解压,拷贝本机的hadoop配置文件/etc/hadoop/conf到当前路径下。 设置环境变量 export HADOOP_HOME=/home/zhangkai/data/tools/runtime/hadoop-2.8.0export HADOOP_CONF_DIR=$HADOOP_HOME/confexport YARN_HOME=$HADOOP_HOMEexport YARN_CONF_DIR=$HADOOP_CONF_DIRexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/nativeexport PATH=$HADOOP_HOME/bin:$PATH安装pig从pig官网下载pig-0.16.0并解压,设置环境变量 e

  • 2017-04-15 1580 0

    InstallationSetup spark 1.6 on hadoop 2.6.0Log collectionSpark ConceptsRDD:Resilient Distributed DatasetRDD的特点RDD的操作RDD的使用RDD的容错机制Stage划分理解闭包(closures)RDD数据同步RDD优化技巧RDD缓存转换并行化减少shuffle网络传输使用高性能的算子广播大变量使用Kryo优化序列化性能 Installationbrew install scalabrew install apache-spark SparkContext是Spark的上下文对象,是Spark程序的主入口点,负责连接到spark cluster。可用于创建RDD,在集群上创建累加器和广播变量。 每个jvm只能激活一个SparkContext对象,创建新的SparkContext对象时,

  • 2017-04-15 762 0

    使用katex解析Latex公式,首先引入相应资源 <link href="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.css" rel="stylesheet"><script src="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.js"></script><script src="//cdn.bootcss.com/KaTeX/0.7.1/contrib/auto-render.min.js"></script>需要注意以下几个地方: 行内公式,Latex使用$equation$来表示行内公式,不过在Katex中使用\(equation\)来表示。(在editor.md中使用$$) 因为Markdown中\是转义字符,所以在Markdown中输入行内公式使用\\(equation\\)。其他地方如 \{, \\

  • 2017-04-13 1493 0

    使用katex解析Latex公式,首先引入相应资源 <link href="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.css" rel="stylesheet"><script src="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.js"></script><script src="//cdn.bootcss.com/KaTeX/0.7.1/contrib/auto-render.min.js"></script>需要注意以下几个地方: 行内公式,Latex使用$equation$来表示行内公式,不过在Katex中使用\(equation\)来表示。(在editor.md中使用$$) 因为Markdown中\是转义字符,所以在Markdown中输入行内公式使用\\(equation\\)。其他地方如 \{, \\

  • 2017-04-15 648 0

    使用katex解析Latex公式,首先引入相应资源 <link href="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.css" rel="stylesheet"><script src="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.js"></script><script src="//cdn.bootcss.com/KaTeX/0.7.1/contrib/auto-render.min.js"></script>需要注意以下几个地方: 行内公式,Latex使用$equation$来表示行内公式,不过在Katex中使用\(equation\)来表示。(在editor.md中使用$$) 因为Markdown中\是转义字符,所以在Markdown中输入行内公式使用\\(equation\\)。其他地方如 \{, \\

  • 2017-03-05 957 0

    使用katex解析Latex公式,首先引入相应资源 <link href="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.css" rel="stylesheet"><script src="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.js"></script><script src="//cdn.bootcss.com/KaTeX/0.7.1/contrib/auto-render.min.js"></script>需要注意以下几个地方: 行内公式,Latex使用$equation$来表示行内公式,不过在Katex中使用\(equation\)来表示。(在editor.md中使用$$) 因为Markdown中\是转义字符,所以在Markdown中输入行内公式使用\\(equation\\)。其他地方如 \{, \\

  • 2017-03-05 1406 0

    mongo shell中的整数问题mongodb的shell相当于一个Javascript解释器,可以在其中执行Javascript命令。而在js里面,整数和小数都是number类型,并不区分。mongodb数据采用BSON(Binary JSON)文档型存储,BSON有两种整型数据类型:32位有符号整型(INT)和64位无符号整型(LONG)。如果手动在mongo的shell中插入或更新整数,这个整数会被替换为浮点数。对于已存在的记录,如果更新整数(比如id),这个整数会被替换为浮点数,但是对该记录的其他项更新不会影响已存在的整数项。 一个常用的场景是,使用一个自增的id。用一个集合ids来记录所有其他集合的自增id,在pymogo中用如下命令来获取一个id: db.ids.find_and_modify(query={'name': 'user'}, update={'$inc': {

  • 2017-03-05 1178 0

    如果我的关于这个话题的最新帖子没有提醒到你的话,那我明确地说,我是一个 Vim 的粉丝。所以在你们中的某些人向我扔石头之前,我先向你们展示一系列“鲜为人知的 Vim 命令”。我的意思是,一些你可能以前没有碰到过的命令,但可能对你来说很有用。作为第二免责声明,我不知道哪些命令是你可能知道的,以及哪些是对你来说有用的。因此这些命令实际上是一些相对少见,但很可能很有用的 Vim 命令。 保存文件并退出 :x和下面的命令是等价的: :wq都是保存当前文件并退出。 (译者注:这两个命令实际上并不完全等价,当文件被修改时两个命令时相同的。但如果未被修改,使用 :x 不会更改文件的修改时间,而使用 :wq 会改变文件的修改时间。) 基本计算器 在插入模式下,你可以使用 Ctrl+r 键然后输入 =,再输入一个简单的算式。按 Enter 键,计算结果就会插入到文件中。例如,尝试输入: Ctrl+r '=2

  • 2014-11-07 634 0

    JSONP 简介CSRF(Cross-site request forgery)跨站请求伪造XSS (Cross Site Scripting) 跨站脚本攻击JSONP 简介首先要理解下面几个概念: 一个众所周知的问题,Ajax直接请求普通文件存在跨域无权限访问的问题,甭管你是静态页面、动态网页、web服务、WCF,只要是跨域请求,一律不准。不过我们又发现,Web页面上调用js文件时则不受是否跨域的影响(不仅如此,我们还发现凡是拥有”src”这个属性的标签都拥有跨域的能力,比如<script>、<img>、<iframe>)。于是可以判断,当前阶段如果想通过纯web端(ActiveX控件、服务端代理、属于未来的HTML5之Websocket等方式不算)跨域访问数据就只有一种可能,那就是在远程服务器上设法把数据装进js格式的文件里,供客户端调用和进一步处理。恰巧我们已经知道有一种叫做JSO