• 2017-07-14 194 0

    安装使用密码登录生成ssl证书其他设置安装Jupyter插件管理器显示matplotlib图片安装pip install jupyterjupyter notebook --generate-config 使用密码登录如果放在服务器上运行,需要使用密码登录,首先生成密码 from notebook.auth import passwdpasswd() 保存在配置文件jupyter_notebook_config.py c = get_config()c.NotebookApp.password = u'sha1:67c9e60bb8b6:9ffede0825894254b2e042ea597d771089e11aed'生成ssl证书因为Jupyter必须要用https进行登录,所以需要生成ssl证书。 openssl req -x509 -nodes -days 3650 -newkey

  • 2017-07-05 158 0

    安装rabbitmq安装celery安装flower安装rabbitmq先安装erlang wget http://erlang.org/download/otp_src_20.0.tar.gztar xzf otp_src_20.0.tar.gz./configure --prefix=/usr/local --with-ssl -enable-threads -enable-smmp-support -enable-kernel-poll --enable-hipe --without-javac && make -j10 && make install然后下载rabbitmq,直接解压即可http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.10/rabbitmq-server-generic-unix-3.6.10.tar.x

  • 2017-07-05 109 0

    点击 Help -> SSL Proxying -> Install Charles Root Certificate,安装Charles证书,双击Charles证书,选择始终信任。 手机连接Charles代理,然后使用手机浏览器打开 chls.pro/ssl,安装证书。iOS 10.3系统,需要在 设置→通用→关于本机→证书信任设置 里面启用完全信任Charles证书。安卓系统在 设置->系统安全->从存储设备安装 安装证书,如果弹出“键入凭据存储的密码”,先给手机设置一个数字锁屏密码,安装之后再取消数字密码。 在需要抓包的链接上右键,Enable SSL Proxying。 注意 使用Charles抓包时不可连接VPN

  • 2017-06-15 343 0

    pip 阿里云镜像npm 淘宝镜像homebrew 中科大镜像maven 阿里云镜像pip 阿里云镜像编辑配置文件 ~/.pip/pip.conf [global]index-url = http://mirrors.aliyun.com/pypi/simple/[install]trusted-host = mirrors.aliyun.comnpm 淘宝镜像编辑配置文件 ~/.npmrc registry=https://registry.npm.taobao.orghomebrew 中科大镜像homebrew主要分两部分:git repo(位于GitHub)和二进制bottles(位于bintray),替换为中科大源 #替换brew.git:cd "$(brew --repo)"git remote set-url origin https://mirrors.ustc.edu.cn

  • 2017-05-31 534 0

    安装java参考安装java8 安装hadoop从hadoop官网下载hadoop-2.8.0并解压,拷贝本机的hadoop配置文件/etc/hadoop/conf到当前路径下。 设置环境变量 export HADOOP_HOME=/home/zhangkai/data/tools/runtime/hadoop-2.8.0export HADOOP_CONF_DIR=$HADOOP_HOME/confexport YARN_HOME=$HADOOP_HOMEexport YARN_CONF_DIR=$HADOOP_CONF_DIRexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/nativeexport PATH=$HADOOP_HOME/bin:$PATH安装pig从pig官网下载pig-0.16.0并解压,设置环境变量 e

  • 2017-04-15 1451 0

    InstallationSetup spark 1.6 on hadoop 2.6.0Log collectionSpark ConceptsRDD:Resilient Distributed DatasetRDD的特点RDD的操作RDD的使用RDD的容错机制Stage划分理解闭包(closures)RDD数据同步RDD优化技巧RDD缓存转换并行化减少shuffle网络传输使用高性能的算子广播大变量使用Kryo优化序列化性能 Installationbrew install scalabrew install apache-spark SparkContext是Spark的上下文对象,是Spark程序的主入口点,负责连接到spark cluster。可用于创建RDD,在集群上创建累加器和广播变量。 每个jvm只能激活一个SparkContext对象,创建新的SparkContext对象时,

  • 2017-04-15 606 0

    安装旧版spark brew tap homebrew/versions# 查看当前版本brew info apache-spark# 查看所有版本brew search apache-spark# 安装指定版本brew install homebrew/versions/apache-spark@1.6# 如果安装不成功,也可以使用下面的命令brew unlink apache-sparkbrew install https://raw.githubusercontent.com/Homebrew/homebrew-core/master/Formula/apache-spark@1.6.rb# 重建软连接 brew link --overwrite --force apache-spark@1.6

  • 2017-04-13 1325 0

    部署环境安装mongodb安装jdk8安装elasticsearch常用命令修改字段解决未分配分片集群重启安装kibana安装x-packElasticsearch备份恢复工具安装mongo-connector安装supervisor部署环境假设我们有两台服务器,10.2.2.164和10.2.2.61。在10.2.2.61上部署mongodb主服务器和elasticsearch主服务器以及mongo-connector,在10.2.2.164上部署elasticsearch分片。 安装mongodb配置文件mongod.conf参考: systemLog: destination: file path: logs/mongod.log logAppend: true logRotate: rename timeStampFormat: iso8601-local# 存储引擎相关

  • 2017-04-15 525 0

    官方网站 installation pip3 install you-get 如果出现 urlopen error [SSL: CERTIFICATE_VERIFY_FAILED 错误,编辑you-get,加入下面两行: import sslssl._create_default_https_context = ssl._create_unverified_context 如果报LC_CTYPE错误,设置 LC_CTYPE=en_US.UTF-8 如果有其他错误,使用 you-get --debug -i 'https://www.youtube.com/watch?v=jNQXAC9IVRw' 打开debug查看错误。

  • 2017-03-05 870 0

    使用katex解析Latex公式,首先引入相应资源 <link href="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.css" rel="stylesheet"><script src="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.js"></script><script src="//cdn.bootcss.com/KaTeX/0.7.1/contrib/auto-render.min.js"></script>需要注意以下几个地方: 行内公式,Latex使用$equation$来表示行内公式,不过在Katex中使用\(equation\)来表示。(在editor.md中使用$$) 因为Markdown中\是转义字符,所以在Markdown中输入行内公式使用\\(equation\\)。其他地方如 \{, \\

  • 2017-03-05 1310 0

    mongo shell中的整数问题mongodb的shell相当于一个Javascript解释器,可以在其中执行Javascript命令。而在js里面,整数和小数都是number类型,并不区分。mongodb数据采用BSON(Binary JSON)文档型存储,BSON有两种整型数据类型:32位有符号整型(INT)和64位无符号整型(LONG)。如果手动在mongo的shell中插入或更新整数,这个整数会被替换为浮点数。对于已存在的记录,如果更新整数(比如id),这个整数会被替换为浮点数,但是对该记录的其他项更新不会影响已存在的整数项。 一个常用的场景是,使用一个自增的id。用一个集合ids来记录所有其他集合的自增id,在pymogo中用如下命令来获取一个id: db.ids.find_and_modify(query={'name': 'user'}, update={'$inc': {

  • 2017-03-05 1073 0

    如果我的关于这个话题的最新帖子没有提醒到你的话,那我明确地说,我是一个 Vim 的粉丝。所以在你们中的某些人向我扔石头之前,我先向你们展示一系列“鲜为人知的 Vim 命令”。我的意思是,一些你可能以前没有碰到过的命令,但可能对你来说很有用。作为第二免责声明,我不知道哪些命令是你可能知道的,以及哪些是对你来说有用的。因此这些命令实际上是一些相对少见,但很可能很有用的 Vim 命令。 保存文件并退出 :x和下面的命令是等价的: :wq都是保存当前文件并退出。 (译者注:这两个命令实际上并不完全等价,当文件被修改时两个命令时相同的。但如果未被修改,使用 :x 不会更改文件的修改时间,而使用 :wq 会改变文件的修改时间。) 基本计算器 在插入模式下,你可以使用 Ctrl+r 键然后输入 =,再输入一个简单的算式。按 Enter 键,计算结果就会插入到文件中。例如,尝试输入: Ctrl+r '=2

  • 2014-11-07 541 0

    JSONP 简介CSRF(Cross-site request forgery)跨站请求伪造XSS (Cross Site Scripting) 跨站脚本攻击JSONP 简介首先要理解下面几个概念: 一个众所周知的问题,Ajax直接请求普通文件存在跨域无权限访问的问题,甭管你是静态页面、动态网页、web服务、WCF,只要是跨域请求,一律不准。不过我们又发现,Web页面上调用js文件时则不受是否跨域的影响(不仅如此,我们还发现凡是拥有”src”这个属性的标签都拥有跨域的能力,比如<script>、<img>、<iframe>)。于是可以判断,当前阶段如果想通过纯web端(ActiveX控件、服务端代理、属于未来的HTML5之Websocket等方式不算)跨域访问数据就只有一种可能,那就是在远程服务器上设法把数据装进js格式的文件里,供客户端调用和进一步处理。恰巧我们已经知道有一种叫做JSO