<div dir="ltr"><div><div>Dave,<br><br></div>I would define $220 monthly as significant. I've talked with management at prpl and we're all on board with funding monthly infrastructure as we have offered in the past. If we had a list of people who are running build servers, what the build servers are building (which device are they building for, etc), who is running the server, and what their costs are. I think your idea of a broker and spreadsheet are perfect. As a way to put more visibility in the work, I think we should put the relevant public info about the build servers on the wiki. Could you head that up Dave to get this process moving?<br><br></div><div>I think we're with you on grants for dev work; this has come up in more than a few prpl meetings as of late. There are some new members coming in to prpl in the new year who are very interested in funding a grant program for OpenWrt. I think how it would work might be a little fuzzy still on our end but I think we'll work it out.<br><br></div><div>Eric<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Dec 8, 2015 at 10:39 AM, Dave Taht <span dir="ltr"><<a href="mailto:dave.taht@gmail.com" target="_blank">dave.taht@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Mon, Dec 7, 2015 at 8:26 PM, Eric Schultz<br>
<<a href="mailto:eschultz@prplfoundation.org">eschultz@prplfoundation.org</a>> wrote:<br>
> Dave,<br>
><br>
> Thanks for bringing this up. Based upon my conversations at the OpenWrt<br>
> summit and observations, an official OpenWrt Foundation would be a positive<br>
> development. I heard at least a few companies say that they want to help but<br>
> they don't even know who to pay in some cases.<br>
<br>
</span>I was figuring that nobody knows who to pay in most cases!<br>
<br>
This was why my thinking was more towards having a broker-like<br>
arrangement for various things. We put up a spreadsheet of existing<br>
costs. it's pretty easy to defend expanding the build cluster<br>
system(s) to some point of diminishing return, and merely getting that<br>
tiny amount done - with X number of companies contributing to it -<br>
would be a start. Everybody can then point proudly at everything more<br>
often lit up green at:<br>
<br>
<a href="http://buildbot.openwrt.org:8010/grid" rel="noreferrer" target="_blank">http://buildbot.openwrt.org:8010/grid</a><br>
<br>
on their "what I'm doing for open source" promo material - and revel<br>
in a personal or product build that works the first time more often -<br>
and everybody's happy.....<br>
<br>
Having a set of goals clearly expressed by all sides on this, and<br>
other matters, openly, would be a start.<br>
<br>
What is happening instead: companies that should be investing a little<br>
in basic infrastructure, into basic tools, and - building quality,<br>
responsiveness, and good software engineering methods into everything<br>
they use...<br>
<br>
instead get focused on features that they want, that's "missing", and<br>
the quality of the rest of the system is hit or miss.<br>
<br>
I was struck a few days back looking at:<br>
<br>
<a href="http://rdkcentral.com/about-rdk/" rel="noreferrer" target="_blank">http://rdkcentral.com/about-rdk/</a><br>
<br>
when 99.99% of the code, and quality, needs to be delivered in the<br>
linux portion of the stack, which is otherwise represented as this<br>
tiny, "obviously working" slice of the chart. They are still running<br>
Linux 2.6 over there last I looked....<br>
<br>
progress and quality does not happen automagically. There has always<br>
been a disconnect between engineers building better software, and<br>
companies shipping products, and it would be nice to find more ways to<br>
communicate across and close the gaps.<br>
<br>
This is one of my all time favorite satires of the problems all sides<br>
face in delivering good products:<br>
<br>
<a href="https://www.youtube.com/watch?v=KowAEqHpftI" rel="noreferrer" target="_blank">https://www.youtube.com/watch?v=KowAEqHpftI</a><br>
<span class=""><br>
> There's lots of reasons why<br>
> this has been the case but, in the end, more clarity in governance and<br>
> process would go a long way to help here. I'm happy to personally help but<br>
> the committers are really the ones who have to drive this.<br>
<br>
</span>And they are pretty busy and tend to disagree a lot. :) Which was part<br>
of openwrt's strength during the Great recession - they couldn't be<br>
bought and folded up like embedded alley and montavista were.<br>
<br>
Something - whatever that thing is - needs to be democratic, neutral,<br>
and trusted. Perhaps writing down everybody wishlist of needs would be<br>
a start...<br>
<span class=""><br>
> On a related topic, prpl is contracting with me to facilitate and help build<br>
> a distributed test platform for OpenWrt. The goal is somewhat similar in<br>
> design to Kernel CI but handles testing of upstream nightlies on devices as<br>
> well as boot. I'd like to have you involved and I'll be sending out the<br>
> participation information soon for next week's  kickoff meeting. Obviously,<br>
> that platform will require regularly built images so if those don't exist<br>
> then we would have to address that.<br>
<br>
</span>Good. We need more and better testbeds, and I certainly agree that<br>
getting to where stuff could be flashed, abused, and tested on a<br>
regular basis would be great. I really hate it when I flash a brick.<br>
<br>
testbed note here:<br>
<br>
Over in make-wifi-fast land at <a href="http://kau.se" rel="noreferrer" target="_blank">kau.se</a> we finally are doing testing of<br>
the cake algorithms on a realistic testbed that can simulate long rtts<br>
to 105mbit. It took 6 months to get to this point....<br>
<br>
And we are starting to boot up the ath9k based x86 testbed where we<br>
hope to at least get to gbit, on the budget we had. It would be nice<br>
to actually drive the testbed with 10GigE so as to get to at least<br>
1.5Gbit (802.11ac) but oy, we costed that out and we're not going to<br>
be able to do it.<br>
<br>
So if there is a way for <a href="http://bufferbloat.net" rel="noreferrer" target="_blank">bufferbloat.net</a>, my (or other interested unis<br>
or orgs)  to apply to prpl for a grant to support the make-wifi-fast<br>
project, it would be nice. prpl does not seem to have a public grant<br>
process....<br>
<span class=""><br>
> I personally didn't realize there were<br>
> significant funding issues with the build infrastructure;<br>
<br>
</span>I see a few more servers have come online since last I checked.<br>
<br>
Define "significant"? 220/mo is 1/10th my current base salary after tax.<br>
<span class=""><br>
> I know prpl in the<br>
> past has offered to pay for the OpenWrt hosted build server but that offer<br>
> wasn't accepted.<br>
<br>
</span>Oy. Nobody asked me... I'll send the last year's - or this month's,<br>
worth of build cluster invoices - to anyone willing to foot the bill.<br>
<br>
A more general question to ask is: to just, like, ask the list(s), is:<br>
"my foundation has $XX,000/yr to contribute to making openwrt better.<br>
how would y'all like to spend it? ".<br>
<br>
"We also have one time grants available for X and Y amounts - How have<br>
you been supporting openwrt, how can we thank you?"<br>
<span class=""><br>
> If you and the OpenWrt team could explain the situation<br>
> better, what's hosted where, what the costs are and I understand the<br>
> situation better, I can recommend to prpl leadership that funding be<br>
> considered.<br>
<br>
</span>My take on it was about 1.7k/month of google compute got all basic<br>
builds done for everything in under 12 hours each. Arguably more than<br>
one cluster should be used (security/safety/redundancy) and more than<br>
one linux distro used to build it, and if there were ways to get the<br>
build time down, or just test build new stuff faster, great...<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
> Eric<br>
><br>
> On Mon, Dec 7, 2015 at 12:51 PM, Dave Taht <<a href="mailto:dave.taht@gmail.com">dave.taht@gmail.com</a>> wrote:<br>
>><br>
>> I am still not sure what prpl is for. Nor, what happens to donated<br>
>> funds, if any...<br>
>><br>
>> I have long wanted some non-profit org to serve as an intermediary<br>
>> between the profit centered corps and the developers. I don't think<br>
>> SPI or prpl is doing this right. Linaro sort of used to...<br>
>><br>
>> There needs to be some sort of translation between the three parties<br>
>> of real needs. A corp is used to paying X for Y, in particular, not<br>
>> fuzzy donations...<br>
>><br>
>> As sort of a test case for what I'm trying to explain, there are a few<br>
>> people that contribute towards keeping the Continuous Integration and<br>
>> build system of openwrt up and running, both in terms of hardware, and<br>
>> time.<br>
>><br>
>> Many have been doing it longer than I have, but for most of the last 4<br>
>> years a lot of the visible hardware came from me (snapon, huchra,<br>
>> gb-XX).<br>
>><br>
>> For 14 months of that, courtesy of a google cloud grant that expired<br>
>> last year, I was running 6(?) boxes at a cost of about $1750/month, +<br>
>> 2 donated boxes from <a href="http://isc.org" rel="noreferrer" target="_blank">isc.org</a> - and builds popped out in half a day for<br>
>> everything.  I liked it....<br>
>><br>
>> I had to shut all but one machine off after that grant expired, and<br>
>> isc has (sadly) just shut down their free non-profit hosting service<br>
>> also... huchra is nearly gone, snapon has moved to sweden behind a fw<br>
>> where it can't act as a host...<br>
>><br>
>> ... and recently I see that the lack of enough machines in the build<br>
>> system was annoying enough to at least one party to start up a new<br>
>> box...<br>
>><br>
>> ... but - dang it! -  the benefits of CI for openwrt should be<br>
>> *obvious to everyone that uses it*. Especially including some big<br>
>> corps for which the opex of a few thousand dollars a month isn't even<br>
>> noticeable.<br>
>><br>
>> HP supports debian's build cluster, for example.<br>
>><br>
>> Now, of late, I've had a devil of a time keeping the lights on. My<br>
>> contribution to the cluster costs me $220/month that I would rather<br>
>> spend on... food, and fixing wifi in general, etc [1]<br>
>><br>
>> So... I'd like it if there was some org(s) were paying these costs<br>
>> (and for everyone else contributing a box themselves) rather than me.<br>
>> That is a "support of" sort of thing, where control remains in the<br>
>> hands of engineers that care. (In fact, I don't have to care, travis<br>
>> takes care of the problems, I just pay the opex bill)<br>
>><br>
>> If some org were to "take over" this responsibility, the control slips<br>
>> to that org - gains management - and other BS - and the CI might not<br>
>> get done as well.<br>
>><br>
>> If some org were to however, take a wishlist of existing costs from<br>
>> existing developers, turn that into a budget, present that to willing<br>
>> commercial orgs, and turn that around to the requesting dev (and<br>
>> publicly), then everyone's lives would be better. X for Y with the<br>
>> help of Z.<br>
>><br>
>> Mine, and (I think) most of openwrt folk's resistance to<br>
>> "organizations" comes from the top down attempt at exerting control in<br>
>> exchange for money.<br>
>><br>
>> ...<br>
>><br>
>> Certainly the build system could get done better! I was very happy<br>
>> seeing benchmarks go by with how much faster they could be done... and<br>
>> doing that right does involve human resources that might want to get<br>
>> paid also... the main reason why gb-10 still exists is because it was<br>
>> weeks of time to get it running in the first place, and easy to<br>
>> replicate, and I'd hate to lose those invested weeks were more grant<br>
>> money to arrive...<br>
>><br>
>> Now: I have no intention of shutting down gb-10, but I came within<br>
>> hours of having to do so, last month. Got saved by a shuttleworth<br>
>> flash grant...<br>
>><br>
>> At the moment I am just sending the personal - not a single !@#!<br>
>> corporate - donations I get at the below url to keep it running, and<br>
>> not thinking about it very hard - but I just reached for some spare<br>
>> cash to buy a new board, and came up empty.<br>
>><br>
>> it's the meta problem, of keeping infrastructure beneath the devs, in<br>
>> general, with a minimal amount of overstructure on top, that's bugging<br>
>> me today.<br>
>><br>
>> thx for listening. ideas?<br>
>><br>
>><br>
>> Dave Täht<br>
>> Keeping the lights on for open routers<br>
>> [1] <a href="https://www.patreon.com/dtaht?ty=h" rel="noreferrer" target="_blank">https://www.patreon.com/dtaht?ty=h</a><br>
>> _______________________________________________<br>
>> OpenWrt mailing list<br>
>> <a href="mailto:OpenWrt@lists.prplfoundation.org">OpenWrt@lists.prplfoundation.org</a><br>
>> <a href="http://lists.prplfoundation.org/cgi-bin/mailman/listinfo/openwrt" rel="noreferrer" target="_blank">http://lists.prplfoundation.org/cgi-bin/mailman/listinfo/openwrt</a><br>
><br>
><br>
><br>
><br>
> --<br>
> Eric Schultz, Community Manager, prpl Foundation<br>
> <a href="http://www.prplfoundation.org" rel="noreferrer" target="_blank">http://www.prplfoundation.org</a><br>
> <a href="mailto:eschultz@prplfoundation.org">eschultz@prplfoundation.org</a><br>
> cell: <a href="tel:920-539-0404" value="+19205390404">920-539-0404</a><br>
> skype: ericschultzwi<br>
> @EricPrpl<br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr">Eric Schultz, Community Manager, prpl Foundation<br><a href="http://www.prplfoundation.org" target="_blank">http://www.prplfoundation.org</a><br><a href="mailto:eschultz@prplfoundation.org" target="_blank">eschultz@prplfoundation.org</a><br>cell: 920-539-0404<br>skype: ericschultzwi<br>@EricPrpl</div></div>
</div>